《AR行业应用场景及关键技术白皮书》

您所在的位置:网站首页 ar技术的发展与应用 《AR行业应用场景及关键技术白皮书》

《AR行业应用场景及关键技术白皮书》

#《AR行业应用场景及关键技术白皮书》| 来源: 网络整理| 查看: 265

中国移动发布《AR行业应用场景及关键技术白皮书》,分析了增强现实 (AR) 行业应用的发展现状,探讨了增强现实行业应用的关键技术,并结合中国移动以及业内的一些实践案例梳理了典型应用场景,总结了增强现实行业应用面临的挑战,提出结合 5G 的发展增强现实行业应用的倡议。

背景

1.1.AR 行业应用市场背景

1.1.1.AR 市场规模

增强现实 (Augmented Reality,AR) 技术是指借助近眼显示、感知交互、渲染处理、网络传输和内容制作等新一代信息通信技术,实现虚拟信息和现实环境的融合。AR 技术将带来颠覆性的计算机浪潮,驱动生产力全方位提升。

根据 IDC 发布的 2022 年 V1 版 IDC《全球增强与虚拟现实支出指南》发布的数据,2021 年全球 AR/VR 总投资规模接近 146.7 亿美元,并有望在 2026 年增至 747.3 亿美元,复合增长率(CAGR)将达 38.5%。其中,中国市场 CAGR 预计达 43.8%,增速位列全球第一。

2021 年随着头部互联网公司入局,中国 AR/VR 市场被注入了巨大活力,发展前景广阔。IDC 预测,2021 年中国 AR/VR 市场 IT 相关支出规模约为 21.3 亿美元,并在 2026 年增至 130.8 亿美元,为全球第二大单一国家市场。其中,AR 支出规模以 49.0%的 CAGR 快速增长。

从技术维度来看,中国 AR/ VR 头显市场在 2021 年上市了诸多新品,硬件产品升级趋势在 2022 年仍将延续。根据 IDC 最新预测数据,硬件市场在五年预测期内将以 47.8%的复合增长率稳步增长,并持续占据中国 AR/VR 市场支出份额的一半以上。据 IDC 统计 2020 年全球虚拟现实终端出货量约为 630 万台,VR、AR 终端出货量占比分别 90%、10%,预计 2024 年终端出货量超 7500 万台,其中 AR 占比升至 55%,预计 2023 年 AR 终端出货量有望超越 VR。

从商用市场来看,到 2026 年,AR/VR 技术将被教育、医疗保健和专业服务三类行业用户广泛应用,共计约占中国市场总规模的 28.2%。单就 AR 市场而言,IDC 预测,2026 年 AR 培训、工业维护和 AR 实验室及现场实践将成为主流应用场景,共计约占中国 AR 市场投资规模的 30.1%。

1.1.2。政策及资本动向

工业+增强现实就是从生产力提升的需求出发,将增强现实应用于工业生产的需求、设计、生产、优化、测试、维护等环节,实现高效安全的智能化工业生产。这类应用融合了交互手段、图像引擎以及显示系统等多样化技术,生成逼真的视听触一体化虚实结合的环境,在工业场景内,可以借助必要装备对生产流程或是设备进行交互作用和影响,从而解放双手提高效率。

文化和旅游部 2016 年出台的《关于推动文化娱乐行业转型升级的意见》将虚拟现实、增强现实做为游戏游艺设备创新的重要支撑,2020 年底发布的《关于推动数字文化产业高质量发展的意见》明确指出要引导和支持虚拟现实、增强现实等技术在文化领域应用,推动现有文化内容向沉浸式内容移植转化。

《2019 中国智能制造研究报告》指出,当前中国制造企业仅 5%打通了工厂数据,1%使用了智能化技术或手段,工业物联网市场潜力巨大。制造业智能化升级需求是工业和虚拟现实融合的根本驱动,随着虚拟 (增强) 现实技术的日渐成熟,以及作为元宇宙中场的 AR/VR 概念的流行,其对应的工业化场景也在不断演进成熟,出现了包括工业巡检、远程协作、操作培训、产品展陈甚至数字孪生等方面的一体化场景。

在 2021 年出台的《中华人民共和国国民经济和社会发展第十四个五年规划和 2035 年远景目标纲要》中将 VR/AR 产业列为未来五年数字经济重点产业之一。工信部在 2018 年 12 月出台《关于加快推进虚拟现实产业发展的指导意见》,从核心技术、产品供给、行业应用、平台建设、标准构建等方面提出了发展虚拟现实产业的重点任务。

在 2020 年 2 月发布《关于运用新一代信息技术支撑服务疫情防控和复工复产工作的通知》,提出要深化增强现实/虚拟现实等新 一代信息技术在复工复产中的应用,推广协同研发、无人生产、远程运营、在线服务等新模式新业态。同年 3 月出台的《关于推动工业互联网加快发展的通知》提出引导工业互联网平台增强 5G、人工智能、区块链、增强现实/虚拟现实等新技术支撑能力,强化设计、生产、运维、管理等全流程数字化功能集成。

2020 年《关于促进消费扩容提质加快形成强大国内市场的实施意见》中指出要加快发展超高清视频、虚拟现实等新型信息产品,助力形成强大国内市场。科技部在“十三五”中将虚拟现实列入现代服务业、健康产业、医疗器械、中医药科技、技术标准科技等领域的创新规划中,并联合中宣部于 2019 年发布《关于促进文化和科技深度融合的指导意见》,提出加强包括 VR/AR 虚拟制作在内的文化创作、生产、传播和消费等环节共性关键技术研究以及高端文化装备自主研发及产业化。

资本方面,在 2021 年元宇宙概念火爆之后,市场在 2022 年对 AR 领域的预期回归理性。据不完全统计,2022 年一季度国内公开披露的 VR/AR 投融资事件共 57 起,其中已披露融资数额的共 30 起,融资总额在 49.3 亿元人民币以上,融资轮次主要集中在战略投资轮。

与去年同期相比,2022 年一季度 VR/AR 投融资数量和数额都呈爆发式增长。据新浪 VR 不完全统计,2021 年全年国内VR/AR 投融资事件为 120余起,投融资总额达90亿元人民币;即今年仅一季度VR/AR 投融资在数量上相当于 2021 年全年的48%,在融资总数额上相当于去年全年的55%,整个 VR/AR 领域投融资在数量上合规模上均呈高速增长态势,日益进入新的快速发展阶段。

具体到一季度各月份投融资数据,1-3 月各月份投融资数和融资额总体呈先走低后反弹的局面,1 月融资数共计 20 起,融资额 19.7 亿元;2 月分别降低至 15 起,4.7 亿元;3 月份分别反弹至 22 起,25.9 亿元。

从单笔融资金额看,一季度已披露融资金额的融资事件中,融资金额过亿事件共有 13 起,融资总额接近 44 亿元人民币;融资额高 于 1000 万元的企业共计 29 起,融资总额为 49.2 亿元人民币。其中融资规模最大的一笔融资来自硅谷数模,AR 眼镜厂商Rokid 以 7 亿 元人民币单笔融资位居第三;从投融资数额分布来看,VR/AR 投融资门槛日趋高涨,逐渐成为头部玩家的角逐场。

从投资机构类型来看,57 起融资事件主要以 IVC(独立风险投资) 为主,参与投资数量达到了42 起,其余 15 起则均为 CVC (公司创业投资) 领投或独立投资,其中参与投资的互联网大厂 CVC 包括谷歌、 腾讯、阿里巴巴和字节跳动。

在一季度完成融资的 57 家企业中,接近或达到独角兽级别 (估值 要超过 10 亿美元) 的两家分别是Nreal 和 Rokid,均为 AR 眼镜厂商,并且两家公司都有针对 B 端市场的 AR 眼镜推出。

从 2022 年资本市场动向来看,AR 产业尤其是 AR 终端,面向B端的产品受到了资本市场的广泛关注来看。在政策导向和资本市场的共同推动下,面向B 端的 AR 市场将迎来新的增长机会。

1.2.AR 技术发展现状

1.2.1.AR 发展概述

增强现实产业历经概念探索期,历市场启动期后,技术与内容生态初步形成,即将进入稳步发展期。

从 1990 年增强现实概念的提出,到 1999 年第一个增强现实 SDK 诞生,2000 年第一款 AR 游戏 AR-Quake 的发布,增强现实在探索期逐步发展,到了2012 年,谷歌推出AR 眼镜把增强现实带入大众视野, 让消费者开始接收增强现实概念,2015 年现象级 AR 手游《Pokémon GO》的出现将增强现实推向第一个高潮,《Pokémon GO》只用了 63 天,通过 iOS 和 Google Play 应用商店在全球就赚了 5 亿美元,成为史上赚钱速度最快的手游。同年,微软发布了 AR 头戴显示器Hololens,被誉为目前已发布的体验最好的 AR 设备。2016 年 AR 初 创公司Magic Leap 获得巨额融资,资本市场的看好给 AR 带来了新的契机。2017 年科技巨头苹果打造 AR 开发平台,苹果在 iOS 11 中带来了全新的增强现实组件ARKit,让 AR 应用的开发门槛进一步降低。随后各种中小 AR 初创企业如雨后春笋的不断涌现,按照预期 AR 将从 2031 年进入市场成熟期。

增强现实发展历程

1.2.2.AR 发展趋势

随着软硬件技术的不断迭代和更新,AR 产业也在不断发展,近年 AR 产业界有如下几个发展趋势:

1、头显及硬件设备优化

AR 头显都将变得越来越小巧强大。据称,加州初创公司 Mojo Vision 展示了将信息直接投射到视网膜的 AR 隐形眼镜的可能性。相关硬件的功能也会日益丰富。HHTC Vive Pro Eye 头显已经被破解眼球追踪技术,实现通过眼球运动来控制界面。先进的眼动追踪技术未来也会应用在 AR 头显设备中,类似技术将越来越普及。

2、WebXR:访问接入的便捷性

过去缺乏跨平台标准是 AR 技术普及的主要障碍。可以想象在所有头显和虚拟平台技术采用统一标准之前,AR 都难以建立一个通用的强大的开发者生态圈。因此大家希望 WebXR 带来访问的便捷化和接入轻量化来填补数字鸿沟。

3、AR 业务的下一步发展:面向工商业领域的行业应用

随着设备的轻量化,AR 在消费终端的应用收到了更多的关注,但是其在工商业等领域的行业应用的持续增长更为被看好。根据 ABI 的数据统计,面向行业的 AR 应用将以66%的年均速度增长,到 2026 年,行业产值将达 1750 亿美元。支持远程工作的沉浸式协作平台在明年将继续取得发展。

4、5G 网络为 AR 应用开辟高速公路

随着 5G 网络的部署实现大部分覆盖,为 AR 应用带来了更广阔的应用场景,5G 不仅网速更快,还提供更丰富的数据业务,将为 AR 技 术的普及铺平道路。5G 使得 AR 应用可以将部分算力“卸载”至网络边缘侧或者云侧,让 AR 终端设备进一步降低功耗和成本成为可能。5G 网络丰富的带宽也给 AR 应用更丰富的内容体验提供了保障。

5G 网络在三大主要技术场景,增强型移动宽带(eMBB)、海量机器类通信(mMTC)、超高可靠低时延通信(uRLLC)的基础上持续演进,端到端的切片能力、运维自动化、定位增强功能,将进一步实现 5G 与大视频等各个行业的融合应用。因此在 AR 行业应用方面,将有助于打造开放生态系统,提供端到端价值链的通用接口,扩展云化AR/VR 服务。

1.3。总结

AR 技术经过了探索和启动期,目前进入发展期,5G 网络为 AR 应用带来丰富带宽和算力的支持,随着头部互联网公司入局,中国 AR 市场被注入了巨大活力,发展前景广阔,面向行业的 AR 应用市场更为活跃,在政策支持和资本市场的关注下迎来了新的机遇。

2.AR 行业应用场景及典型案例

2.1。教育培训

2.1.1。应用场景

在趣味教学方面,AR 技术可以使教学内容和形式从 2D 升级到 3D,实时建立虚拟世界与真实世界的连接,将图文、模型、声音、视频等数据叠加到真实环境中,展现直观的教学内容和形式,带来全新的教学体验,激发学生的学习兴趣和学习意愿,帮助学生理解抽象复杂的内容,提高教学效率,有效促进教与学模式转变。

学生沉浸在虚实融合的教学空间,采用大小屏或者 AR 眼镜设备,加载教学用AR 教材、AR 实验器材等,并基于强大的渲染能力和高效有趣的交互,将书本知识进行立体可视化,有助于合理创设有效的教学情景,带给学生“身临其境”的感觉,使情景式教学得以增强,有效克服记忆曲线,同时可以提升学生的主动性和参与度,增强学生的互动体验和团队协作。

在行业培训方面,通过结合 AR 技术将生产技术标准化,可以通过虚拟信息增强行业场景的沉浸感和信息量,帮助相关人员快速理解工业产品或生产过程,同时也降低了传统培训过程中对于专业人员和专业场地的要求,一方面减少某一生产环境下面临的多批重复培训需要的消耗,另一方面减少整个生产中需要引入特定先进技术时面临的不同企业重复的技术培训消耗。

受训人员利用便携的平板电脑、手机或 AR 眼镜接受高度拟真的互动演示、培训。通过 AR 培训系统,他们可以借助平台接线图进行线路连接、生产操作流程、产品装配或运维等。系统还可以帮助培训人员理解和完成测试过程。通过这个系统,受训人员可随时随地进行测试,并且系统会记录下整个过程来帮助管理者分析、精确定位知识差距并通过进一步培训解决这些差距,提升员工能力。借助 AR 技术, 实现了培训时间减少,同时可将相同的培训方法扩展应用到其他生产线。

2.1.2。典型案例

教育部在 2019 年 11 月 20 日发布了《关于加强和改进中小学实验教学的意见》,文中指出应积极创新实验教学方法。对于现实世界中因时间和空间等等原因限制而无法观察和控制的事物和现象,对于变化过快或过慢的过程,对于危险、破坏性和对环境有害的实验,我们可以利用增强现实、虚拟现实等技术手段来呈现。北京师范大学 “VR/AR+教育”实验室开发的教学 APP,结合了教学设计理念,让学生可以在教育元宇宙中通过改变参数,观察 AR 影像的变化,达到自主探究、归纳总结的目的,更符合教育和认知规律,比如在高中物理 -法拉第电磁感应定律课堂中,利用AR 技术将因磁通量变化产生感应电动势的现象呈现出来,探索电磁感应规律。

在工业领域,RealMax 基于 AR 智能眼镜的 AR 机械臂模拟实操和编程训练课程,拥有多样化的课程体系,学生通过控制真实的机械臂示教器控制 AR 虚拟机械臂操作,包括机器人虚拟拆装、喷涂、焊接等实操训练,虚实结合,加快理解认知,提高学习效率。

2.2。工业巡检

2.2.1。应用场景

质量检测结合室内定位与增强服务能力,通过 AR 信息辅助巡检人员排查异常情况,适用于各类工程设备巡检及维修工作。节省检测时间,提高检测效率,也提高服务力量薄弱地区的维修服务效率。

巡检人员佩戴 AR 眼镜完成智能自检,质检员开始质检后,AR 眼镜将自动开启全程录像。通过 AR 眼镜,质检员可以在检测现场查看到流程中每一步骤的检验内容、操作指导等数字信息、还可通过语音进行程序控制、质检项目选择、检测结果输入等。在完成整个场景后,将检验信息上传到质检后台,后台支持相关数据的查询、展示及报告的生成。通过 AR 巡检系统与企业信息化系统打通,实现无纸化操作。

2.2.2。典型案例

联想晨星 AR 采用双目 AR 眼镜,结合 5G 技术,帮助巡检人员进行可视化巡检,智能巡检系统通过 AR 眼镜可以实现自动测温、辅助异响判断,实时记录反馈,缺陷自动派发工单等功能。一线巡检人员如果发现无法准确判断的问题,还可以一键呼叫远程专家进行诊断,加快了对设备问题的响应和处理速度。

可视化巡检还体现在,当巡检人员戴上 AR 眼镜后,就可以看到表计读数,或设备的历史数据和状态,以虚实叠加的方式呈现在眼前。基于物体识别技术会出现包括当前读数、历史读数趋势等虚拟信息,并且结合机器智能,给出当前读数是否正常的判断说明。目前 AR 巡检的方案已经落地国网上海电力,帮助企业大大提升日常巡检的效率。

2.3。装配制造

2.3.1。应用场景

通过 AR 技术,工程师可以直观了解装配设备的内部结构信息以及某个部件的 3D 图形,并对其进行操作调整,从而实现准确快速的装配生产。还可以将安装指导手册和质量要求显示在 AR 眼镜上,从而缩短工程师的装配时间。

专注于增强现实远程指导的公司XMReality 最近进行的一项现场研究证实,基于 AR 的解决方案可以使远程技术人员将错误减少 50%,并将解决问题的速度提高32%。在工作现场创建工作清单与步骤说明的数字信息,现场员工在工作时佩戴 AR 眼镜即可快速访问这些数字信息,触手可及。根据指示进行操作时,也不必担心自己的操作步骤有误而增加大量的检查和确认时间,极大提升质量控制与交付能力。

2.3.2。典型案例

0galsses 以 AR 眼镜为终端,将 AR 工业解决方案应用于发动机装配过程,通过对发动机精确的三维模型进行 AR 追踪显示、图像识别等技术,实现发动机装配过程中零件投料、自动核验、实时纠错等可视化管理,提高装配效率,降低出错率。

2020 年在全球疫情的背景下,华菱湘钢携手湖南移动、华为公司,运用5G+AR 技术,为华菱湘钢的提质改造项目,精品中小棒特钢生产线,实现跨国远程装配。利用 5G+AR 的远程协作装配解决方案,位于湖南湘潭的华菱湘钢现场工程师可以将现场环境视频和第一视角画面通过 5G 网络实时推送给位于德国和奥地利的工程师,国外工程师依托 AR 的实时标注、冻屏标注、音视频通信、桌面共享等技术,远程配合湘钢现场工程师的产线装配工作。

2.4。远程协助

2.4.1。应用场景

AR 远程指导系统可实现指导现场操作,也可以把真实的物体融合到现实环境中,在异地详细地展示操作过程。将 AR 技术应用于远程协助服务体系,与实时音视频、4G/5G 无线通讯等技术相融合,为处于不同地点的一线现场人员和服务中心专家、售后团队成员建立一体化的 AR 协作空间,搭建售后服务体系故障解决、产品改进与培训的数字化赋能平台。

AR 远程协助可以在售后服务、工业指导领域,将现场实时传输给异地专家,专家可进行语音指导或 AR 标注,快速定位,解决问题,能够在故障、维修现场,通过远程技术支援,快速判断故障原因,拿出最效率的解决方案。

2.4.2。 典型案例

2021 年,正泰集团联合亮风台,引入 AR 技术,打造了一套“AR 配电运维系统” 。“AR 配电运维系统”通过唤醒 AR 远程通讯与协作平台 HiLeia 开启多方远程会诊。后台专家可以在 AR 眼镜传回的第一视角画面上使用 3D 标注功能可视化指导现场人员完成相关操作或者故障处理,基于 SLAM 的 3D 标注技术,精度高、速度快、支持各种复杂场景。

Rokid 鲁班远程协作系统是为工业领域量身打造的基于 AR 眼镜的产业级应用系统。通过音视频通信,AR 实时标注进行远程协助。该系统提供 AR 标注功能,让远程专家可以在视频中直接圈注重点关注区域,现场工作人员可以通过 AR 眼镜实时接受反馈,快速定点问题;共享白板功能可以使远程专家通过后端设备反向提供信息给现场工作人员,实时讲解处理方案,提供专业信息,帮助工作人员高效理解处理方案。

基于中国移动“星辰视界”边缘计算平台的 AR 远程协助解决方案,采用“中心+边缘”分级架构,保障了企业信息的安全和实时通话的稳定。

2.5。文博文旅

2.5.1。应用场景

AR 技术赋予博物馆和藏品以“活力” ,将冰冷的藏品以鲜活的方式展示出来,即不伤害文物,又为观众带来精度高,互动性和参与性强的文化遗产展示,可以吸引大家对博物馆深入了解,将馆藏文化传播出去。AR 文博以科技讲文化故事,改革传统博物馆冰冷的陈列展示方式,以文物历史故事为原型,做成可让消费者体验和感受的 AR 互动文物产品,或者通过 AR 形式让我国非物质文化遗产跃然屏上,戴上 AR 眼镜穿越回久远的历史场景,或者直接来一场经典文物集合的数字文创 AR 互动体验展,真正让文物活起来,推动中华传统文化 的传承与发展。

后疫情时代,以数字内容为核心的沉浸式、个性化文旅体验异军突起、逆势上扬,成为市场需求热点。文化和旅游部多次就“加快文旅产业新型基础设施建设和数字文旅产业发展”做出了明确指示,要求拓展数字文旅产业,加强 5G、人工智能、AR/VR 等技术在文化和旅游领域的应用。通过 AR 技术将计算机生成的虚拟图像与实景融合,增加游玩的沉浸感、趣味性、知识性、交互性,全面升级旅游体验。AR 技术也可以用于文化遗址的重现或历史场景的复原展示,让参观者身临其境地了解景区背后的历史故事。

2.5.2。典型案例

中央广播电视总台数字文化艺术博物馆——“央博”数字平台利用 3D 数字展馆形态构建数字文化艺术博物馆体系,通过 AR 显示及交互技术,为受众带来震撼的艺术体验场景。2022 年 7 月,中国国家博物馆联合全球 33 家博物馆举行“全球博物馆珍藏展示在线接力” 活动,近 150 件世界级藏品在“8K 展示+5G 直播+AR 沉浸”的技术加持下,吸引超 200 万网友观看。

瑞士日内瓦大学研究人员利用数字动画、AR/VR 等技术手段,使消失了近 2000 年的庞贝古城以数字化的形式“重生” ,通过构建可视化、情境化的三维动画、虚拟古建筑场景和关键活态事件,并利用 AR 技术将这些数字文化内容叠加在现实的庞贝古城文化遗迹环境中,使游客能在真实的文化遗迹现场体验其背后的历史情境。

2.6。电子商务和数字营销

2.6.1。应用场景

AR 技术在提升在线商品的准确性,在线商品虚拟制造和展示这 三个方面应用前景广阔,有助于帮助企业探索新型的商业推广模式。AR 试穿通过将虚拟物体叠加到实际物体上,打造“先试后买”的沉浸式消费体验,可以显著提升品牌忠诚度和商品销售额。同时利用 3D 可视化可以高度还原商品的 3D 视图,支持商品的针对性设计,从而增加商品或服务的吸引力,提高了商品的重复购买率。

据 Statista 报告称,到 2025 年,AR 市场将达到 1980 亿美元,对比 2017 年的 35 亿美元增长了 56 倍之多。根据 Snap 对 2021 年全球 15 个国家的超 1.5 万名消费者的调研报告显示,AR 技术已经在影响人们的购物流程,目前有超过 1 亿的消费者使用AR 来购物,其中94%计划继续使用AR 来购物。AR 特效可吸引消费者注意力,拉近品牌与消费者的距离。通过 AR 技术与产品互动,广告转化率可高 达 95%,增强了消费者的购买信心。

2.6.2。典型案例

2021 年中国移动推出“5G+AR 智慧营业厅” ,通过借助 5G 网络和边缘云能力,融合 AR 空间增强、实时定位追踪等技术,对线下营业厅进行数智化升级,营造沉浸式的 AR 业务体验。在服务上,中国移动推出了可定制化的 AR 业务办理墙、可用于手机终端的 AR 魔百 盒、以及可提供 AR 导购服务的虚拟数智人——移动虚拟客服,可以帮助用户自助完成所需业务办理、了解和购买营业厅内的产品,节约运营人员成本的同时为用户带来创新数字科技新体验。

3.AR 行业应用关键技术

3.1。 软件侧关键技术

3.1.1。内容生成

针对行业市场应用的 AR 场景如工业制造、数字营销等行业,需要配合企业自身产品,包括各种生产零件和成百上千个商品进行 1:1 建模,这带来了大量的3D 数字内容定制化制作与 3D 内容呈现需求。

主流的 3D 建模方式有以下三种: (1)使用专业的 3D 模型制作工具手动建模。3DMax、Maya、Blender 等软件可以用于动画、游戏、室 内设计场景的高精度、高质量的3D 模型创作,但手动建模制作周期长,制作难度大,需要的时间和人力成本高。 (2)借助专业仪器如激光扫描仪对现实中的物体进行重建,实现扫描建模。该方法相比手动建模大大降低了工作量,提高了效率,但扫描建模只能对现实物体进 行重建,无法进行虚拟创造,且扫描出的模型需要编辑处理后才能使用。(3)拍照建模是一种新颖的建模方法,通过手机或相机拍摄物体的多张照片,利用算法完成拼接、纹理添加,最终形成 3D 模型,该 方法操作门槛和制作成本低,但其建模的精密度和清晰度仍有待提高。

体积视频是一种在三维空间中捕捉实时画面并将其转换为 3D 模型的技术,生成的 3D 模型可以在 AR、VR 中直接使用。体积视频记录了三维空间中所有的动作和行为,并将其存储为一个全角度的立体场景,没有固定的观看视角,用户可以自由地穿梭在场景之中,从任意角度、任意距离、任意位置观察场景中的对象,并且与之互动。在消费级别,捕获体积视频可以只包括一个深度相机;在生产级别,需要包括几十台或上百台相机指向目标场景,并且有相同数量的深度相机用于捕捉深度信息,进一步生成点云,最后将所有的数据进行融合,从而可以得到体积视频。

3.1.2。环境理解

基于点云地图的环境理解与快速三维重建技术,是 AR 的底层关键能力。将三维重建技术与工业领域的 AR 应用结合,可以解决如电力巡检、工业制造等行业的技术痛点,具有广阔的发展和应用前景。三维重建的输入可以是点云、深度图、单目或双目的 RGB 图像,通过融合深度相机和鱼眼相机,将不同视角图像中的 3D 点云融合,可有效提高三维重建的精度和鲁棒性。适配 5G 网络的“云边端”协同的三维重建方式可以有效推动 AR 应用的普及,终端设备负责采集的实景点云数据并上传至云服务器,在云端利用视觉算法完成点云数据的 滤波降噪、分割、配准、网格渲染等处理,构建 3D 模型实景三维建模及存储。该方案可极大减轻终端计算压力,提高建模精准度。

从应用场景规模上,重建后的点云地图可以分为三个尺度层级:

1)面向房间室内的小尺度点云地图:一般用于小型的 AR 应用, 多人互动 AR 游戏等。

2)面向大型建筑的中尺度点云地图:一般用于展馆或商场的 AR 室内导航、AR 展览。

3)面向城市街景的大尺度点云地图:可用于将个性化的 AR 内容与城市街景相融合,全面拉动城市数字经济发展。

基于平面检测的环境理解技术是 AR 应用的基础,通过计算机视觉算法对摄像头捕捉图像进行分析处理,提取分离图像中的特征点,计算跟踪这些特征点的三维空间信息,将位置相近的特征点构成平面,即可检测出真实环境中的水平/竖直平面(如桌面、水平面等)。平面有位置、方向和边界信息,用户可以在上面固定虚拟物体。

空间锚点(Anchor)是用于标记虚拟物体位置的关键点,完成虚拟物体在真实环境中的定位。终端经过环境理解后,空间锚点可以实时调整自身的相对位置,即使用户位置改变,也能保证虚拟物体稳定、准确停留在用户放置的真实环境中。将空间锚点技术应用在 AR 远程协助应用中,可以让远程专家在实时视频通话的过程中,把 3D 标记物、作业流程、操作步骤准确叠加到指定的作业位置,为远端的工作人员提供数据化、可视化、三维化的多媒体 AR 指导。

3.1.3。 定位跟踪

即时定位跟踪与点云建模(SLAM)技术作为 AR 的核心模块,为 AR 构建三维数字世界提供实时定位功能。SLAM 算法包括跟踪定位与建图两个流程,通过对输入图像提取特征点,生成点云模型并实时与真实场景进行特征匹配,实现了虚拟信息在真实场景的定位,其精度和实时性直接影响 AR 场景的沉浸感,虚实融合的表现力及自然交互的灵敏度。

由于真实场景环境复杂及端侧算力不足造成的精度缺失,稳定性、实时性差是 SLAM 技术面临的主要挑战。大尺度场景下,SLAM 计 算复杂度高,低功耗的移动设备难以支持实时计算。利用 5G 网络结合“云-边-端”的部署方式将推动基于 SLAM 算法的 AR 应用普及。通过云、边的强大算力加速视觉定位追踪进程;通过利用 5G 网络高带宽、低时延的优势,实时将模型数据及匹配信息反馈到端侧,弱化终端的计算需求,实现在移动设备达到高品质、轻量化的 AR 效果。

6DoF 空间定位是指 AR 设备除了可以检测头部转动带来的视角变化外,还能够检测由于身体移动带来的上下前后左右的位移变化。通过 6DoF 可以完整复刻人们日常感官中所有的观察角度,为用户提供更加逼真和沉浸的 AR 互动体验。目前在 AR 眼镜上实现 6DoF 追踪主要有以下四种方案:

1) 基于单摄像头的6DoF 追踪:该方案硬件成本低且易于集成,适用于偏静态场景。然而摄像头通常以低频率 (小于 60fps) 运行,无法在运动过程中捕捉到高质量图片,因而容易造成 6DoF 位置追踪失败。

2) 基于单目鱼眼摄像头的 6DoF 追踪:鱼眼摄像头具备高帧率和全局快门功能,可以为设备提供更好的6DoF 追踪效果。然而单目鱼眼摄像头支持的场景规模有限,如果使用者的移动范围过大,会造成因尺度偏移导致的虚拟物体移动。

3) 基于双目鱼眼摄像头的6DoF 追踪:与单目鱼眼摄像头方案相比,双目鱼眼摄像头可以提供更准确的环境尺度测量和追踪,已被如高通、OPPO 等厂商应用在其量产的 AR 头显设备上。然而该方案功耗高、发热大,需要更好的系统和硬件支持。

4) 运用边缘计算的6DoF 追踪:边缘计算可以减少 AR 设备的计算负荷,带来稳定性高、可兼容不同平台的高质量 6DoF 追踪。

3.1.4。虚实融合

AR 应用结合真实和虚拟世界,物理实体和三维数字对象可实时交互。虚实融合是指 AR 应用可以实时理解并适应现实世界的场景,将虚拟对象与实际场景紧密结合并准确渲染呈现。虚实融合技术结合光照估计、深度估计、虚实遮挡实现的高质量渲染,可以让虚拟物体看上去更加真实,与真实环境融为一体。虚实融合的动态仿真技术可以帮助企业展示实物产品无法表现的细节、功能、运转和操作,对工业设计有较大的助推作用。

将一个虚拟物体很好地融入现实背景中,首先要让虚拟物体与真实场景具有相同的光照效果,包括光照的方向和强弱。光估测就是提供对现实环境的光照分析,将现实世界的光照感觉拓展到数字场景中,我们利用光照估计技术评估环境光,利用环境光中的光照信息来动态调整虚拟对象的光照效果。主流 AR SDK 如 ARCore 是通过分析相机获取的图像内容,得到场景中的光照信息,虚拟物体可以根据场景的光照信息,形成相应方位的影子,从而增加真实度。

虚实遮挡可以正确反应真实场景和虚拟物体的空间关系,提高 AR 应用的真实感。目前常用的遮挡方法,主要有三维建模遮挡法、深度计算法、轮廓跟踪处理法和遮挡掩膜法。主流 AR SDK 如 ARCore、ARKit 采用深度计算法,借助摄像头的 RGB 相机创建深度图,判断摄像头捕捉到的真实物体的距离,以此实现虚拟物体被真实物体遮挡的效果。

3.2。硬件侧关键技术

针对行业市场应用的 AR 设备,受其应用场景的高精度环境复杂性等更高的技术指标要求以及相对个人消费市场的成本不敏感性,随着头显技术的发展,AR 的硬件设备也向着更轻薄,更低功耗,更小体积,更舒适的佩戴体验不断进行更新迭代。目前硬件侧有如下几个备受瞩目的技术。

3.2.1。光学成像

AR 眼镜常见的光学成像系统主要有以下几种:

1) 离轴反射

离轴反射的原理跟 VR 眼镜一样直观,显示屏的内容,通过一个透明的反射镜面,反射到眼睛里,而外面的景物,也透过这个镜面进入眼睛,从而实现了虚实景物的叠加。

它的优点是结构简单,成本低,可实现的 FOV 较大,但是体积相应也最大。

2) 棱镜

该方案技术成熟、成本低,但做出来的 AR 眼镜视场角都比较小,AR 体验感不强。透明棱镜在强光下的显示效果也不太好。所以现在 一些比较好的棱镜方案是包裹式的,以确保显示的内容足够清晰且不受环境光线影响。

3) 自由曲面

分为大曲面和小曲面,大曲面的视场角更大、成像效果更好,小曲面则牺牲了一点视场角,使眼镜外观更为小巧轻便,便于日常佩戴,性价比更高。

4) Birdbath

显示的内容被投在在一个半透的分光镜片上,它的好处是相比离轴反射方案,光学结构要小一些。但是从眼镜结构上看,跟我们平时用的眼镜还是有区别,无法做到日常佩戴。

5) 光波导

光波导的原理略微复杂,总体上还可以分成 几何光波导和衍射光波导。它大体的概念是,成像光线从侧面在镜片内部通过反射传播,最终射入眼睛。因为它利用了镜片内部的空间进行传播,所以不需要增加额外的外部空间,也就使得整个眼镜可以做的很轻薄。

近一年全球发布 AR 眼镜使用光波导、BirdBath 和自由曲面的比例分别为 36%、32%、20%。

很显然,完美的光学方案还没有出现,目前市场上百家争鸣、百花齐放的状态,这需要 AR 眼镜的产品依据应用场景、产品定位等来做权衡取舍。目前业界普遍认为,光波导方案从光学效果、外观形态,和量产前景来说,都具备最好的发展潜力。

3.2.2。显示

1) LCOS

早期的头戴式设备中,大部分采用的是类似 LCD 显示屏的 LCOS 的显示技术。这一技术路径的优点是产品十分成熟,最主要的缺点是功耗大,每个 LCOS 屏的功耗在 1 瓦左右,而且散热无法做到十分均匀,导致终端设备尺寸必然很大,当然还有分辨率低等其他缺陷,这些问题既影响了续航时间,也导致用户体验感差,所以基本上处于被淘汰的状况。

2) 硅基 OLED (OLEDoS)

硅基 OLED 微型显示器是结合 CMOS 工艺和 OLED 技术,以单晶硅作为有源驱动背板而制作的主动式有机发光二极管显示器件。单晶硅芯片采用成熟的集成电路 CMOS 工艺,并结合了 OLED 快速响应、大视角、低功耗等突出优点,不但实现显示屏像素的有源寻址矩阵,还实现了如 SRAM 存储器、T-CON 等多种功能的驱动控制电路,减少了器件的外部连线,增加了可靠性,实现了轻量化,像素尺寸为传统显示器件的 1/10,精细度高于传统器件。

硅基 OLED 是主动式有机发光显示 AMOLED 的一个重要分支。与 AMOLED 显示技术相比,硅基 OLED 显示技术具有以下一些突出特点:

①基底芯片采用成熟的集成电路工艺,制造良率大大高于 LTPS 技术。

②采用单晶硅,迁移率高、性能稳定,寿命高。

③200mm ×200mm 的 OLED 蒸镀封装设备就可满足制造要求,不像 AMOLED 需要追求高世代产线。

④硅基 OLED 微显示器体积小,其提供的近眼显示效果可以与 AMOLED 显示器相媲美。

军用领域是硅基 OLED 微显示相关产品在早期发展阶段的切入点,应用主要包括瞄准观察系统、头盔系统和模拟训练系统,是国防现代化、信息化建设的重要组成部分。由于其具备制造良率较高、性能稳定、寿命较长、体积小、低功耗等特性,进而促进其成为头盔显示器、立体显示镜以及眼镜式显示器等可穿戴显示的主要方案,在VR/AR、工业安防、医疗等高分辨率近眼显示领域都能有广泛的应用,逐渐成为新型显示行业的角力点。

3) Micro LED

与全球大部分终端厂家转向硅基 OLED 相比,国内有少数 AR 开发商开始采用基于特殊发光衬底材料的 Micro LED 微显示芯片,甚至有 Micro LED 供应商称之为 AR 的终极解决方案。Micro LED 的确可以解决 AR 眼镜中现有亮度不够高和寿命不够长的问题,比方说,国内有的 Micro LED 芯片企业甚至可以将发光亮度做到杀伤性武器级别的 300 万尼特的水准。

但是,这些高亮度 Micro LED 微显示芯片只能实现单色发光,在变换成 RGB 全彩色发光过程中,加大了功耗损失。如果要实现Micro LED 的 RGB 三色独立发光,在高密度的情况下,短时间内无法解决巨量转移的问题 (设备和工艺挑战的难度太大) 。

在目前技术条件下,8000-1 万尼特的 Micro LED 微显示芯片 (单色混合成彩色) 的功耗至少在 600 毫瓦以上,像素密度只能达到2000PPI。而 AR、MR、XR、VR(并不需要高亮度)的像素密度需求至少在 4000PPI 以上,未来甚至要求达到 1 万 PPI 以上,才能实现 4K-8K 的显示效果。很显然,与已实现 RGB 全彩色发光、具有高密度、低功耗优势的 WOLED 技术相比,Micro LED 要达到被主流头戴设备终端厂商接受的程度,还有很漫长的道路要走。

目前OLEDoS 因其对比度高、功耗低、工艺成熟得到广泛运用;Micro LED 由于其功耗低、亮度高、解析度和色彩饱和度高、响应速度快、对比度高、可视角度宽、能源效率高、使用寿命长等性能特点,被认为是最适合 AR 的屏幕,但由于工艺技术难度高,尚难以量产。

3.2.3。处理芯片

处理芯片能力影响着 AR 设备的功耗、处理能力、体积、重量等等重要的硬件参数。目前市场上的 AR 眼镜的处理器较多采用高通 XR 系列及骁龙 8 系列。

以高通的骁龙 XR2 为例。2019 年 12 月 5 日,高通推出了全球首个支持 5G 的扩展现实 (XR) 平台——骁龙 XR2。该平台支持诸多定制特性和多项业界首创,可跨增强现实 (AR) 、虚拟现实 (VR) 和混合现实 ( MR) 领域实现广泛扩展。与高通一代 XR 平台相比,骁龙 XR2 平台实现了性能的提升,包括 2 倍的 CPU 和 GPU 性能提升、4 倍视频带宽提升、6 倍分辨率提升和 11 倍 AI 性能提升。支持眼球追踪的视觉聚焦渲染和支持更流畅刷新率的增强可变速率着色等 XR 专属 特性,可以在渲染重负载工作,同时还保持低功耗。

高通在发布了XR2 平台后,又发布了搭载骁龙 XR 2 平台的无线 AR 智能眼镜参考设计。与原来的有线 AR 相比,这一全新的设计令外形缩小了大约40%。

由此可见,处理芯片对 AR 设备的功耗、外形及处理能力都起着重要影响, 目前我国的 AR 芯片处理器自给率低,进口替代空间大。

4.AR 行业应用的挑战与思考

4.1.AR 行业应用推广尚存的问题

4.1.1.AR 产业技术有待成熟

AR 软件和硬件侧技术还没完全成熟,影响业务发展初期用户体验,用户粘性不足,无法形成闭环的商业模式和盈利点,产业化路程漫长。

基础技术方面,近眼显示技术进展缓慢,尤其业界普遍关注的 AR 光学方案尚无共识;虚实融合渲染方面,软件渲染、终端渲染、 云端渲染、注视点渲染、人工智能渲染等有待结合产业上下游加强粘性应用;感知交互方面,追踪定位、沉浸声场、手势识别、眼球追踪等尚需打磨进行商业化尝试;内容制作方面,开发引擎单一,各品牌均着力打造自有内容生态,少有协作;标准方面,全球 AR 应用技术标准处于探索阶段,仍需结合具体深化场景推动布局;另有 5G、云计算、边缘计算等还需要建设和普及,为 AR 应用和能力提供高效云网融合方案。

设备方面,算力负荷大,功耗过高,直接影响续航,AR 眼镜佩戴舒适性还有较大改善空间,且无线串流技术还不成熟;价格方面主流 AR 眼镜较为昂贵难以实现推广普及。

4.1.2.AR 行业应用数据流通与安全问题

AR 在未来的制造运营中能够发挥至关重要的作用,但其采用速度与使用它的产品和流程的复杂性成正比。产品的设计理念、逻辑和应用场景完全不同使得许多 AR 系统的准备工作复杂而费力。AR 技术在与行业整合过程中会碰到很多的模型,需要处理各种数据文件。同时,那些复杂的设备模型需要准确和高度详细的数据描述。一些复杂的 AR 应用还需挖掘来自企业业务系统或外部数据源的数据流,并将其整合到内容中。

除此之外,工业中很多设备都有知识产权,设备模型和相关数据不能随意部署,也就是说数据或模型资源并不能直接应用于AR 场景,如果需要对客户设备进行全方位建模并细化信息,工作量非常大。而行业企业往往又缺乏拥有专业 3D 模型制作编辑的工作人员,因此无论是 AR 模型的制作还是编辑使用都十分困难。因此一方面还需简化AR 应用开发流程,简单操作就能实现 AR 效果,另一方面结合安全隔离的部署方案如 5G 边缘计算等保障企业资源。

4.1.3.AR 行业应用解决方案碎片化

目前培训、工业、商务等的 AR 能力除具备基础的视频接入及管理外,均面临终端侧和边缘侧算力成本高、定制化严重、落地应用周期较长、软件更新维护成本较高的问题,无法满足智能、变化快、场景多的需求,不能支持多终端异厂商同步快速接入、统一业务体验。传统的基于固定场景系统,无法用于复杂、多样化的应用。

因此,需持续探索实现 AR 行业场景的标准化流程化,满足行业安全、高效的应用需求,形成成熟的解决方案。比如在工业化场景中,部署流程可涵盖场景匹配、硬件选择、平台选择、网络测试、系统测试、业务测试、反馈迭代,使得 AR 技术成为智能制造发展的重要平台和基础支撑。

5.5G 网络与 AR 行业应用的结合

5.1.5G 增强打造开放的 AR 产业技术服务

5.1.1.5G 增强演进与云化 AR 业务融合

3GPP R16 确定针对企业应用增强(如工业互联网),提出 5G 专网和 99.9999%的高可靠性要求,并实现端到端的切片能力。R17 加入人工智能/机器学习的能力,实现网络运维的自动化等功能,增强了对工业物联网和可穿戴应用案例的支持,通过 5G NR 支持功能缩减的物联网设备,提供了定位增强功能,降低功耗的创新 (例如省电模式), 并进一步增强了网络切片和边缘计算。5G 网络增强将进一步实现 5G 与大视频(VR/AR 和超高清视频)的融合应用,打造开放的 AR 产业技术服务。

5G AR 业务可将部分渲染、视频处理的功能转移到云端服务器处理,有助于减少终端处理能力要求,降低头显体积与功耗,使得采用云端服务器和 XR 终端的连接成为可能。针对时延控制的业务需求差异,一是将服务器部署在 5G 的核心网络侧的应用服务器上或中央数据中心,二是将其部署在边缘计算或接入侧数据中心上。AR 业务往往是时延敏感型应用,具有强交互的特点,为了更好的用户体验,对于 AR 工业协助、教学培训等行业应用,采用边缘计算及数据中心成为焦点方案。

5.1.2.5G 网络 AR 行业解决方案案例

2020 年,为满足因疫情防控而显著增加的船舶远程检验要求,中国船级社面对船舶机舱、货舱等封闭处所内无通信信号覆盖,导致位于该处所的船舶检验项目无法以实时音视频通信方式远程开展的问题,中国船级社联合中国移动集团舟山公司提出了船舶封闭处所 5G 自组网通信解决方案,将 5G 宏站信号覆盖到船舶封闭处所,为船舶封闭处所提供高质量的音视频信号传输条件。通过 AR 眼镜、智能手机采集远端船舶的高清音视频,保证在实时检验过程中,采集高质量的画面,降低环境噪音影响、保障通话质量。通过专业的检验交互 平台,可远程控制采集设备,并对实时视频画面进行标注交互,拍照存档和推送文件,有效的提升了实时远程检验过程中船岸沟通的质量和效率,确保远程检验达到与登轮检验等效的检验效果。

2021 年在北京疫情期间,中国移动通过 5G+AR+云视讯远程专家指导应用,采用实时音视频通讯技术通过智能眼镜、移动设备为中核工程北京专家和福建现场操作人员架设高带宽低时延的信息化桥梁, 以 5G 专网能力为基础,降低疫情原因导致的工期延误问题,缩短了工程排查及巡检时间,助力传统企业转型升级。

5.2。边缘计算助力 AR 数据连接和安全隔离

5.2.1.AR 边缘部署优势

5G 网络和云架构的融合将有助于 AR 和 VR 这样的沉浸式业务体验在大众市场的普及。而移动边缘计算适配 5G 网络超大连接、超低时延以及超大带宽等核心要素而形成的分布式计算方式,丰富5G 应用场景,不局限于网络管道功能,有助于打造 AR 新的产业生态。

目前,AR/VR 头显需要海量的存储、高功耗和高处理能力,因此价格昂贵,便携性受限,通过将这些处理功能转移到边缘云平台,设备功能成本大大降低,轻量级头显即可满足 AR 体验。云化 AR/VR 技术还有赖于高速、低时延的数据连接,通过超低时延的边缘云服务可满足业务时延和可靠性要求。同时,对于复杂的行业模型和数据文件整合,边缘计算平台可以通过隐私保护机制实现数据处理及隔离,提升数据安全性。当前数据中心的数据与应用很难实现对数据的访问与使用的细化控制。边缘计算一方面可以利用近数据端的边缘结点直接对数据源进行处理,以实现对一些敏感数据的保护与隔离;另一方面,边缘节点与云数据之间建立功能接口,进行云边通信控制,显著地降低隐私泄露的风险。

此外,AR 技术开发领域包括研究超低时延编解码压缩、基于云端的图形渲染 (GPU) 和虚拟化技术,边缘部署有助于分散成本的服务参考架构开发,帮助开发人员轻松部署服务。

5.2.2。边缘部署解决方案案例

2019 年,中兴通讯联合中国移动研究院发布《AR 边缘云白皮书技术概览》,对 AR 边缘云核心技术发展进行预测,给出了当前 5G+AR 云三个核心技术路径:低延时编码、5G 确定性网络、一致性能力集成接口,指出将 AR 云的各种能力组件和应用逻辑通过虚拟机或者容器的方式在边缘云承载,并通过低延时传输完成被感知现实场景的传输和合成、显示内容的推送是当前 AR 边缘云的标准实践模式。

AR 边缘云部署构架图

在应用方面,西班牙巴塞罗那商场 La Boqueria 推出“增强现实购物者” (Augmented Reality Personal Shopper) 的应用程序作为试点,用 5G 和 AR 技术为购物者提供虚拟购物体验,用增强现实技术把线下市场和电子商务连接起来。该系统利用基于边缘计算服务器的私有 5G 网络,保证最小的通信延迟和最大的带宽内存,购物者从市场摊位上实时选择特定产品,并通过现场 AR 眼镜获得有关这些产品的 AR 信息。

AR 边缘计算的应用场景落地推动面临诸多挑战,在理想模式下,构建 AR 边缘云弹性的部署方式,提供对于开发生态比较好的包容和可用性,实现行业应用数据安全保障,仍需产业各方进一步探究探索。

5.3。行业 AR 方案向模块化演进

5G+云+AR 服务架构

业网融合的 AR 应用部署参考架构

随着 5G+边缘计算的发展,运算处理部分将向云端转移,同时 AR 能力和数据结合紧密,赋予应用更多价值。行业 AR 应用应以业网融合为引领,弥合跨产业链条的技术与产业断点,实现规模性、差异化的应用普及,充分结合边缘计算、5G 切片等网络能力,推进业网融合和关键场景的应用部署。

为行业用户提供灵活入口,移动端作为显示入口,根据垂类行业应用进一步获取 5G+云的 AR 场景,中心云提供核心能力、内容服务、场景运营以通用业务能力等运营管理模块,边缘可以实现 AR 功能模块化部署,主要通用功能模块包括但不限于空间地图、AR 协作、3D 模型及平台管理,便于交互入口获取调用。

5.3.1。行业 AR 应用通用模块

5.3.1.1。空间地图模块

面向行业的 AR 应用在工业、文旅等中大型空间场景中可集成空间地图模块,实现 AR 效果或三维模型的注册跟踪,包括空间地图构建、在线建图、标准化建图管理功能。

空间地图构建功能致力于现实或虚拟场景的数字化与应用。支持稳定可控地图质量,甚至结构重复、低弱纹理、植被变化等各类困难场景重建,通过稠密重建与模型优化技术,提供高精度高保真地图模型。地图重建完整度高,可配置多级模型与贴图精度,助力 AR 内容制作与呈现。

在线建图功能支持地图运营与更新快速迭代拓展的地图工具链,支持地图拼接、局部变动自动检测和更新,支持地图标注与点位更新。

标准化建图管理功能具备标准化的建图管理能力、地图生产流程和地图数据规范,可应对各行业领域的建图案例和建图需求。在确定建图需求后,将按照完整可控的流程进行采集任务生成和分发、地图数据生产和检验。

5.3.1.2。 AR 协助模块

AR 协助是 AR 行业应用的重要模块,尤其在装配指导、远程协作场景需实现 AR 效果标注、共享等,包括冻屏标注、实时标注、模型叠加等功能。

冻屏标注功能支持远程用户暂停音视频通信画面或直接在画面上进行实时标注,指导结果将同步展现在现场用户视野中。

实时标注功能支持视频画面实时传输共享,远程专家在用户侧视频流上进行 AR 可视化标注,指导求助方作业。标记位置与用户真实场景准确锚定,不发生偏移,画面快速移动时,偏移误差需在可接受范围内。

模型叠加功能支持用户在AR 音视频通话过程中共享AR 3D 模型,实现 3D 模型和真实世界的虚实融合,识别跟踪。通过模型叠加直观的了解设备或项目的详细信息,可基于 3D 模型进行讲解,帮助用户了解其 3D 构造、工作原理及功能,提高远程协作效率。

音视频通信是 AR 远程协作的基础功能,用于建立音视频实时通话及支持数据流传输,同时提供数据通道传输 AR 特征数据如坐标数组、浮点型数据等。

5.3.1.3。 3D 模型编辑模块

AR 行业应用平台可部署 3D 模型编辑模块,满足教育培训、文博文旅、数字营销等应用场景中对于 3D 模型的可视化编辑和管理,导入工程、场景、物体等,支持导入多种通用格式的3D 模型,如 json、 obj 、glb 、gltf 、fbx 等,用户端可以通过可视化的界面编辑修改导入 后的 3D 模型。

3D 模型编辑器内置多种基本的组件,包括简单几何体模型、灯光,内置场景支持雾效、影子、反光、粒子效果、镜面、水面、svg、线路、管道等。支持 3D 模型属性修改功能和 3D 模型导出和保存功能,基于导入的3D 模型和内置组件,用户可以可视化修改 3D 模型,查看模型不同组件的几何详细信息,并且根据需求更改三维几何信息,可任意增加,删除,移动模型的部分组件,设置模型的相机、几何体、材质、纹理、颜色、透明度等属性。

管理模块包括用户管理、设备管理、任务管理功能等,为 AR 行业应用提供后台支撑。

比如在 AR 远程协助的场景中,用户管理可以对专家、操作员账号进行创建、注销、删除、编辑并给予特定权限,系统严格控制各种访问、操作权限。在 AR 教育培训场景中,管理用户访问权限,课程设置等。

设备管理功能包括新设备接入申请,信任设备名单,设备在线状态等,后台可对信任设备名单进行增、删、改、查等操作。

任务管理功能可创建、分发、删除、编辑任务,对应设备编号的信息推送,并可获知操作者任务动态,并保存所有任务的历史信息。任务下发后,对应操作者在登录所持 AR 眼镜、手机客户端设备后可以在下发任务的指定时间得到任务的提醒,更新任务日志等。

6。 总结

在数字化工业的发展的背景下,可以预见面向行业的 AR 应用将迎来更大的机遇和挑战。增强现实为工业、教育、旅游、医疗、营销等行业带来了新的体验模式,在节约成本,提升效率,增强用户体验等方面是传统的商业模式无法替代的。5G 网络与千兆光网的普及更是为 AR 应用提供了网络带宽及边缘算力的保障。

现就持续推 进 AR 行业应用产业应用落地,促进产业合作和发展方面提出如下建议:

以技术创新为支撑,通过产业融合、应用落地,提升行业 AR 体验,保障生产力。 目前 AR 产业技术尚未完全成熟,在近眼显示,处理芯片等领域国内自主化程度还较低,围绕技术创新,填补技术短板是业内急需解决的问题。通过开放技术生态,产业融合,促进业内合作与创新,推动应用落地,提升用户体验。

丰富 AR 产业商业模式,整合增强现实产业链资源,构筑“5G 云 AR+”融合发展生态圈。5G 网络不仅为增强现实提供了丰富的带宽也提供了算力保障,通过与 5G 云网融合,为各种行业 AR 应用提供有保障的增强现实服务,进一步减轻终端运算压力。



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3