RTE2024 IoT 专场：全新人机交互方式提升智能硬件体验

随着人工智能技术的发展，相比上一个IoT时代，如今的AIoT或将为我们带来更多的想象空间。众所周知，生成式AI一直在为各行各业注入新的动力，以AI为载体的智能硬件行业自然也不例外。更智能的多模态大模型赋予了智能硬件更多的可能，全新的人机交互体验和智能化变革正在进阶。

在刚刚过去的RTE2024IoT专场上，声网IoT行业负责人吴昌儒、海马爸比联合创始人谭国豪、小米XiaomiVela开源负责人杜超、莲偶科技软件部总裁杨旺、旷视增值业务部总经理史泽鸿、佐臻技术总监徐偉恩等行业大咖齐聚一堂，分别从不同角度分享了GenAI对智能硬件的创新驱动，以及AIoT时代下全新的技术趋势和场景实现。

AIoT时代，人机的交互方式将如何变革？

1960年，命令行界面（CLL）交互方式出现，人们通过键盘输入命令与计算机进行交互。1980年，图形用户界面（GUI）出现，图形元素与计算机交互成为主流。2010年，iPhone诞生开启了触摸交互时代，点击、拖拽和手势操作等交互方式使人机交互更自然。2020年后，语音/多模态/对话式（LUI/MUI/CUI）交互方式逐渐成熟。今年，OpenAIRealtimeAPI发布标志着实时交互又取得了重大进展，人与AI的沟通将变得像人跟人之间一样自然。

有了多模态、对话式交互和大模型之后，以大语言模型（LLM）为核心引擎的模拟人类智能行为系统AIAgent也爆火，它的优势是可以通过对环境的感知、做出决策并执行任务，以实现特定的目标。声网IoT行业负责人吴昌儒表示，随着AI技术的快速发展，AIAgent硬件产品正在百花齐放，并为各个领域带来了全新的智能化体验。这些产品不仅可以借助人工智能实现高度自动化和个性化，还能通过硬件设备与用户进行自然交互，智能硬件+AIAgent将带来真正的场景升级。

从当下的市场情况来看，目前智能硬件+AIAgent主要的应用方向有两个，一是提高生产力的工具，二是带来情感陪伴。吴昌儒认为，智能硬件+AIAgent将推动IoT领域从一次性硬件销售到长期服务提供的商业模式转变，厂商未来可以通过订阅和增值服务的形式获得持续的收入来源。

他还介绍到，声网为了更好的解决AIAgent所带来的实时互动问题，此前就推出了声网AIAgentxIoT智能硬件解决方案，该方案能够在低功耗、低算力芯片上快速实现大模型的接入，具备低延时实时互动、低成本灵活适配的特性，通过丰富的功能在智能硬件场景中构建真实、自然的AI语音交互体验。目前，声网AIAgentxIoT智能硬件解决方案已经提供了包含大网实时传输，音频处理、语音识别、文本处理、视频处理等能力，可以支持智能管家、安防助手、虚拟陪伴、生活助理、实时翻译等应用场景。

小米在IoT操作系统领域的探索与实践

说到IoT领域的发展，一定绕不开小米。数据显示，目前小米IoT可连接设备数已经达到8.22亿，米家APP月活9690万，拥有5件设备及以上的用户数1610万。无论从规模还是活跃程度上讲，小米IoT都称得上是全球领先的消费级IoT平台。那么，在小米的视角下，AI+IoT会带来哪些新的进化？

小米XiaomiVela开源负责人杜超认为，IoT领域核心痛点就是碎片化。他介绍到，为了解决碎片化这一问题，小米在2017年就启动了Vela自研操作系统的研发，目标就是为了打通碎片化的IoT应用，并在各种不同的硬件平台上提供统一的软件服务，为IoT的繁荣构建基础设施。

经过几年的发展时间，目前XiaomiVela已经在智能穿戴和智能家居领域超5千万台设备中得到了应用。其具备的柔性部署、跨端互联、端侧AI、安全保障和开发者生态五大优势可以让设备厂商以最低的研发投入、最短的研发周期成功地开发出高体验的智能产品。

杜超表示，AI与IoT的相互结合将为大家带来超乎想象的智能体验。今天的IoT设备已经不再局限于个人，更广泛的家庭使用场景促使着服务要触达更广阔群体、并渗透人车家的全生态场景之中。AI在这个趋势中的价值空间很大，它不仅可以用于洞察各种生活场景，精准的捕捉、剖析用户的意图，还能通过多应用的智能编排，促进多设备、多应用之间的无缝协同。

未来，通过AI+快应用的创新模式，将有望实现从基于用户指令的传统应用到基于用户意图主动服务的根本性转变，彻底重塑跨端体验。

云端一体，为硬件产品注入智慧基因

作为一家聚焦物联网场景的人工智能公司，旷视对AI+IoT的未来发展有着深刻的洞察与诸多实践。在RTE2024IoT论坛上，旷视增值业务部总经理史泽鸿带来了题为“云端一体，为硬件产品注入智慧基因”的分享。

据史泽鸿介绍，旷视作为人工智能行业的务实者和领跑者，一直以涵盖算法、系统和硬件的全栈式技术能力，持续为行业用户提供基于大模型的端到端解决方案，并全面拥抱AI新浪潮。在硬件方面，旷视集中在偏传感器类和机器人类的硬件产品的研发。在系统上，自研AI生产力平台Brain++，可以让大模型落地效率更高、成本更低。在算法上，旷视在通用大模型和行业大模型两个方面一直持续积累，并推出了旷视太乙大模型和算法生产平台AIS。在AI硬件上，也持续在芯片传感器和机器人硬件方向上投入和实践。

应用落地上，1套Brain++算法支撑系统、2个旷视AIoT平台与旷视AI算法服务平台以及一系列嵌入式模组硬件，共同组成了旷视1+2+N的云端一体解决方案。

史泽鸿也在现场着重介绍了可以实现产品快速搭建的旷视AIoT平台。据悉，旷视AIoT平台可以集中进行设备、数据，本地算法应用、云算法应用、大模型应用的综合管理，并为客户提供私有云集成，快速完成APP小程序和设备的一站式连接，依托声网的能力，该平台已经可以实现更低延时的视频体验和算法的散发体验。

AI助力硬件新消费升级：婴儿看护、空间手势交互、智慧眼镜

从交互设施的改变、跨端体验的重塑再到云端一体，我们看到了AIoT时代的基础设施构建与技术变革。在实际的应用层面，也有多位从业者带来了不一样的进化展示。

先从海马爸比开始说起，对于从事边缘计算的企业来说，如何与大模型做更好的结合，并提供更好的产品体验在AIoT时代显得尤为重要。以海马爸比婴儿看护神器为例，目前该产品在AI技术的支撑下，已经具备AI遮脸提醒、哭声检测、睡眠监护等功能。未来通过AI技术，这类产品不仅可以成为家庭育儿助手，还能根据每个孩子的具体情况量身定制教育内容，使其更加智能化和人性化。

在海马爸比联合创始人谭国豪看来，AI在未来对硬件消费领域的赋能将是全方位的。个性化互动方面，AIGC技术可以通过分析用户数据和行为，生成符合个人需求的内容，让设备更具人性化。例如，智能硬件中的AI能自动生成音乐、故事或互动游戏，主动安抚或帮助孩子学习。情感与需求识别方面，AI+智能硬件能够生成适合特定情绪或需求的内容，并根据孩子的情感生成个性化的语音对话，主动改善用户的情绪状态。

谭国豪认为，AIGC正在引领智能硬件变革，AI不再仅仅是被动监测和响应，它将通过生成有意义的内容与用户互动，推动智能硬件从工具转向服务。

直播作为当下最热门的行业之一，有没有可能通过AI+智能硬件形式帮助从业者打破语言壁垒、创新交互玩法？莲偶科技软件部总裁杨旺在RTE2024IoT论坛上展示的L-Ring2就是一个很好的例子。

据介绍，手势算法驱动、AI能力算法赋能的最新空间戒指L-Ring2，是莲偶科技在AR和硬件结合领域的一次探索。L-Ring2不仅可以为直播场景提供精准的语音识别和实时的语言翻译能力，未来还将结合声纹模拟语音合成、情绪模拟、口型视频合成等技术，让直播翻译更自然，更流畅。在交互玩法上，L-Ring2可以通过手势轻松交互，摆脱触屏与手柄，提升用户体验。

不可否认的是，演示讲座、大空间交互、实时操控、智驾操作、直播互动正在成为空间手势实时交互的应用场景。杨旺也表示，未来手势识别算法结合AI+RTE，将为直播平台提供增强实时互动的融合解决方案。莲偶科技作为一家深耕大空间科技领域的公司，将持续结合RTE、空间算法、手势识别算法、AI大模型等技术，致力于实现现实与虚拟世界的无缝融合，为用户提供更加沉浸式的互动体验。

除了婴儿看护、空间手势交互这类产品之外，以VR/AR为代表的XR技术近年来也出现了井喷式发展，并在各个行业得以广泛应用。当XR、AI与物联网整合在一起之后，又将发生怎样的变化？

在现场，佐臻技术总监徐偉恩重点介绍了佐臻推出的AR眼镜。他指出，该款眼镜可以打破时间和空间上的隔阂，增加人、物、空间和数位内容之间的连接，已经被应用在了智慧医疗、教育和智慧楼宇等场景中。除此之外，徐偉恩还分别介绍了包含XR展厅和展览、沉浸式模拟、远程协作、5G直播在内的佐臻远程多人协作方案。在多种应用场景中，专家端都可以透过实时互动技术在线协助现场端的问题，真正实现实时异地同工。

在徐偉恩看来，XR不单只是一个技术，更是一个改变。它将GenAI的潜力释放到全新的境地，让人们在虚拟和现实之间，更智能化的探索无限可能。两者的结合在未来各种领域、产业发展带来创新和改进、持续发挥无限潜力。

不得不承认，在GenAI的浪潮下，AIoT时代正在快速到来。全新的时代，人机交互的形式会变、产品商业价值会变、盈利模式会变。但不变的是，声网期待与各场景、各领域从业者一起共迎接新时代、拥抱新技术的初心。