隨著人工智能技術(shù)的發(fā)展，相比上一個(gè) IoT 時(shí)代，如今的 AIoT 或?qū)�為我們帶來更多的想象空間。眾所周知，生成式 AI 一直在為各行各業(yè)注入新的動(dòng)力，以 AI 為載體的智能硬件行業(yè)自然也不例外。更智能的多模態(tài)大模型賦予了智能硬件更多的可能，全新的人機(jī)交互體驗(yàn)和智能化變革正在進(jìn)階。

在剛剛過去的 RTE2024 IoT 專場上，聲網(wǎng) IoT 行業(yè)負(fù)責(zé)人吳昌儒、海馬爸比聯(lián)合創(chuàng)始人譚國豪、小米 XiaomiVela 開源負(fù)責(zé)人杜超、蓮偶科技軟件部總裁楊旺、曠視增值業(yè)務(wù)部總經(jīng)理史澤鴻、佐臻技術(shù)總監(jiān)徐偉恩等行業(yè)大咖齊聚一堂，分別從不同角度分享了 GenAI 對智能硬件的創(chuàng)新驅(qū)動(dòng)，以及 AIoT 時(shí)代下全新的技術(shù)趨勢和場景實(shí)現(xiàn)。

AIoT 時(shí)代，人機(jī)的交互方式將如何變革？

1960年，命令行界面（ CLL ）交互方式出現(xiàn)，人們通過鍵盤輸入命令與計(jì)算機(jī)進(jìn)行交互。1980年，圖形用戶界面（ GUI ）出現(xiàn)，圖形元素與計(jì)算機(jī)交互成為主流。2010年，iPhone 誕生開啟了觸摸交互時(shí)代，點(diǎn)擊、拖拽和手勢操作等交互方式使人機(jī)交互更自然。2020年后，語音/多模態(tài)/對話式（ LUI/MUI/CUI ）交互方式逐漸成熟。今年，OpenAI Realtime API 發(fā)布標(biāo)志著實(shí)時(shí)交互又取得了重大進(jìn)展，人與AI的溝通將變得像人跟人之間一樣自然。

有了多模態(tài)、對話式交互和大模型之后，以大語言模型（ LLM ）為核心引擎的模擬人類智能行為系統(tǒng) AI Agent 也爆火，它的優(yōu)勢是可以通過對環(huán)境的感知、做出決策并執(zhí)行任務(wù)，以實(shí)現(xiàn)特定的目標(biāo)。聲網(wǎng) IoT 行業(yè)負(fù)責(zé)人吳昌儒表示，隨著 AI 技術(shù)的快速發(fā)展，AI Agent 硬件產(chǎn)品正在百花齊放，并為各個(gè)領(lǐng)域帶來了全新的智能化體驗(yàn)。這些產(chǎn)品不僅可以借助人工智能實(shí)現(xiàn)高度自動(dòng)化和個(gè)性化，還能通過硬件設(shè)備與用戶進(jìn)行自然交互，智能硬件+ AI Agent將帶來真正的場景升級(jí)。

從當(dāng)下的市場情況來看，目前智能硬件+ AI Agent 主要的應(yīng)用方向有兩個(gè)，一是提高生產(chǎn)力的工具，二是帶來情感陪伴。吳昌儒認(rèn)為，智能硬件+ AI Agent 將推動(dòng) IoT 領(lǐng)域從一次性硬件銷售到長期服務(wù)提供的商業(yè)模式轉(zhuǎn)變，廠商未來可以通過訂閱和增值服務(wù)的形式獲得持續(xù)的收入來源。

他還介紹到，聲網(wǎng)為了更好的解決 AI Agent 所帶來的實(shí)時(shí)互動(dòng)問題，此前就推出了聲網(wǎng) AI Agent x IoT 智能硬件解決方案，該方案能夠在低功耗、低算力芯片上快速實(shí)現(xiàn)大模型的接入，具備低延時(shí)實(shí)時(shí)互動(dòng)、低成本靈活適配的特性，通過豐富的功能在智能硬件場景中構(gòu)建真實(shí)、自然的 AI 語音交互體驗(yàn)。目前，聲網(wǎng) AI Agent x IoT 智能硬件解決方案已經(jīng)提供了包含大網(wǎng)實(shí)時(shí)傳輸，音頻處理、語音識(shí)別、文本處理、視頻處理等能力，可以支持智能管家、安防助手、虛擬陪伴、生活助理、實(shí)時(shí)翻譯等應(yīng)用場景。

小米在 IoT 操作系統(tǒng)領(lǐng)域的探索與實(shí)踐

說到 IoT 領(lǐng)域的發(fā)展，一定繞不開小米。數(shù)據(jù)顯示，目前小米 IoT 可連接設(shè)備數(shù)已經(jīng)達(dá)到8.22億，米家 APP 月活9690萬，擁有5件設(shè)備及以上的用戶數(shù)1610萬。無論從規(guī)模還是活躍程度上講，小米 IoT 都稱得上是全球領(lǐng)先的消費(fèi)級(jí) IoT 平臺(tái)。那么，在小米的視角下，AI + IoT 會(huì)帶來哪些新的進(jìn)化？

小米 XiaomiVela 開源負(fù)責(zé)人杜超認(rèn)為，IoT領(lǐng)域核心痛點(diǎn)就是碎片化。他介紹到，為了解決碎片化這一問題，小米在2017年就啟動(dòng)了 Vela 自研操作系統(tǒng)的研發(fā)，目標(biāo)就是為了打通碎片化的 IoT 應(yīng)用，并在各種不同的硬件平臺(tái)上提供統(tǒng)一的軟件服務(wù)，為 IoT 的繁榮構(gòu)建基礎(chǔ)設(shè)施。

經(jīng)過幾年的發(fā)展時(shí)間，目前 XiaomiVela 已經(jīng)在智能穿戴和智能家居領(lǐng)域超5千萬臺(tái)設(shè)備中得到了應(yīng)用。其具備的柔性部署、跨端互聯(lián)、端側(cè) AI、安全保障和開發(fā)者生態(tài)五大優(yōu)勢可以讓設(shè)備廠商以最低的研發(fā)投入、最短的研發(fā)周期成功地開發(fā)出高體驗(yàn)的智能產(chǎn)品。

杜超表示，AI 與 IoT 的相互結(jié)合將為大家?guī)�來超乎想象的智能體驗(yàn)。今天的 IoT 設(shè)備已經(jīng)不再局限于個(gè)人，更廣泛的家庭使用場景促使著服務(wù)要觸達(dá)更廣闊群體、并滲透人車家的全生態(tài)場景之中。AI 在這個(gè)趨勢中的價(jià)值空間很大，它不僅可以用于洞察各種生活場景，精準(zhǔn)的捕捉、剖析用戶的意圖，還能通過多應(yīng)用的智能編排，促進(jìn)多設(shè)備、多應(yīng)用之間的無縫協(xié)同。

未來，通過 AI + 快應(yīng)用的創(chuàng)新模式，將有望實(shí)現(xiàn)從基于用戶指令的傳統(tǒng)應(yīng)用到基于用戶意圖主動(dòng)服務(wù)的根本性轉(zhuǎn)變，徹底重塑跨端體驗(yàn)。

云端一體，為硬件產(chǎn)品注入智慧基因

作為一家聚焦物聯(lián)網(wǎng)場景的人工智能公司，曠視對 AI +IoT 的未來發(fā)展有著深刻的洞察與諸多實(shí)踐。在RTE2024 IoT 論壇上，曠視增值業(yè)務(wù)部總經(jīng)理史澤鴻帶來了題為“云端一體，為硬件產(chǎn)品注入智慧基因”的分享。

據(jù)史澤鴻介紹，曠視作為人工智能行業(yè)的務(wù)實(shí)者和領(lǐng)跑者，一直以涵蓋算法、系統(tǒng)和硬件的全棧式技術(shù)能力，持續(xù)為行業(yè)用戶提供基于大模型的端到端解決方案，并全面擁抱 AI 新浪潮。在硬件方面，曠視集中在偏傳感器類和機(jī)器人類的硬件產(chǎn)品的研發(fā)。在系統(tǒng)上，自研AI生產(chǎn)力平臺(tái) Brain++，可以讓大模型落地效率更高、成本更低。在算法上，曠視在通用大模型和行業(yè)大模型兩個(gè)方面一直持續(xù)積累，并推出了曠視太乙大模型和算法生產(chǎn)平臺(tái) AIS 。在 AI 硬件上，也持續(xù)在芯片傳感器和機(jī)器人硬件方向上投入和實(shí)踐。

應(yīng)用落地上，1套 Brain++算法支撐系統(tǒng)、2個(gè)曠視 AIoT 平臺(tái)與曠視 AI 算法服務(wù)平臺(tái)以及一系列嵌入式模組硬件，共同組成了曠視1+2+N 的云端一體解決方案。

史澤鴻也在現(xiàn)場著重介紹了可以實(shí)現(xiàn)產(chǎn)品快速搭建的曠視 AIoT 平臺(tái)。據(jù)悉，曠視 AIoT 平臺(tái)可以集中進(jìn)行設(shè)備、數(shù)據(jù)，本地算法應(yīng)用、云算法應(yīng)用、大模型應(yīng)用的綜合管理，并為客戶提供私有云集成，快速完成 APP 小程序和設(shè)備的一站式連接，依托聲網(wǎng)的能力，該平臺(tái)已經(jīng)可以實(shí)現(xiàn)更低延時(shí)的視頻體驗(yàn)和算法的散發(fā)體驗(yàn)。

AI 助力硬件新消費(fèi)升級(jí)：嬰兒看護(hù)、空間手勢交互、智慧眼鏡

從交互設(shè)施的改變、跨端體驗(yàn)的重塑再到云端一體，我們看到了 AIoT 時(shí)代的基礎(chǔ)設(shè)施構(gòu)建與技術(shù)變革。在實(shí)際的應(yīng)用層面，也有多位從業(yè)者帶來了不一樣的進(jìn)化展示。

先從海馬爸比開始說起，對于從事邊緣計(jì)算的企業(yè)來說，如何與大模型做更好的結(jié)合，并提供更好的產(chǎn)品體驗(yàn)在 AIoT 時(shí)代顯得尤為重要。以海馬爸比嬰兒看護(hù)神器為例，目前該產(chǎn)品在 AI 技術(shù)的支撐下，已經(jīng)具備 AI 遮臉提醒、哭聲檢測、睡眠監(jiān)護(hù)等功能。未來通過 AI 技術(shù)，這類產(chǎn)品不僅可以成為家庭育兒助手，還能根據(jù)每個(gè)孩子的具體情況量身定制教育內(nèi)容，使其更加智能化和人性化。

在海馬爸比聯(lián)合創(chuàng)始人譚國豪看來，AI 在未來對硬件消費(fèi)領(lǐng)域的賦能將是全方位的。個(gè)性化互動(dòng)方面，AIGC 技術(shù)可以通過分析用戶數(shù)據(jù)和行為，生成符合個(gè)人需求的內(nèi)容，讓設(shè)備更具人性化。例如，智能硬件中的AI能自動(dòng)生成音樂、故事或互動(dòng)游戲，主動(dòng)安撫或幫助孩子學(xué)習(xí)。情感與需求識(shí)別方面，AI +智能硬件能夠生成適合特定情緒或需求的內(nèi)容，并根據(jù)孩子的情感生成個(gè)性化的語音對話，主動(dòng)改善用戶的情緒狀態(tài)。

譚國豪認(rèn)為，AIGC 正在引領(lǐng)智能硬件變革，AI 不再僅僅是被動(dòng)監(jiān)測和響應(yīng)，它將通過生成有意義的內(nèi)容與用戶互動(dòng)，推動(dòng)智能硬件從工具轉(zhuǎn)向服務(wù)。

直播作為當(dāng)下最熱門的行業(yè)之一，有沒有可能通過AI +智能硬件形式幫助從業(yè)者打破語言壁壘、創(chuàng)新交互玩法？蓮偶科技軟件部總裁楊旺在 RTE2024 IoT 論壇上展示的 L-Ring 2 就是一個(gè)很好的例子。

據(jù)介紹，手勢算法驅(qū)動(dòng)、AI 能力算法賦能的最新空間戒指 L-Ring 2，是蓮偶科技在 AR 和硬件結(jié)合領(lǐng)域的一次探索。L-Ring 2不僅可以為直播場景提供精準(zhǔn)的語音識(shí)別和實(shí)時(shí)的語言翻譯能力，未來還將結(jié)合聲紋模擬語音合成、情緒模擬、口型視頻合成等技術(shù)，讓直播翻譯更自然，更流暢。在交互玩法上， L-Ring 2可以通過手勢輕松交互，擺脫觸屏與手柄，提升用戶體驗(yàn)。

不可否認(rèn)的是，演示講座、大空間交互、實(shí)時(shí)操控、智駕操作、直播互動(dòng)正在成為空間手勢實(shí)時(shí)交互的應(yīng)用場景。楊旺也表示，未來手勢識(shí)別算法結(jié)合 AI+RTE ，將為直播平臺(tái)提供增強(qiáng)實(shí)時(shí)互動(dòng)的融合解決方案。蓮偶科技作為一家深耕大空間科技領(lǐng)域的公司，將持續(xù)結(jié)合 RTE、空間算法、手勢識(shí)別算法、AI 大模型等技術(shù)，致力于實(shí)現(xiàn)現(xiàn)實(shí)與虛擬世界的無縫融合，為用戶提供更加沉浸式的互動(dòng)體驗(yàn)。

除了嬰兒看護(hù)、空間手勢交互這類產(chǎn)品之外，以VR / AR 為代表的 XR 技術(shù)近年來也出現(xiàn)了井噴式發(fā)展，并在各個(gè)行業(yè)得以廣泛應(yīng)用。當(dāng) XR、AI 與物聯(lián)網(wǎng)整合在一起之后，又將發(fā)生怎樣的變化？

在現(xiàn)場，佐臻技術(shù)總監(jiān)徐偉恩重點(diǎn)介紹了佐臻推出的 AR 眼鏡。他指出，該款眼鏡可以打破時(shí)間和空間上的隔閡，增加人、物、空間和數(shù)位內(nèi)容之間的連接，已經(jīng)被應(yīng)用在了智慧醫(yī)療、教育和智慧樓宇等場景中。除此之外，徐偉恩還分別介紹了包含 XR 展廳和展覽、沉浸式模擬、遠(yuǎn)程協(xié)作、5G 直播在內(nèi)的佐臻遠(yuǎn)程多人協(xié)作方案。在多種應(yīng)用場景中，專家端都可以透過實(shí)時(shí)互動(dòng)技術(shù)在線協(xié)助現(xiàn)場端的問題，真正實(shí)現(xiàn)實(shí)時(shí)異地同工。

在徐偉恩看來，XR 不單只是一個(gè)技術(shù)，更是一個(gè)改變。它將 Gen AI 的潛力釋放到全新的境地，讓人們在虛擬和現(xiàn)實(shí)之間，更智能化的探索無限可能。兩者的結(jié)合在未來各種領(lǐng)域、產(chǎn)業(yè)發(fā)展帶來創(chuàng)新和改進(jìn)、持續(xù)發(fā)揮無限潛力。

不得不承認(rèn)，在 GenAI 的浪潮下，AIoT 時(shí)代正在快速到來。全新的時(shí)代，人機(jī)交互的形式會(huì)變、產(chǎn)品商業(yè)價(jià)值會(huì)變、盈利模式會(huì)變。但不變的是，聲網(wǎng)期待與各場景、各領(lǐng)域從業(yè)者一起共迎接新時(shí)代、擁抱新技術(shù)的初心。

       原文標(biāo)題 : RTE2024 IoT 專場：全新人機(jī)交互方式提升智能硬件體驗(yàn)