在日常生活之外，多模態(tài)交互設(shè)備也在應(yīng)用于工業(yè)設(shè)備中。比如通過(guò)給機(jī)器設(shè)備搭載機(jī)器視覺(jué)+傳感器提供安全警告，以及利用機(jī)器視覺(jué)+故障信號(hào)的方式判斷設(shè)備問(wèn)題等。

把不同信號(hào)模態(tài)整合在一起，實(shí)現(xiàn)設(shè)備的多維感知，今天正在以比較快的速度來(lái)到應(yīng)用市場(chǎng)。

高精度判斷用戶(hù)命令，輸出主動(dòng)服務(wù)；提供實(shí)時(shí)化、彈性化的體驗(yàn)，可以說(shuō)是AI帶來(lái)的多模態(tài)交互技術(shù)放進(jìn)物聯(lián)網(wǎng)世界中的一張鬼牌。

當(dāng)然了，還是有幾道難關(guān)……

按照慣例，最后我們還是要正視任何技術(shù)都存在不足。剛剛有一點(diǎn)萌芽的多模態(tài)交互+物聯(lián)網(wǎng)當(dāng)然也不例外。

最核心的一個(gè)問(wèn)題，是我們到底靠什么實(shí)現(xiàn)多模態(tài)協(xié)同？

目前來(lái)看，無(wú)論是家電還是工業(yè)設(shè)備，實(shí)現(xiàn)多模態(tài)混合的主要方式還是把不同的傳感源輸入到設(shè)備處理中心，啟動(dòng)一定程序來(lái)開(kāi)啟相應(yīng)服務(wù)。

換句話(huà)說(shuō)，AI模型本身是沒(méi)法理解多模態(tài)信號(hào)的，只是不同的算法啟動(dòng)不同的開(kāi)關(guān)而已。這種“偽AI多模態(tài)”的設(shè)備也不是不行，只是在實(shí)時(shí)化和復(fù)雜的推理判斷上會(huì)有心無(wú)力。

解決方案可能是一種叫做“多模態(tài)深度學(xué)習(xí)”的技術(shù)，讓AI智能體本身能夠理解多模態(tài)信號(hào)，從算法本身就容納聽(tīng)覺(jué)、視覺(jué)、傳感信號(hào)進(jìn)行統(tǒng)一思考。這樣可以保證設(shè)備高度實(shí)時(shí)化，并且可以讓設(shè)備進(jìn)行多模態(tài)協(xié)同學(xué)習(xí)，真正地“聰明”起來(lái)。

這要求在算法上對(duì)多維度數(shù)據(jù)的各自表示、融合、對(duì)齊有新的突破，今天我們還只能等待學(xué)術(shù)界的好消息。

另外一個(gè)問(wèn)題，是今天的多模態(tài)交互缺少有效的開(kāi)發(fā)平臺(tái)，開(kāi)發(fā)者和企業(yè)很難復(fù)制這一模式，來(lái)進(jìn)行獨(dú)立的物聯(lián)網(wǎng)解決方案開(kāi)發(fā)。當(dāng)然，目前來(lái)看這應(yīng)該僅僅是個(gè)時(shí)間問(wèn)題。

與之相對(duì)應(yīng)的，是在缺乏行業(yè)標(biāo)準(zhǔn)、開(kāi)發(fā)基礎(chǔ)的前提下，今天開(kāi)發(fā)一個(gè)多模態(tài)物聯(lián)網(wǎng)項(xiàng)目需要大量的人才成本和綜合開(kāi)發(fā)成本。并且缺少芯片、專(zhuān)用傳感器等后端硬件的支撐。這個(gè)領(lǐng)域國(guó)內(nèi)有一些芯片和算法公司，但似乎大部分處在做PPT的畫(huà)餅階段。

綜合來(lái)看，AI帶來(lái)的多模態(tài)想象力，大概確實(shí)可以完成一些物聯(lián)網(wǎng)很早就希望實(shí)現(xiàn)的東西。但方興未艾的產(chǎn)業(yè)局勢(shì)，還需要巨頭搭建平臺(tái)、優(yōu)質(zhì)案例出現(xiàn)、開(kāi)發(fā)者路徑明確等幾個(gè)環(huán)節(jié)才能開(kāi)啟下一輪風(fēng)口。

但無(wú)論如何，耳聰目明的機(jī)器，已經(jīng)在跑步過(guò)來(lái)的路上了……