文：詩(shī)與星空(ID: SingingUnderStars)

很多年前，曾經(jīng)很流行一種網(wǎng)絡(luò)游戲，叫MUD（也叫玩泥巴，現(xiàn)在依然有很多MUD服務(wù)器，但玩家大多是上古遺留人士）。

這種游戲沒(méi)有圖形界面，人機(jī)交互靠的是文本，早期還都是英文，后來(lái)支持漢字。

比如，到了一個(gè)地方，輸入look，系統(tǒng)會(huì)告訴你，這是哪里，有什么，然后嗖對(duì)方一箭射過(guò)來(lái)，你就昏迷了過(guò)去。

最近一直高強(qiáng)度使用ChatGPT、Claude、文心一言等生成式通用人工智能，突然想到一件事：如果把這些AI工具，接入硬件設(shè)備會(huì)怎樣？

還真有人在這么干，一個(gè)是微軟，一個(gè)是谷歌。

01

微軟畫(huà)得大餅

2月20日，微軟發(fā)布了"ChatGPT for Robotics"的技術(shù)報(bào)告，為如何將ChatGPT 融入機(jī)器人領(lǐng)域提供了一種可能的視角。

與純文本的應(yīng)用不同，機(jī)器人系統(tǒng)需要對(duì)現(xiàn)實(shí)世界的物理、環(huán)境背景和物理動(dòng)作的執(zhí)行能力有深入的了解。

而且所生成機(jī)器人模型需要具備相當(dāng)?shù)某ＷR(shí)性知識(shí)和符合實(shí)際的物理模型，以及與用戶交互以解釋和執(zhí)行實(shí)際現(xiàn)實(shí)中可行的命令。

從報(bào)告來(lái)看，非常像玩MUD。

1.首先需要手工設(shè)計(jì)一系列的機(jī)器人功能庫(kù)函數(shù)來(lái)實(shí)現(xiàn)底層執(zhí)行器的命令，如，移動(dòng)，停止，獲得目標(biāo)的位置信息等等。

2.第二步是給ChatGPT 寫(xiě)一個(gè)提示詞，用來(lái)描述需要讓ChatGPT 執(zhí)行的目標(biāo)。

3.第三步是使用者評(píng)估ChatGPT 生成的代碼，并且給ChatGPT 提供反饋，讓ChatGPT 進(jìn)行下一步改進(jìn)。

4.通過(guò)提供反饋，將代碼進(jìn)行不斷迭代改進(jìn)，當(dāng)測(cè)試通過(guò)之后，就可以部署到實(shí)際的系統(tǒng)中了。

經(jīng)過(guò)對(duì)ChatGPT特定訓(xùn)練后（其實(shí)是一種lora），形成穩(wěn)定的版本，ChatGPT在理解了“自然語(yǔ)言”后，把指令分解通知機(jī)器人，然后調(diào)取其傳感器，根據(jù)反饋結(jié)果進(jìn)行下一步處理。

在ChatGPT出現(xiàn)之前，人和機(jī)器人（其他設(shè)備類似）交互是一種非常專業(yè)的事情，一般由設(shè)備廠件提供標(biāo)準(zhǔn)的交互軟件，如果可以定制，再給一個(gè)可以調(diào)用的SDK，所有操作幾乎都是提前寫(xiě)死的，幾乎做不到全自動(dòng)的運(yùn)動(dòng)。

像大疆能夠做到自主反饋，已經(jīng)是機(jī)械設(shè)備領(lǐng)域的巔峰了。

AI改變了這一切。

02

谷歌做的樣機(jī)

3月10日左右，谷歌發(fā)布了一段視頻，基于一個(gè)名叫PaLM-E的大模型。

通過(guò)這個(gè)大模型的驅(qū)動(dòng)，機(jī)器人可以按照人類的指令去拿零食、拿可樂(lè)。

如果說(shuō)微軟的技術(shù)報(bào)告還在PPT階段的話，谷歌已經(jīng)實(shí)現(xiàn)了工程樣機(jī)。

現(xiàn)在回過(guò)頭來(lái)再思考當(dāng)年谷歌為什么收購(gòu)波士頓動(dòng)力，似乎恍然大悟。

可惜的是，在大模型方面谷歌沒(méi)能第一時(shí)間領(lǐng)先，波士頓動(dòng)力也因成本過(guò)高出手。

比如給它一張圖片，然后讓它根據(jù)所看到的做出蛋糕。

模型能先判斷出圖像中都有什么，然后分成9步講了該如何制作蛋糕，從最初的磕雞蛋到最后洗碗都包括在內(nèi)。

03

大模型從NLP到CV

ChatGPT也好，文心一言也好，現(xiàn)在大模型的應(yīng)用主要用在NLP（自然語(yǔ)言處理）領(lǐng)域，實(shí)際應(yīng)用以交互對(duì)話為主。

而機(jī)器人的領(lǐng)域，是CV（機(jī)器視覺(jué)），這個(gè)領(lǐng)域的人工智能最領(lǐng)先的國(guó)家是誰(shuí)？

中國(guó)。

2022 年，CVPR 大會(huì)的投稿量達(dá)到 8161 份，相比 2021 年度的 7093 份提交增長(zhǎng)了 15%。其中 44.59% 的作者來(lái)自中國(guó)，排在第二名的是美國(guó)，占據(jù) 20.65%。

同濟(jì)研二在讀，達(dá)摩院研究型實(shí)習(xí)生獲得了最佳學(xué)生論文獎(jiǎng)。

同濟(jì)、清華、阿里達(dá)摩院等學(xué)術(shù)機(jī)構(gòu)大獎(jiǎng)拿到手軟，很多國(guó)內(nèi)企業(yè)也大放異彩，比如商湯有 66 篇論文入選，還拿到了 CVPR 2021 ActivityNet 時(shí)序動(dòng)作檢測(cè)任務(wù)弱監(jiān)督學(xué)習(xí)賽道冠軍以及 CVPR 2021 NTIRE 視頻理解挑戰(zhàn)賽的三項(xiàng)冠軍；快手也有 14 篇論文被接收，涵蓋三維視覺(jué)、目標(biāo)檢測(cè)、視頻目標(biāo)分割、人臉偽造技術(shù)檢測(cè)等熱門研究領(lǐng)域

換言之，ChatGPT嘴皮子功夫再厲害，最終還是要喂給機(jī)器，這才是真正的生產(chǎn)力。

到了這個(gè)環(huán)節(jié)，就是中國(guó)人的天下了。所以完全不用擔(dān)心AI領(lǐng)域中國(guó)會(huì)落后。

軟件的本質(zhì)是算法，算法的本質(zhì)是數(shù)學(xué)。

數(shù)學(xué)？嘿嘿嘿。中國(guó)人的數(shù)學(xué)已經(jīng)卷出地球了。

04

工業(yè)機(jī)器人，你知道我說(shuō)的誰(shuí)了嗎？

也就是說(shuō)，高科技軟件的實(shí)質(zhì)，要回到物理層面：機(jī)器、設(shè)備。

AI將要在一個(gè)領(lǐng)域掀起一場(chǎng)革命，那就是工業(yè)機(jī)器人。

中國(guó)最大的機(jī)器人上市公司是誰(shuí)？

美的，因?yàn)樗��?016年并購(gòu)了庫(kù)卡集團(tuán)，庫(kù)卡作為世界四大機(jī)器人巨頭之一，年銷售額已經(jīng)接近300億（2022年299億）。

2月，美的集團(tuán)宣布成為百度文心一言(英文名：ERNIE Bot)首批生態(tài)合作伙伴，攜手百度推進(jìn)智能家居領(lǐng)域人機(jī)對(duì)話能力的進(jìn)一步升級(jí)，通過(guò)前沿的生成式AI技術(shù)，用戶有望實(shí)現(xiàn)智能家居場(chǎng)景下自然流利的對(duì)話。

美的集團(tuán)AI創(chuàng)新中心算法負(fù)責(zé)人介紹，接入百度文心一言能力后，美的智能家居、美的家庭服務(wù)機(jī)器人將可以優(yōu)先內(nèi)測(cè)和試用文心一言的諸多能力，這將明顯提升現(xiàn)有產(chǎn)品和服務(wù)的智能化水平。

整個(gè)流程，一下子打開(kāi)了，豁然開(kāi)朗。

一個(gè)人和機(jī)器和諧共存的未來(lái)，是不是很值得期待？

       原文標(biāo)題 : 意料之外的AI硬件巨頭