當我們還在跟chatgpt吹牛尬聊時，有人已經在拿它操控機器人了。不是別人，正是openai的金主爸爸、不久前剛拿chatgpt“重新發(fā)明搜索引擎”的微軟。

到目前為止，開發(fā)者調教機器人不僅技術門檻高，還道阻且長：工程師需要在工作流程回路中，不斷手寫新代碼和規(guī)范來糾正機器人行為；另外，操控不同的機器人可能需要不同的編程語言和環(huán)境。

而在chatgpt的幫助下，工程師甚至不用手寫代碼——直接用人話描述想做什么，ai就能自動翻譯成機器語言。

這意味著，一方面專業(yè)人士與機器人的交互效率起飛；另一方面，技術門檻也降低一大截，外行人甚至也能參與調試，創(chuàng)造出更多使用方法。

舉個簡單的例子：讓無人機自動檢查貨架。

首先，操作者只需用自然語言給chatgpt提出要求；然后，ai就能自動翻譯成代碼，并指揮無人機行動。（還可以規(guī)定無人機的飛行路徑。）

難怪特斯拉前ai主管andrej karpathy會調侃：最新的熱門編程語言是英語。

01一個ai指揮多種機器人

實際上，chatgpt會玩兒的花樣可多了。

比如，一位操作者跟ai說：“我渴了，請幫我找個喝的。”此時ai并不會直愣愣地就去找水了，而是會很機靈地反問：請問你想喝哪種？這里有好幾種飲料，比如椰子水、可樂等等。

當然操作者也不是吃素的，他并未直接告訴ai選哪個，而是說：“我剛從健身房回來，請幫我找個健康點兒的飲料。”

然后更神奇的操作就開始了，ai先是猜測他想喝椰子水，然后自己噼里啪啦寫出一段代碼（甚至還有注釋）：

寫完就自己指揮無人機去找椰子水。

除了無人機，chatgpt還能輕松操控別的小機器人，包括攝像頭、機械臂等等。

比如讓攝像頭在房間里找出能加熱午飯的東西。

還有指揮機械臂拼出一個微軟的logo（悄悄夾帶私貨）

看到這些，有網友腦洞大開，有人發(fā)問：他們是不是正在建立無所不能的天網？

不過話說回來，其實離網友說的這些還差得遠，畢竟現(xiàn)在還是需要人類參與的。

02怎么實現(xiàn)的？

從前文可以看出，這只靈活的ai不僅與人交流暢通無阻，而且和機器也能快速溝通。這主要得益于微軟團隊專門開發(fā)的一系列api和高級函數(shù)庫。

他們沒有讓chatgpt背后的語言大模型（llm），生成某固定種類的代碼；因為機器人是個多元化領域，這樣可能會在不同場景下涉及大量微調。

而在新穎的操作框架下，不同機器人，都有自己對應的特定函數(shù)庫——一個ai，就能適應不同的對象、不同的任務。

一方面，這些函數(shù)庫，能夠連接到機器人控制系統(tǒng)中管理底層硬件，以及執(zhí)行基本運動的代碼和功能模塊。

另一方面，為了讓chatgpt也能遵循函數(shù)庫的規(guī)則，預定義函數(shù)命名就很關鍵。清晰的函數(shù)名，能讓各api之間建立良好的功能連接，最終生成高質量的回答。

其中一項要求，就是所有api名稱必須描述整體功能行為。

例如，detect_bbbbbb(bbbbbb_name) 函數(shù)可以在內部鏈接到opencv函數(shù)或計算機視覺模型。

設計好庫和api后，微軟給chatgpt編寫了一個文本提示（bbbbbb），描述目標任務，并明確說明函數(shù)庫中哪些函數(shù)可用；另外，這還能規(guī)定chatgpt生成代碼用哪種編程語言。

值得一提的是，ai生成內容效果，和人為提示的質量呈正相關。為此，微軟還開發(fā)了一個協(xié)作開源平臺bbbbbbcraft，任何人都能在此分享不同類機器人的bbbbbb策略。

到此，幕后部署基本完成，然后用戶就能通過“說人話”間接操控機器人了。

如果想要檢查ai生成的代碼是否有bug，隨時都能在聊天框直接檢查，或通過模擬器測試，人類可以用自然語言指導ai進行修正。

另外，還能到等到用戶對解決方案滿意為止，再將chatgpt生成代碼部署到機器人上。

最后，如果是你，會想用chatgpt操控機器人做些什么呢？