在機器人領域，如何讓機器人在非結構化環(huán)境中實現(xiàn)對環(huán)境的有效感知和深入理解，是一個普遍面臨的重大挑戰(zhàn)。
這不僅涉及機器人基于感知信息進行自主導航能力，還要求其在執(zhí)行任務時能夠通過準確的認知理解人的任務命令，確保機器人在認知、感知和規(guī)控這三個關鍵方面的穩(wěn)定性和準確性，更是難中之難。
為應對這些挑戰(zhàn)，深圳技術大學機器人自主移動與操作實驗室馬淦副教授團隊成功自主研發(fā)了一種具身智能機器人系統(tǒng)。該系統(tǒng)能夠出色地適應動態(tài)、多變的環(huán)境，靈活應對復雜場景，進而執(zhí)行實時巡檢任務。
研究人員將大語言模型和視覺語言模型深度融合，成功突破了語言、視覺、導航等多模態(tài)信息之間的壁壘，實現(xiàn)了機器人從位置導航模式到認知導航模式的跨越。
通過集成諸如激光雷達、慣性測量單元等不同類型的傳感器，機器人能夠?qū)崟r捕捉到的視覺信息轉化為自然語言，并及時反饋給用戶。
值得一提的是，借助大模型處理復雜指令，機器人的理解能力得到顯著增強，其對復雜自然語言指令的理解和執(zhí)行成功率超過 96%，相較于傳統(tǒng)依賴預設指令的機器人系統(tǒng)，優(yōu)勢十分明顯。
正如馬淦所說：“這一能力不僅提升了用戶對機器人的信息理解程度，還填補了機器人與用戶之間的認知空白，使得任務完成效率大幅提高�！�
圖丨馬淦課題組（來源：馬淦團隊）
傳統(tǒng)機器人在自然語言理解方面能力有限，往往需要結構化輸入或固定模板，而且在處理視覺信息，如場景變化、潛在異常等情況時，通常需要人工進行分析。
而這款具身智能機器人利用大模型，實現(xiàn)了對多樣化自然語言指令的準確解析和實時轉化，讓操作過程變得更加直觀、靈活。
此外，機器人在視覺場景描述中的正確率高達 93%，反饋延遲低于 200 毫秒，達成了高效的人機信息交互。
該系統(tǒng)通過對算法和感知技術的優(yōu)化，實現(xiàn)了快速、精確的環(huán)境建模，并將其與任務規(guī)劃完美融合，成功解決了巡檢任務中的多目標調(diào)度和路徑規(guī)劃問題。
在動態(tài)場景下，它能夠達到 25 幀/秒的重建速度，建模誤差低于 1.8%，可以滿足巡檢任務對高精度和高效率的要求。
馬淦指出，這些優(yōu)化得益于課題組在巡檢機器人開發(fā)，以及動態(tài)環(huán)境導航算法方面多年積累的經(jīng)驗和持續(xù)取得的突破，有望為行業(yè)創(chuàng)造顯著價值。
首先，機器人的操作門檻顯著降低，用戶無需掌握復雜的操作技能，通過自然語言就能與機器人輕松交互。
其次，任務效率得以提升，機器人能夠?qū)崟r三維建圖與巡檢任務規(guī)劃相結合，執(zhí)行過程中無需停頓，同時視覺語言反饋技術賦予了機器人“解釋能力”，進一步提高了交互效率。
此外，該系統(tǒng)主要依靠本地傳感器進行高精度定位，即便外部定位信號微弱，也能憑借自身計算能力完成任務，增強了在各種場景下的適應性和可靠性。
圖丨語義導航技術路線（來源：馬淦團隊）
在通用性方面，馬淦認為，通用機器人并非僅局限于人形機器人，其核心在于硬件的模塊化和軟件的分層架構�！霸摍C器人系統(tǒng)具備通用的具身智能自主移動和操作功能，能夠與任意形態(tài)的腿足式機器人和機械臂兼容�！�
從硬件層面來看，該系統(tǒng)可應用于不同形態(tài)的機器人本體，既適用于輪式底盤，也可用于履帶式底盤。在此基礎上，還能進一步添加兩個機械臂或工具箱等模塊。
從軟件層面來講，系統(tǒng)具有高度通用性，最初可將其視為一個核心共享平臺，然后根據(jù)需求擴展出各種功能模塊，如腿部或手臂等。例如，擴展腿部后能實現(xiàn)不同的行走方式，添加一個或兩個機械臂則可完成特定任務。
該系統(tǒng)擁有廣泛的應用場景，有望在工業(yè)巡檢、災后救援、農(nóng)業(yè)自動化、倉儲物流和制造業(yè)等多個領域發(fā)揮重要作用。
在日常巡檢方面，機器人可在學校、醫(yī)院、寫字樓、社區(qū)等場所進行常規(guī)巡檢。
在特殊場景巡檢方面，它能夠在地震災后救援、礦井內(nèi)部巡檢等環(huán)境復雜、危險性高的場景中發(fā)揮作用。
在工業(yè)和農(nóng)業(yè)領域，機器人可用于大型工廠的設備巡檢和大型農(nóng)場的作業(yè)監(jiān)督，這些場景通常面積廣闊、設備眾多、巡檢任務艱巨。
使用智能機器人系統(tǒng)代替人工巡檢，能夠有效降低人力成本，提高巡檢效率和質(zhì)量，還能在高危和極端環(huán)境中執(zhí)行任務，為人員安全提供更有力的保障。
現(xiàn)階段，研究人員希望結合更多實際應用需求，深入解決工程化過程中可能出現(xiàn)的問題。據(jù)悉，相關技術已申請專利，他們期待在合適的時機將技術推向產(chǎn)業(yè)化。
此外，該團隊還計劃在智能協(xié)作系統(tǒng)、感知與交互以及機器人在智能家居、教育輔助等跨領域拓展方向繼續(xù)探索。
圖丨多形態(tài)移動平臺展示（來源：馬淦團隊）
研究人員打算解決的問題包括：優(yōu)化多傳感器數(shù)據(jù)融合、開發(fā)自適應學習算法以及研究新的管理策略等。
例如，進一步提高多傳感器融合算法的精度與效率，以實現(xiàn)更精準的環(huán)境感知和更靈敏的動態(tài)響應能力；開發(fā)更先進的自適應學習算法，讓機器人能夠在不同任務和環(huán)境中迅速調(diào)整和優(yōu)化自身行為；通過研究新的管理策略，提升機器人在長時間、高負載任務中的能量端點能力，確保其穩(wěn)定運行。
排版：劉雅坤
