在全球醫(yī)療科技的前沿，優(yōu)刻得攜手戰(zhàn)略合作伙伴上海腦虎科技有限公司（簡(jiǎn)稱(chēng)“腦虎科技”），共同見(jiàn)證了醫(yī)療創(chuàng)新的歷史性時(shí)刻。腦虎科技自主研發(fā)的256導(dǎo)高通量植入式柔性腦機(jī)接口技術(shù)，近期在復(fù)旦大學(xué)附屬華山醫(yī)院先后開(kāi)展了高精度實(shí)時(shí)運(yùn)動(dòng)解碼和語(yǔ)言解碼臨床試驗(yàn)研究，并取得重大技術(shù)突破，使得“腦控”智能設(shè)備和“意念對(duì)話(huà)”成為現(xiàn)實(shí)。
高通量植入式柔性腦機(jī)接口臨床試驗(yàn)取得重大突破
● “腦控”上網(wǎng)，開(kāi)啟人機(jī)交互新紀(jì)元
2024年8月，腦虎科技聯(lián)合華山醫(yī)院神經(jīng)外科毛穎/陳亮教授團(tuán)隊(duì)順利完成意念合成運(yùn)動(dòng)臨床試驗(yàn)，并由優(yōu)刻得提供相關(guān)的云資源和技術(shù)服務(wù)支持。受試者為21歲運(yùn)動(dòng)區(qū)占位的癲癇患者，通過(guò)手術(shù)植入256導(dǎo)高通量柔性腦機(jī)接口監(jiān)測(cè)病灶并保護(hù)運(yùn)動(dòng)相關(guān)的重要腦功能區(qū)。
得益于高通量、高質(zhì)量、跨腦區(qū)大規(guī)模腦電數(shù)據(jù)高效采集和實(shí)時(shí)分析，這一技術(shù)突破，使得術(shù)中快速精準(zhǔn)定位腦功能區(qū)成為可能，病人術(shù)后恢復(fù)良好，且術(shù)后兩天內(nèi)便可實(shí)現(xiàn)“腦控”玩乒乓球和貪吃蛇游戲。
實(shí)時(shí)意念操控XessOS系統(tǒng)
經(jīng)過(guò)兩周的訓(xùn)練，結(jié)合腦虎科技自主開(kāi)發(fā)的腦機(jī)操作系統(tǒng)XessOS，受試者可以熟練使用微信、郵箱、淘寶、小紅書(shū)、今日頭條等常用APP，以及實(shí)現(xiàn)智能家居和智能輪椅的“腦控”，大大滿(mǎn)足了運(yùn)動(dòng)障礙患者日常生活所需的基本行動(dòng)能力。
● “意念”控制對(duì)話(huà)，國(guó)內(nèi)漢語(yǔ)言解碼最高水準(zhǔn)
漢語(yǔ)是一種以單音節(jié)為主的聲調(diào)語(yǔ)言和圖形語(yǔ)言，不同于英語(yǔ)等字母語(yǔ)言，其產(chǎn)生過(guò)程中的信息轉(zhuǎn)換涉及更多腦區(qū)，需要研發(fā)針對(duì)漢語(yǔ)特征的神經(jīng)編解碼機(jī)制和信息處理手段。
24年12月，在優(yōu)刻得云平臺(tái)的支撐下，腦虎科技聯(lián)合華山醫(yī)院神經(jīng)外科吳勁松教授團(tuán)隊(duì)開(kāi)展國(guó)內(nèi)首例高通量植入式柔性腦機(jī)接口實(shí)時(shí)合成漢語(yǔ)言臨床試驗(yàn)。項(xiàng)目團(tuán)隊(duì)在語(yǔ)言區(qū)占位腫瘤癲癇患者上進(jìn)行了柔性腦機(jī)接口植入手術(shù)，通過(guò)植入256導(dǎo)高通量腦機(jī)接口，幫助其定位病灶并保護(hù)語(yǔ)言相關(guān)的重要腦功能區(qū)。
展開(kāi)全文
實(shí)時(shí)漢語(yǔ)言解碼
病人術(shù)后恢復(fù)良好，五天后即可實(shí)現(xiàn)142個(gè)常用漢語(yǔ)音節(jié)下71%的解碼準(zhǔn)確率，并且單字解碼時(shí)延小于100 ms，是目前國(guó)內(nèi)實(shí)時(shí)漢語(yǔ)言解碼的最高水平。基于實(shí)時(shí)漢語(yǔ)解碼，受試者不僅實(shí)現(xiàn)了意念實(shí)時(shí)合成漢語(yǔ)、驅(qū)動(dòng)數(shù)字分身以及對(duì)話(huà)AI大模型等高級(jí)功能，還能將人的腦電解碼成語(yǔ)言進(jìn)而轉(zhuǎn)化成指令實(shí)時(shí)操控靈巧手實(shí)現(xiàn)人機(jī)交互，有望幫助語(yǔ)言功能障礙患者重建語(yǔ)言功能。
新年來(lái)臨之際，受試者還通過(guò)意念合成語(yǔ)言指令操作靈巧手，為大家送上“二零二五新年快樂(lè)”手語(yǔ)祝福。
腦虎創(chuàng)始人、TCCI研究員陶虎與受試者以及意念操控的靈巧手比心合影送祝福
腦電數(shù)據(jù)上云，云端實(shí)時(shí)解碼腦電信號(hào)
在腦電采集裝置成功植入后，思考與運(yùn)動(dòng)活動(dòng)會(huì)不斷激發(fā)大量腦電信號(hào)的涌現(xiàn)。通過(guò)運(yùn)用先進(jìn)的多模態(tài)信號(hào)采集技術(shù)和系統(tǒng)建模方法，人類(lèi)的行為意圖得以實(shí)現(xiàn)高精度的實(shí)時(shí)解碼。若能將整個(gè)信息的采集、備份、解碼及分析流程遷移至云端，無(wú)疑將大幅提升數(shù)據(jù)解碼與推理的效率。
自2022年起，腦虎科技與優(yōu)刻得建立了戰(zhàn)略合作關(guān)系，共同推進(jìn)腦電數(shù)據(jù)的云端化處理。依托優(yōu)刻得的云平臺(tái)，我們?yōu)槟X虎科技量身定制了一套全面的云邊端技術(shù)架構(gòu)，并已在腦虎的多個(gè)實(shí)驗(yàn)室中得到應(yīng)用，有力支撐了實(shí)驗(yàn)研究的開(kāi)展。
以動(dòng)物運(yùn)動(dòng)實(shí)驗(yàn)為例，每分鐘產(chǎn)生的腦電數(shù)據(jù)量高達(dá)1GB，一次30分鐘的采集過(guò)程就能累積30至50GB的數(shù)據(jù)。鑒于數(shù)據(jù)規(guī)模的龐大及其獨(dú)一無(wú)二性，腦虎團(tuán)隊(duì)高度重視本地與云端的數(shù)據(jù)擴(kuò)容與安全備份工作。優(yōu)刻得云存儲(chǔ)服務(wù)采用了多層次的安全防護(hù)措施，包括數(shù)據(jù)加密、訪(fǎng)問(wèn)控制、防火墻等，確保數(shù)據(jù)在傳輸和存儲(chǔ)過(guò)程中的安全性，全面保護(hù)患者數(shù)據(jù)的隱私性，同時(shí)減少數(shù)據(jù)丟失的風(fēng)險(xiǎn)。
借助優(yōu)刻得的云存儲(chǔ)等云端資源，研究人員可以輕松實(shí)現(xiàn)實(shí)驗(yàn)與項(xiàng)目數(shù)據(jù)的即時(shí)上傳與備份，這些數(shù)據(jù)在經(jīng)過(guò)自動(dòng)化清洗與整理后，得以在云端獲得安全可靠的存儲(chǔ)。
漢語(yǔ)言實(shí)時(shí)解碼過(guò)程
同時(shí)，在獲取腦電信號(hào)數(shù)據(jù)后，為了識(shí)別與不同思維活動(dòng)相關(guān)聯(lián)的腦電模式，需要進(jìn)行持續(xù)的模型訓(xùn)練。通過(guò)將復(fù)雜的腦電信號(hào)與相應(yīng)動(dòng)作進(jìn)行精準(zhǔn)關(guān)聯(lián)，從而實(shí)現(xiàn)了從腦電信號(hào)到行動(dòng)的快速轉(zhuǎn)化。
在上述的意念合成運(yùn)動(dòng)臨床試驗(yàn)中，項(xiàng)目團(tuán)隊(duì)對(duì)其腦電信號(hào)的High Gamma頻段進(jìn)行腦電特征提取和模型訓(xùn)練，在優(yōu)刻得云端算力支撐下，利用LSTM（長(zhǎng)短期記憶）神經(jīng)網(wǎng)絡(luò)模型進(jìn)行連續(xù)時(shí)間解碼，整體系統(tǒng)延遲小于60ms。
2023年，優(yōu)刻得與腦虎科技、復(fù)旦大學(xué)附屬華山醫(yī)院共同入選上海市未來(lái)產(chǎn)業(yè)腦機(jī)接口專(zhuān)家委員會(huì)成員單位，充分發(fā)揮在云計(jì)算、大數(shù)據(jù)、人工智能領(lǐng)域的先進(jìn)優(yōu)勢(shì)，共同探索腦機(jī)接口在醫(yī)療康復(fù)領(lǐng)域的應(yīng)用。
2024年以來(lái)，優(yōu)刻得與腦虎科技進(jìn)一步深化合作，共同參與了上海市腦機(jī)接口領(lǐng)域的重大科研項(xiàng)目申報(bào)。雙方計(jì)劃聯(lián)手研發(fā)“植入式言語(yǔ)合成腦機(jī)接口產(chǎn)品”，旨在幫助失語(yǔ)患者恢復(fù)部分語(yǔ)言功能。
目前，借助優(yōu)刻得的高性能算力與可靠的數(shù)據(jù)存儲(chǔ)能力，腦虎科技已成功搭建了GPU算力平臺(tái)和語(yǔ)料數(shù)據(jù)管理系統(tǒng)。這些平臺(tái)為大規(guī)模的模擬仿真實(shí)驗(yàn)提供了有力支撐，同時(shí)也確保了數(shù)據(jù)的可靠存儲(chǔ)與實(shí)時(shí)解碼。
上述工作同時(shí)得到了天橋腦科學(xué)研究院（TCCI）的大力支持，并獲得國(guó)家自然科學(xué)基金面上項(xiàng)目、上海市科委戰(zhàn)略前沿腦機(jī)接口專(zhuān)項(xiàng)項(xiàng)目、上海市經(jīng)信委促進(jìn)產(chǎn)業(yè)高質(zhì)量發(fā)展專(zhuān)項(xiàng)先導(dǎo)產(chǎn)業(yè)創(chuàng)新發(fā)展項(xiàng)目、上海市戰(zhàn)略性新興產(chǎn)業(yè)發(fā)展專(zhuān)項(xiàng)等項(xiàng)目，以及上海市腦機(jī)接口重點(diǎn)實(shí)驗(yàn)室、中國(guó)神經(jīng)科學(xué)學(xué)會(huì)腦機(jī)接口與交互分會(huì)、上海市未來(lái)產(chǎn)業(yè)腦機(jī)接口專(zhuān)委會(huì)等機(jī)構(gòu)的支持。
