對(duì)于盲人和部分視力障礙者來(lái)說(shuō)，可穿戴電子視覺(jué)輔助系統(tǒng)是醫(yī)學(xué)治療和植入假體的一個(gè)頗有前景的替代選擇。這些裝置能將來(lái)自環(huán)境的視覺(jué)信息轉(zhuǎn)換成其他感官信號(hào)來(lái)輔助日常任務(wù)。不過(guò)，當(dāng)前系統(tǒng)很難使用，所以無(wú)法大規(guī)模推廣。
2025年4月14日，上海交通大學(xué)電子信息與電氣工程學(xué)院清源研究院、上海人工智能實(shí)驗(yàn)室顧磊磊團(tuán)隊(duì)在 Nature 子刊 Nature Machine Intelligence 上發(fā)表了題為：Human-centred design and fabrication of a wearable multimodal visual assistance system 的研究論文，還研究登上了今天的 Nature 頭條。
該研究開(kāi)發(fā)了一款面向盲人和部分視力障礙者的可穿戴多模態(tài)視覺(jué)輔助系統(tǒng)，該系統(tǒng)利用人工智能（AI）解讀安裝在眼鏡上的攝像頭所拍攝的畫(huà)面以勘測(cè)周?chē)h(huán)境，在佩戴者接近障礙物或物體時(shí)會(huì)通過(guò)骨傳導(dǎo)耳機(jī)進(jìn)行語(yǔ)音提示，以及通過(guò)貼在手腕的可伸展“人造皮膚”進(jìn)行震動(dòng)提醒，指導(dǎo)佩戴者移動(dòng)方向，避開(kāi)兩側(cè)的物體，為其選擇一條無(wú)障礙路線。
該研究提出了一種以人為本的多模態(tài)可穿戴系統(tǒng)，通過(guò)融合軟件和硬件創(chuàng)新來(lái)提高可用性。該系統(tǒng)本質(zhì)上是一副配有攝像頭的智能眼鏡，可以捕捉佩戴者周?chē)h(huán)境的實(shí)時(shí)圖像，該系統(tǒng)還通過(guò)一臺(tái)微型計(jì)算機(jī)使用經(jīng)過(guò)訓(xùn)練的機(jī)器學(xué)習(xí)算法來(lái)處理這些圖像，從而檢測(cè)周?chē)h(huán)境中其他人以及門(mén)、墻和家具等物體的存在。該系統(tǒng)每 250 毫秒就會(huì)向用戶提供關(guān)于周?chē)h(huán)境的音頻提示，并在左側(cè)或右側(cè)耳機(jī)上發(fā)出“嗶嗶”聲，引導(dǎo)用戶朝正確的方向前進(jìn)。
研究團(tuán)隊(duì)還開(kāi)發(fā)了一種靈活的可伸展“人造皮膚”貼片，可以貼在手腕和手指上，用于額外的導(dǎo)航輔助，其配備了自己的攝像頭系統(tǒng)，當(dāng)障礙物在 40 厘米到 5 厘米之間時(shí)，會(huì)震動(dòng)提醒佩戴者。當(dāng)用戶伸手去拿東西時(shí)，它們也會(huì)震動(dòng)，提醒他們何時(shí)該抓東西了。
該設(shè)備通過(guò)自供電的摩擦起電智能鞋墊將真實(shí)用戶與虛擬化身對(duì)齊，在精心設(shè)計(jì)的場(chǎng)景中支持有效的 VR 訓(xùn)練。
為了驗(yàn)證該系統(tǒng)的效果，研究團(tuán)隊(duì)招募了 20 名盲人或部分視力障礙者進(jìn)行測(cè)試，在室內(nèi)迷宮測(cè)試中，12 名參與者能夠在室內(nèi)迷宮中避開(kāi)障礙物。在真實(shí)世界測(cè)試中，8 名參與者能夠在城市街道上行走以及穿過(guò)擺滿家具的會(huì)議室。
這些研究結(jié)果表明，整合視覺(jué)、聽(tīng)覺(jué)和觸覺(jué)能增強(qiáng)視力輔助系統(tǒng)的可用性和功能性，為用戶友好型視覺(jué)輔助系統(tǒng)鋪平了道路，為改善視力障礙人士的生活質(zhì)量提供了新的途徑。
論文通訊作者、上海交通大學(xué)人工智能研究員顧磊磊表示，這個(gè)系統(tǒng)可以部分取代眼睛。目前，這個(gè)裝置還只是一個(gè)原型機(jī)，為了使它在實(shí)際層面上更有用，研究團(tuán)隊(duì)需要確保它非常可靠，并且對(duì)用戶是安全的。
論文鏈接：
https://www.nature.com/articles/s42256-025-01018-6
合作咨詢
肖女士
021-33392297
Kelly.Xiao@imsinoexpo.com
2006-2025 上海博華國(guó)際展覽有限公司版權(quán)所有（保留一切權(quán)利）
滬ICP備05034851號(hào)-57
