“聽(tīng)見(jiàn)世界”App有三種工作模式,。一是街道行走模式，它可以細(xì)致掃描道路情況,，發(fā)現(xiàn)紅綠燈,、十字路口、障礙物等,，提示潛在風(fēng)險(xiǎn),；二是自由問(wèn)答模式，它可以帶著視障人士走進(jìn)博物館,、藝術(shù)館,、公園，捕捉四周景象的每個(gè)細(xì)節(jié),，用聲音構(gòu)建生活場(chǎng)景,；三是尋物模式，它可以及時(shí)幫助主人找到不知道被放在哪里的手杖,、不同口味的牛奶等,。

據(jù)悉，我國(guó)盲人數(shù)量有1700多萬(wàn),，但在街上很少看到盲人出行,。一個(gè)重要的原因是他們出門要面對(duì)大量不安全因素，難以獨(dú)自成行,。

復(fù)旦大學(xué)自然語(yǔ)言實(shí)驗(yàn)室張奇教授介紹,，“聽(tīng)見(jiàn)世界”App項(xiàng)目的主導(dǎo)者都是“初出茅廬”的學(xué)生，在組內(nèi)頭腦風(fēng)暴會(huì)上,，年輕學(xué)子總能提出開(kāi)創(chuàng)性想法”,。

該項(xiàng)目團(tuán)隊(duì)共計(jì)吸納了從本科生到博士生共25名復(fù)旦學(xué)子以及桂韜等多位教師、專家的加入,。為了更好地感受視障者的難處,，團(tuán)隊(duì)成員同樣模擬真實(shí)情境，蒙眼探索視障者“黑暗”世界,，并邀請(qǐng)視障人士加入,，進(jìn)一步摸清真實(shí)而具體的需求。在基于幾億張圖片訓(xùn)練出的“眸思”大模型基礎(chǔ)上，針對(duì)視障者提出的各類需求,，同學(xué)們又用上萬(wàn)張圖片進(jìn)行特殊樣本訓(xùn)練,，使“眸思”具備能夠適配更多場(chǎng)景的能力。未來(lái),，該項(xiàng)目還會(huì)開(kāi)發(fā)更多的使用模式,，比如閱讀模式，服務(wù)盲人朋友點(diǎn)菜,、讀書(shū)等場(chǎng)景,；解說(shuō)模式，承擔(dān)無(wú)障礙電影解說(shuō)員的工作,。

(編輯:映雪)