我國(guó)半導(dǎo)體行業(yè)迎來(lái)重大突破，清華大學(xué)立功了，研發(fā)出全球首款類腦互補(bǔ)視覺(jué)芯片“天眸芯”。
近日，又有好消息傳來(lái)，清華大學(xué)精密儀器系的施路平教授團(tuán)隊(duì)，提出一種基于視覺(jué)原語(yǔ)的互補(bǔ)雙通路類腦視覺(jué)感知新范式，研制出世界首款類腦互補(bǔ)視覺(jué)芯片“天眸芯”。相關(guān)研究成果也以封面文章的形式，刊登在了國(guó)際頂級(jí)學(xué)術(shù)期刊《Nature》上，權(quán)威性毋庸置疑。
天眸芯借鑒了人類視覺(jué)系統(tǒng)的基本原理，將開(kāi)放世界的視覺(jué)信息拆解為基于視覺(jué)原語(yǔ)的信息表示，并通過(guò)有機(jī)組合這些原語(yǔ)，模仿人視覺(jué)系統(tǒng)的特征，形成兩條優(yōu)勢(shì)互補(bǔ)、信息完備的視覺(jué)感知通路。
可能不太好理解，我們簡(jiǎn)單的解釋一下。
人類的大腦在處理信息的時(shí)候，會(huì)根據(jù)不同神經(jīng)元組成信息通路來(lái)進(jìn)行信息的處理，例如，有的負(fù)責(zé)處理顏色、細(xì)節(jié)等高精度的信息，但該通路處理速度相對(duì)較慢。有的負(fù)責(zé)處理突發(fā)事情，能夠做出快速反應(yīng)，但精度不高。然后這兩個(gè)通路配合互補(bǔ)，就能實(shí)現(xiàn)在極端場(chǎng)景下完成信息處理并做出應(yīng)對(duì)。
天眸芯就是借鑒了人類視覺(jué)系統(tǒng)的這一基本原理，先模仿人眼，把看到的視覺(jué)信息分解成很多元素，包括物體運(yùn)動(dòng)、輪廓邊緣、色彩以及不同區(qū)域之間的對(duì)比度等等，這些元素被稱為“視覺(jué)原語(yǔ)”。
然后再模仿人腦的處理機(jī)制，把這些信息分配到不同的“處理通路”中去，再模仿人腦響應(yīng)機(jī)制，對(duì)“時(shí)間空間變化”的信息進(jìn)行響應(yīng)，并讓時(shí)空變化和色彩等其他信息互補(bǔ)。
很明顯，這樣的方式更加高效。
而傳統(tǒng)的機(jī)器視覺(jué)就做不到這一點(diǎn)，工作的時(shí)候會(huì)把所有拍到的內(nèi)容統(tǒng)統(tǒng)進(jìn)行識(shí)別和處理，根本無(wú)法分辨出哪些物體有用，哪些事物更重要，所以往往就需要較高的帶寬，會(huì)消耗大量的系統(tǒng)資源，也容易造成輸出慢、錯(cuò)誤率高的情況，進(jìn)而引發(fā)更多安全問(wèn)題。
現(xiàn)在新能源汽車行業(yè)火熱，智能駕駛技術(shù)的發(fā)展也處于快車道，在實(shí)際應(yīng)用的過(guò)程中，智能系統(tǒng)不僅要處理龐大的數(shù)據(jù)量，還需要應(yīng)對(duì)各種極端事件。比如駕駛中的突發(fā)危險(xiǎn)、隧道口的劇烈光線變化和夜間強(qiáng)閃光干擾等等。那么傳統(tǒng)視覺(jué)感知芯片由于受到“功耗墻”和“帶寬墻”的限制，在應(yīng)對(duì)這些場(chǎng)景時(shí)往往面臨失真、失效或高延遲的問(wèn)題，嚴(yán)重影響了系統(tǒng)的穩(wěn)定性和安全性。
天眸芯采用90 nm CMOS背照式技術(shù)制造，由用于將光學(xué)信息轉(zhuǎn)換為電信號(hào)的混合像素陣列和用于構(gòu)建兩個(gè)互補(bǔ)視覺(jué)通路的并行異構(gòu)讀出架構(gòu)兩個(gè)核心部分組成。
它的性能可以用夸張來(lái)形容，能夠在極低的帶寬（降低90%）和功耗代價(jià)下，實(shí)現(xiàn)了每秒10000幀的高速、10bit的高精度、130dB的高動(dòng)態(tài)范圍的視覺(jué)信息采集，能夠更加精確地識(shí)別道路標(biāo)志、行人、障礙物。
同時(shí)結(jié)合自主研發(fā)的高性能軟件和算法，在開(kāi)放環(huán)境車載平臺(tái)上進(jìn)行了性能驗(yàn)證。實(shí)驗(yàn)表明，在多種極端場(chǎng)景下，包括強(qiáng)光干擾、高動(dòng)態(tài)范圍場(chǎng)景、域偏移問(wèn)題（異常物體）和具有多個(gè)極端情況的復(fù)雜場(chǎng)景，均實(shí)現(xiàn)了低延遲、高性能的實(shí)時(shí)感知推理。
而且，清華大學(xué)已經(jīng)開(kāi)發(fā)出了兩種模組，第一代為高性能模組，第二代為微型化模組，適用于不同領(lǐng)域，已經(jīng)可以實(shí)際化應(yīng)用。
大家都知道，智能駕駛、無(wú)人駕駛是未來(lái)的技術(shù)方向，天眸芯已經(jīng)展示出了巨大應(yīng)用潛力。它不僅突破了傳統(tǒng)視覺(jué)感知范式的性能瓶頸，而且能夠高效應(yīng)對(duì)各種極端場(chǎng)景，確保系統(tǒng)的穩(wěn)定性和安全性，實(shí)際意義重大。
同時(shí)也為我國(guó)新能源汽車行業(yè)的高速發(fā)展，提供了有力的技術(shù)支撐。并將進(jìn)一步完善我國(guó)類腦智能生態(tài)，有力推動(dòng)中國(guó)人工通用智能的發(fā)展。
尤其是當(dāng)下，老美在半導(dǎo)體領(lǐng)域?qū)ξ覀冞M(jìn)行了各種限制的大背景下，天眸芯的技術(shù)突破顯得尤為重要。而老美想要阻擋中國(guó)科技的進(jìn)步，終究是癡人說(shuō)夢(mèng)，永遠(yuǎn)不可能實(shí)現(xiàn)的。
