多光譜濾光片賦能CMOS傳感�--技�(shù)�(yōu)�(shì)與手�(jī)市場(chǎng)新機(jī)�
從去年華為發(fā)布的Mate70系列手機(jī)來看,這款手機(jī)最大的亮點(diǎn)就在于搭載了華為的“多光譜色溫傳感器”專利的多光譜圖像傳感器--紅楓原色影像圖像傳感器,可通過波段�(shù)�(jù)�(yōu)化拍照色��
(圖源華為發(fā)布會(huì)�
目前從官方披露的信息來看�150�(wàn)攝像頭的紅楓攝像頭是華為首次�(yīng)用于手機(jī)多光譜成像攝像頭的一�(gè)新的嘗試,打破了傳統(tǒng)Bayer陣列圖像傳感器只有RGB三顏色的光譜分辨壁壘,從顏色通道�(shí)�(xiàn)多光譜到高光譜的一�(gè)躍升,其顏色通道甚至可以�(dá)到數(shù)十�(gè),使得用戶在攝像拍照方面獲得更高的光譜分辨能�,從而更好的采集更高色光有效信息�
�圖源華為�(fā)布會(huì)�
近年�,智能手�(jī)影像能力的持�(xù)升級(jí),多光譜成像技�(shù)逐漸從科研和工業(yè)�(lǐng)域向消費(fèi)電子市場(chǎng)滲�。從華為的這一舉措,我們不難看出,多光譜濾光片與CMOS傳感器的�(jié)�,將成為推動(dòng)這一趨勢(shì)的核心技�(shù)之一�
(圖源網(wǎng)�(luò)�
一、多光譜濾光片的技�(shù)�(yōu)�(shì):突破傳�(tǒng)成像邊界
傳統(tǒng)CMOS傳感器依賴Bayer濾光片(RGB三通道)捕捉可見光信息,但光譜分辨率有�。而多光譜濾光片通過將入射光分割為更多窄波段(如5-10�(gè)通道甚至更多),顯著提升了光譜信息的豐富��
光譜成像分辨率示意圖
來源:Vines & Zhang Grass Research 2022,2:1
1. 高精度光譜解析能�
多光譜濾光片可覆蓋可見光至近紅外�400-1000nm)范�,每�(gè)通道�(duì)�(yīng)特定波長(zhǎng),能夠區(qū)分傳�(tǒng)RGB無法�(shí)別的�(xì)微光譜差�。例�,在�(nóng)�(yè)檢測(cè)中識(shí)別作物病害,或在�(yī)療領(lǐng)域通過皮膚反射光譜分析健康指標(biāo)�
2. 增強(qiáng)�(huán)境感知與色彩還原
通過多波段數(shù)�(jù)融合,可更精確還原真�(shí)色彩,尤其在�(fù)雜光照條件下(如混合光源、低光環(huán)境)表現(xiàn)突出。例�,在手機(jī)攝影中實(shí)�(xiàn)更自然的白平衡調(diào)�,減少后期算法依賴�
3. 兼容小型化與低成本制�
基于MEMS(微�(jī)電系�(tǒng))或納米壓印技�(shù),多光譜濾光片可直接集成于CMOS傳感器表�,無需�(fù)雜光�(xué)組件。相較于傳統(tǒng)多相�(jī)模組方案,體積和成本�(yōu)�(shì)顯著,適合手�(jī)等消�(fèi)電子�(shè)��
4. 拓展�(yīng)用場(chǎng)�
多光譜數(shù)�(jù)可支持AR/VR中的材質(zhì)�(shí)�、食品成分檢�(cè)、環(huán)境污染監(jiān)�(cè)等創(chuàng)新功�,為手機(jī)從“拍照工具”向“感知終端”轉(zhuǎn)型提供硬件基�(chǔ)�
(圖源華為:華為P20 色溫傳感��
二、手�(jī)市場(chǎng)�(dòng)�(tài):從影像�(nèi)卷到技�(shù)破局
我們以華為為例,其�(jìn)化形�(tài)基本有跡可循,雖然這不是華為第一次推出光譜影像單�,早�18年華為推出P20�(shí)就曾搭載過由艾邁斯(ams)提供的TCS3430色溫傳感� (資料來源芯智訊),可針�(duì)不同照明條件�(shí)�(xiàn)精準(zhǔn)顏色和環(huán)境光感測(cè),實(shí)�(xiàn)精準(zhǔn)白平和調(diào)節(jié)�
(圖源華為發(fā)布會(huì):P50 Pocket 超光譜超�(jí)影像單元�
2021年,華為推出P50 Pocket,首�(chuàng)超光譜超�(jí)影像單元,光譜硬件由10通道多光譜傳感器、閃光燈�3200�(wàn)像素超光譜攝像頭、超光譜�(bǔ)光燈�(gòu)�,其�3200�(wàn)像素超光譜攝像頭+超光譜補(bǔ)光燈�(gòu)成了一�(gè)紫外相機(jī),相�(dāng)于把手機(jī)圖像傳感器的濾光片換成只允許紫外光通過的濾光片。因此,這里的“超光譜”是指超越“肉眼可見�,可以發(fā)�(xiàn)可見光之�(紫外�)的細(xì)節(jié),帶來肉眼“看不到的真�(shí)�(即紫外光感知),并非物理定義上的超光譜�
�圖源華為官網(wǎng)�紫外熒光攝影�
在此之后,華為陸�(xù)在旗下旗艦機(jī)型中不斷覆蓋其多通道光譜傳感�,從3通道GRB圖像傳感器躍升到2018年P(guān)20�(jī)�5通道色溫傳感�,再�2020年的P40多光�8通道色溫傳感器,再來�2021年P(guān)50 Pocket 10通道多光譜傳感器�
(圖源華為發(fā)布會(huì):華為多光譜傳感器的升級(jí)�
�、市�(chǎng)的競(jìng)�(zhēng)變化
�(dāng)�,多光譜成像�(duì)于影視效果的提升隨著華為的興�,行�(yè)嗅探隨著芯片化光譜系�(tǒng)方案的成熟已�(jīng)逐漸在行�(yè)�(nèi)形成一股風(fēng)�,各大手�(jī)廠商開始在其期間�(jī)型中采用�(huán)境光/多光譜色溫傳感器的布局�
�圖源�(wǎng)�(luò)-iPhone X中的�(huán)境光傳感��
如:iPhone X搭載了ams為其定制開發(fā)�6通道多光譜傳感器,包括紫外光、紅�、綠光、藍(lán)�、和兩種近紅外光??衫迷搨鞲衅鞲兄h(huán)境光CCT水平,�(jìn)而調(diào)整顯示顏色和亮度。至iPhone 14系列,蘋果首次配備雙�(huán)境光傳感�,同�(shí)改善亮度�(diào)節(jié)和后攝曝��
�來源OPPO�OPPO Find X5 Pro中的13通道光譜傳感��
OPPO Find X5 Pro在業(yè)界首次搭�13通道光譜傳感�,給相機(jī)系統(tǒng)帶來精準(zhǔn)的色彩表�(xiàn),同�(shí)也還原更真實(shí)的環(huán)境光源信�,改善白平衡效果,OPPO Find X6 Pro的“健康引擎”可利用近紅外光譜分析皮膚含水量或血氧濃度�
(圖源VIVO�vivo VCS仿生光譜技�(shù)�
VIVO X90則是采用自研VCS仿生光譜技�(shù)。由于普通圖像傳感器的color filter光譜與人眼差異較�,自研VCS仿生光道技�(shù)通過改�(jìn)color fiter,讓傳感器接收的原始信息不斷接近人眼,實(shí)�(xiàn)更好的噪聲表�(xiàn)和色彩還原,前置�(yōu)化光信號(hào)�
�(xiàn)階段,華為、蘋�、三星等企業(yè)已申�(qǐng)多項(xiàng)多光譜成像相�(guān)專利。例�,華為的“多光譜色溫傳感器”專利可通過多波段數(shù)�(jù)�(yōu)化拍照色彩;蘋果則探索將紅外光譜用于生物�(shí)別增�(qiáng)。小�12S Ultra通過額外光譜傳感器提升AI�(chǎng)景識(shí)別精��
四、多光譜傳感器的分析介紹
��源ams�窄帶濾光�(jié)�(gòu)�(shè)�(jì)示意��
多光譜傳感器的技�(shù)原理(非成�)
在上述手�(jī)�(jī)型中均采用的多光譜傳感器,一般采用均窄帶濾波技�(shù),在傳感器的感光部分開口,開口上方放置窄波長(zhǎng)濾光�,從而探�(cè)到環(huán)境光源的光線,不同光譜通道�(shí)際就是通過窄波�(zhǎng)濾光片來控制特定頻率的光通過。這類傳感器不需要體積龐大的色散元件和光�,因此結(jié)�(gòu)非常緊湊。而此類方案屬于單�(diǎn)的光譜傳感,僅限�(duì)整體的光�(huán)境混合探�(cè),無法體�(xiàn)同部的光源、色溫信息和差異�
(來源:Sensors�
多光譜成像芯片的技�(shù)原理
為何說華為Mate70的紅楓原色影像會(huì)成為本次的主�,原因在于其�(duì)比于往期單�(diǎn)多光譜傳感器在其�(jié)�(gòu)上�(jìn)行一輪的升級(jí),常�(guī)圖像傳感器通常是在各像素的光電二極管上�(gòu)建紅、綠、藍(lán)3種彩色濾光片,而多光譜成像則是在圖像傳感器的光電二極管上構(gòu)建更多種顏色的濾光片,可分別透過不同波長(zhǎng)的光�。結(jié)合光譜恢�(fù)算法,可以和普通相�(jī)一�,一次拍攝即可獲取二維圖像和更豐富的光譜信息�
�、未來趨�(shì):從技�(shù)突破到生�(tài)�(gòu)�
盡管前景廣闊,多光譜濾光片在手機(jī)端任然有持續(xù)�(fā)展空�,結(jié)合當(dāng)下熱門的ai�(jì)算成像技�(shù),實(shí)�(xiàn)軟件�(jì)算調(diào)控與成像系統(tǒng)硬件的支�,將成為手機(jī)影像�(fā)展的一�(gè)助推�(dòng)�,而計(jì)算成像不再滿足于錦上添花,更多的影像表現(xiàn)也成為眾多廠商追求的重點(diǎn)�
�(dāng)下發(fā)展難�(diǎn)�
算法與算力瓶頸:多波段數(shù)�(jù)需更高階的ISP(圖像信�(hào)處理器)和AI算法支持,對(duì)芯片能效提出新要��
用戶�(rèn)知度不足:消�(fèi)者對(duì)光譜功能的感知較�,需通過�(chǎng)景化�(yīng)用(如美妝分析、食品安全檢�(cè))建立需��
(來�:阿里巴巴�(dá)摩院�
�、未來發(fā)展方向可�
1. 光譜+AI融合�(chuàng)新:�(jié)合深度學(xué)�(xí)模型,將多光譜數(shù)�(jù)�(zhuǎn)化為直觀的用戶價(jià)值(如實(shí)�(shí)肌膚診斷�(bào)告)�
2. 開放生態(tài)合作:手�(jī)廠商�(lián)合醫(yī)療、農(nóng)�(yè)、環(huán)保等行業(yè),構(gòu)建多光譜�(yīng)用開�(fā)生態(tài)�
3. 成本下探與標(biāo)�(zhǔn)化:通過工藝�(yōu)化(如晶圓級(jí)濾光片陣列)降低單價(jià),推�(dòng)技�(shù)向中端機(jī)型滲��
多光譜濾光片與CMOS傳感器的�(jié)合,�(biāo)志著智能手機(jī)成像從“視覺記錄”向“光譜感知”的范式�(zhuǎn)�。隨著技�(shù)成熟與場(chǎng)景挖掘,這一技�(shù)有望成為下一代移�(dòng)�(shè)備的�(biāo)�,不僅重塑影像賽�,更將開啟“手�(jī)即科�(xué)儀器”的新時(shí)�。廠商需在硬件迭�、算法優(yōu)化與生態(tài)�(gòu)建三端協(xié)同發(fā)�,方能在這一技�(shù)浪潮中搶占先�(jī)�