最新消息
iCatch’s SoCs are powering a diversity of camera applications in
multiple markets.
部落格
Mar 31, 2021
淺談影像訊號處理器技術
甚麼是影像訊號處理器 Image Signal Processor, ISP?
ISP常見的解釋是一種多媒體處理器或特殊數位訊號處理器，如果再更精簡的說明，ISP是一種晶片，能夠將數位影像訊號處理後轉換成人類能看到的影像。當光透過鏡頭進入感光元件(Sensor)後，Sensor會將光訊號轉換成由0跟1組成的電子訊號(RAW)，ISP接受RAW訊號後透過重組三原色(紅、綠、藍)及影像處理能夠將RAW還原成接近人眼所看到的畫面。如果能夠加速這套系統至每秒處理30張以上的影像(Image)，則產生的影像集成便是現在被廣泛應用的影片(Video)，而芯鼎科技就是專注在ISP的研發並將影像應用於車用、居家監控、消費性產品等市場，使人類的生活更加的安全及便利，接下來會對ISP的幾點特點做更接詳細的介紹。
在現行販售的新車中已經可以看到攝像頭被廣泛運用，包含行車紀錄器、電子後照鏡、倒車顯影、環景系統等，而這些攝像頭當中都需要一顆先進的ISP來作影像訊號的處理，經過ISP處理後的影像則可以輸出到另外一台處理器或螢幕來進行錄影紀錄、組合環景影像及切換螢幕視角等功能。
在現在的影像應用當中，影像除了給人眼看(Viewing)之外，各家廠商也積極開發基於影像的人工智能(AI)，AI的判定會因為影像中雜訊的干擾而增加誤判率，同時也會延長判斷的時間，因此清晰的影像可以協助AI更精準及更有效率地執行路上行人偵測、人員門禁管制、停車場車牌辨識、生態保育動物辨識、工廠機器人自動化等人工智能應用。
ISP 在汽車上怎樣的關鍵技術是必要的呢?
*高動態範圍技術 (High Dynamic Range, 簡稱 HDR) 是為了解決在高亮度反差的場景下解決暗處過暗、亮處過亮的問題，下圖可以看到藉由HDR能夠同時收斂極高亮的區域(太陽)及保留暗處的影像細節。
根據維基百科描述[2]，烈日下的照度可達100,000 (105) lux, 而滿月下的照度為 0.2 (10-1) lux , 明暗差距從105 到 10-1
Linear Range is 105 / 10-1 = 106
Dynamic Range is 20 log 105 / 10-1 = 120dB
由於車用影像需要面對條件嚴苛的高反差場景(隧道口、太陽直射等等)及同時兼顧白天及晚上的影像品質，車用攝像頭需要具備至少120dB動態範圍處理能力[3]，而芯鼎科技的汽車影像專用ISP“Ci3-P”最高可以支持144dB的動態範圍，且“Ci3-P”能夠針對外在條件動態調整應用此動態範圍以提供最佳條件的影像供駕駛或自動駕駛系統作為判斷的依據。
*對於行車紀錄器應用汽車車牌的可辨識度是最重要的，尤其是處於嚴苛的逆光場景下。下圖左邊是芯鼎科技M3系列ISP的畫面，右邊是參考對比機，比較後可清楚看到芯鼎科技M3系列ISP在白天能夠在逆光條件下依然提供可辨識的對向汽車車牌號碼，在夜晚也可以克服車頭大燈的影響辨識出後方汽車的車牌號碼。
芯鼎科技的M3系列ISP在測試樣機中提供FHD的解析度，透過搭配F/N 1.75, HFOV 115°的鏡頭做車牌辨識度與距離關係的實驗，實驗結果證明芯鼎科技的M3系列ISP可在兩個車身距離內提供清晰的車牌作識別，下方兩張圖片分別為距離前方車輛6公尺及9公尺的條件下拍攝的影像，在6公尺的距離將車牌影像放大解析後可以清楚辨識出英文字母AYQ，6公尺以上就無法辨識出字母Q了。而數字部分9公尺以內都可以辨識出來，超過9公尺就無法辨識出數字6了。
車牌的可辨識距離與鏡頭的選用有很大的關係[4]，在相同感測器解析度的條件下，FOV越小表示接收到的車牌資訊越多，也就是能辨識的資訊更多。假設所選擇的鏡頭FOV比這次實驗所使用的鏡頭小1/2，理論上車牌的可辨識距離可以增加至兩倍。
感測器的簡析度與可辨識距離也有很大的關係，感測器的解析度越高表示可收入的影像細節資訊也越多，也就越能識別更遠的影像。假設所選擇的感測器解析度比這次實驗所使用的感測器高一倍，則可辨識距離也會增加一倍。
車牌辨識系統搭配芯鼎科技的M3系列ISP可在兩個車身之內的距離清楚辨識出車牌號碼，在相同2Mpixel 感測器的條件下，如果採用較小的FOV (Field of View) 鏡頭可辨識的距離就能更遠。另一方面提高感測器的解析度也可以增加辨識距離，例如芯鼎科技的Ci1 ISP可以支持4Mpixel的感測器。
*鏡頭失真校正 ( Lens Distortion Correction, LDC)， 再高階的鏡頭也會存在些許的鏡頭失真，主要原因是透鏡的物理結構，如下方左圖為校正前的影像，透過ISP內建的LDC引擎修正後則能夠產生如下方左圖接近人眼真實看到的影像[1]。
芯鼎科技的M3系列ISP內建LDC功能，能夠修正鏡頭的失真並還原出與人眼所見相近的場景。
*HDR搭配3D降噪技術，讓夜晚影像更清晰
HDR的效果已經可以大幅改善暗態的影像表現，但在夜晚中因為亮度不足還是會有雜訊及噪點顆粒的產生，芯鼎科技ISP內建的3D降噪技術可以參考過去的多張影像來對當下的影像做降噪處理，如此即可得到一個清晰的夜間場景，請看上圖左邊是芯鼎科技的成果圖。
芯鼎科技ISP技術具備了領先業界的HDR效果能夠提供給駕駛及AI處理器清晰的影像作為判斷的依據。兩個車身的距離之內能夠清晰辨識出車牌號碼的英文字母及數字，三個車身的距離之內可以清楚看到車牌的數字部分，失真校正功能讓影像不因鏡頭的設計而產生變形，3D降噪技術能夠大幅降低夜間的影像躁點改善影像品質，芯鼎科技的Ci3系列ISP亦通過了AEC-Q100 Grade 2的標準，可符合車廠對車用晶片可靠度的高標準，可應用於前裝汽車攝像頭模組，如果想進一步了解芯鼎科技的ISP產品，歡迎與芯鼎科技的業務窗口聯繫。
更多芯鼎科技產品介紹請參考 www.icatchtek.com
並歡迎聯絡芯鼎業務代表提出需求 www.icatchtek.com/Requests
Author Allen Chuang
Technical Support Edward Kuo, Alex Chen, Hamming Lin, Edison Chien
Art Support Mini Kuo
Reference
[1] Wikipedia, Perspective control
[2] Wikipedia, Illuminance
[3] Sony, Key technology for addressing sensing application in automotive
[4] EETimes, ADAS Front Camera: Demystifying Resolution and Frame-Rate
ISP常見的解釋是一種多媒體處理器或特殊數位訊號處理器，如果再更精簡的說明，ISP是一種晶片，能夠將數位影像訊號處理後轉換成人類能看到的影像。當光透過鏡頭進入感光元件(Sensor)後，Sensor會將光訊號轉換成由0跟1組成的電子訊號(RAW)，ISP接受RAW訊號後透過重組三原色(紅、綠、藍)及影像處理能夠將RAW還原成接近人眼所看到的畫面。如果能夠加速這套系統至每秒處理30張以上的影像(Image)，則產生的影像集成便是現在被廣泛應用的影片(Video)，而芯鼎科技就是專注在ISP的研發並將影像應用於車用、居家監控、消費性產品等市場，使人類的生活更加的安全及便利，接下來會對ISP的幾點特點做更接詳細的介紹。
在現行販售的新車中已經可以看到攝像頭被廣泛運用，包含行車紀錄器、電子後照鏡、倒車顯影、環景系統等，而這些攝像頭當中都需要一顆先進的ISP來作影像訊號的處理，經過ISP處理後的影像則可以輸出到另外一台處理器或螢幕來進行錄影紀錄、組合環景影像及切換螢幕視角等功能。
在現在的影像應用當中，影像除了給人眼看(Viewing)之外，各家廠商也積極開發基於影像的人工智能(AI)，AI的判定會因為影像中雜訊的干擾而增加誤判率，同時也會延長判斷的時間，因此清晰的影像可以協助AI更精準及更有效率地執行路上行人偵測、人員門禁管制、停車場車牌辨識、生態保育動物辨識、工廠機器人自動化等人工智能應用。
ISP 在汽車上怎樣的關鍵技術是必要的呢?
*高動態範圍技術 (High Dynamic Range, 簡稱 HDR) 是為了解決在高亮度反差的場景下解決暗處過暗、亮處過亮的問題，下圖可以看到藉由HDR能夠同時收斂極高亮的區域(太陽)及保留暗處的影像細節。
根據維基百科描述[2]，烈日下的照度可達100,000 (105) lux, 而滿月下的照度為 0.2 (10-1) lux , 明暗差距從105 到 10-1
Linear Range is 105 / 10-1 = 106
Dynamic Range is 20 log 105 / 10-1 = 120dB
由於車用影像需要面對條件嚴苛的高反差場景(隧道口、太陽直射等等)及同時兼顧白天及晚上的影像品質，車用攝像頭需要具備至少120dB動態範圍處理能力[3]，而芯鼎科技的汽車影像專用ISP“Ci3-P”最高可以支持144dB的動態範圍，且“Ci3-P”能夠針對外在條件動態調整應用此動態範圍以提供最佳條件的影像供駕駛或自動駕駛系統作為判斷的依據。
*對於行車紀錄器應用汽車車牌的可辨識度是最重要的，尤其是處於嚴苛的逆光場景下。下圖左邊是芯鼎科技M3系列ISP的畫面，右邊是參考對比機，比較後可清楚看到芯鼎科技M3系列ISP在白天能夠在逆光條件下依然提供可辨識的對向汽車車牌號碼，在夜晚也可以克服車頭大燈的影響辨識出後方汽車的車牌號碼。
芯鼎科技的M3系列ISP在測試樣機中提供FHD的解析度，透過搭配F/N 1.75, HFOV 115°的鏡頭做車牌辨識度與距離關係的實驗，實驗結果證明芯鼎科技的M3系列ISP可在兩個車身距離內提供清晰的車牌作識別，下方兩張圖片分別為距離前方車輛6公尺及9公尺的條件下拍攝的影像，在6公尺的距離將車牌影像放大解析後可以清楚辨識出英文字母AYQ，6公尺以上就無法辨識出字母Q了。而數字部分9公尺以內都可以辨識出來，超過9公尺就無法辨識出數字6了。
車牌的可辨識距離與鏡頭的選用有很大的關係[4]，在相同感測器解析度的條件下，FOV越小表示接收到的車牌資訊越多，也就是能辨識的資訊更多。假設所選擇的鏡頭FOV比這次實驗所使用的鏡頭小1/2，理論上車牌的可辨識距離可以增加至兩倍。
感測器的簡析度與可辨識距離也有很大的關係，感測器的解析度越高表示可收入的影像細節資訊也越多，也就越能識別更遠的影像。假設所選擇的感測器解析度比這次實驗所使用的感測器高一倍，則可辨識距離也會增加一倍。
車牌辨識系統搭配芯鼎科技的M3系列ISP可在兩個車身之內的距離清楚辨識出車牌號碼，在相同2Mpixel 感測器的條件下，如果採用較小的FOV (Field of View) 鏡頭可辨識的距離就能更遠。另一方面提高感測器的解析度也可以增加辨識距離，例如芯鼎科技的Ci1 ISP可以支持4Mpixel的感測器。
*鏡頭失真校正 ( Lens Distortion Correction, LDC)， 再高階的鏡頭也會存在些許的鏡頭失真，主要原因是透鏡的物理結構，如下方左圖為校正前的影像，透過ISP內建的LDC引擎修正後則能夠產生如下方左圖接近人眼真實看到的影像[1]。
芯鼎科技的M3系列ISP內建LDC功能，能夠修正鏡頭的失真並還原出與人眼所見相近的場景。
*HDR搭配3D降噪技術，讓夜晚影像更清晰
HDR的效果已經可以大幅改善暗態的影像表現，但在夜晚中因為亮度不足還是會有雜訊及噪點顆粒的產生，芯鼎科技ISP內建的3D降噪技術可以參考過去的多張影像來對當下的影像做降噪處理，如此即可得到一個清晰的夜間場景，請看上圖左邊是芯鼎科技的成果圖。
芯鼎科技ISP技術具備了領先業界的HDR效果能夠提供給駕駛及AI處理器清晰的影像作為判斷的依據。兩個車身的距離之內能夠清晰辨識出車牌號碼的英文字母及數字，三個車身的距離之內可以清楚看到車牌的數字部分，失真校正功能讓影像不因鏡頭的設計而產生變形，3D降噪技術能夠大幅降低夜間的影像躁點改善影像品質，芯鼎科技的Ci3系列ISP亦通過了AEC-Q100 Grade 2的標準，可符合車廠對車用晶片可靠度的高標準，可應用於前裝汽車攝像頭模組，如果想進一步了解芯鼎科技的ISP產品，歡迎與芯鼎科技的業務窗口聯繫。
更多芯鼎科技產品介紹請參考 www.icatchtek.com
並歡迎聯絡芯鼎業務代表提出需求 www.icatchtek.com/Requests
Author Allen Chuang
Technical Support Edward Kuo, Alex Chen, Hamming Lin, Edison Chien
Art Support Mini Kuo
Reference
[1] Wikipedia, Perspective control
[2] Wikipedia, Illuminance
[3] Sony, Key technology for addressing sensing application in automotive
[4] EETimes, ADAS Front Camera: Demystifying Resolution and Frame-Rate