最新消息
iCatch’s SoCs are powering a diversity of camera applications in
multiple markets.
部落格
Aug 09, 2021
淺談DVS動態視覺感測器
DVS是Dynamic Vision Sensor，稱為動態視覺感測器，是以事件為單位來記錄資訊，一般的影像感測器是以畫面為單位來記錄影像，內容可以是彩色像素或黑白像素。而動態視覺感測器是與上次狀態相比，如果光強度有變化則紀錄下來，如果沒變化就不需要紀錄，因為只處理有變化的像素，與傳統影像感測器相比，整體的資料量會少很多。動態視覺感測器對變化的像素處理完，立刻可送出到後端的應用處理器，整體反應速度快，延遲低。因為感測器的反應是對光強度的變化，在不同環境光亮度下不受到影響，動態範圍大，在高亮度與低亮度的應用場景都正常動作。因為只有光強度變化的像素才需要處理，處理的資料量小，容易做到感測器的低耗電工作模式。總體來看，動態視覺感測器具有低資料量傳輸、超快的反應時間、高動態範圍、以及低功耗運作等特性，適合工廠產線檢測、無人搬運車/自駕機器人的環境感知、商場人流偵測、車內駕駛與乘客行為監測、加上輸出資料沒有色彩資訊，沒有人或物的特徵與細節，不會有隱私洩漏的情形，很適合醫療院所與居家照顧的意外偵測等。
一般影像感測器會輸出整個畫面，包含有變化與沒有變化的像素；而動態視覺感測器只會輸出有光強度變化的像素，所以輸出資料量會大幅減少，我們可由下圖看出動態視覺感測器與一般影像感測器的影像差別。
1. 市場上有哪些DVS供應商與DVS影像產品?
目前開發動態視覺感測器的廠商有: iniVation, Samsung, Prophesee, CelePixel (於 2020年被 OmniVision 收購) 、Insightness (於 2019 年被 Sony 收購) 等，而感測器的像素解析度多在30萬像素到120萬像素。這些動態視覺感測器的輸出介面皆是平行介面 (Parallel interface) 或行動產業處理器介面 (MIPI)，但傳輸的協議多基於 AER (Address Event Presentation)，再加上各家廠商自定義的設計，現有的應用處理器或微處理器需要透過可程式化邏輯閘 (FPGA) 晶片來接這些感測器，在可程式化邏輯閘 (FPGA) 晶片上實作對應的事件解碼器，這讓使用動態視覺感測器的產品設計變得複雜，而且成本變高。
現在市場上可以看到一些動態視覺相機方案，如：iniVation 的 DVXplorer [1] 、Prophesee 的 EVALUATION KIT2 - HD [2] 等，皆為開發平台，提供豐富的介面，讓開發者可以接上後端系統做產品概念的前期開發，但是不太適合做為終端產品中的零組件。而 Samsung 的 SmartThings Vision [3] 攝影機是以自家的動態視覺感測器來做為智慧家庭的安全監控與意外偵測使用，產品中並沒有使用傳統的影像感測器，強調隱私保護與人型偵測，實作出跌倒偵測與入侵者偵測的功能。Prophesee 與 Xperi [4] 合作使用動態視覺感測器，開發車內駕駛與乘客監測方案，利用這種感測器的快反應速度、高動態範圍以及低資料量的特性，實作眼球追蹤、頭部姿勢偵測、眼鏡/口罩偵測以及眼睛開閉偵測等演算法。
2. DVS可以應用在哪些市場以及未來的規模預估會是如何呢?
動態視覺感測器的感光原理和自然界動物的感光神經運作原理相似，故被認為是一種神經型態視覺感測器，現已漸漸地在許多應用市場出現，如：工業自動化、自動駕駛、智慧家庭、安全監控等，這種感測器是模仿人類視網膜特性，只有在亮度有變化的地方才傳送資料，這可使感測反應時間到達微秒等級，也可使傳輸資料量大幅減少，進而降低功率消耗，減少資料分析所需的運算能力，這種感測器也支援高動態範圍，即使在大太陽的戶外與只有星光的夜晚都能有效地工作。
根據 Yole Development 市調公司的市場分析，到 2029 年，支援感測與運算的神經型態半導體市場規模可達到 71 億美金，但目前仍有技術問題須要克服，如果接下來的 4 到 5 年內可解決，神經型態運算市場規模在 2024 年可望達到 6,900 萬美元，並在 2029 年進一步成長到 50 億美元，在 2034 年達到 213 億美元；神經型態感測市場在 2024 年的規模則估計為 3,400 萬美元，並在 2029 年成長到 20 億美元，在 2034 年達到 47 億美元。
3. 目前DVS應用上遇到的問題有什麼呢?
目前動態視覺感測器的實際應用產品還不多，主要原因有以下幾項：一是動態視覺感測器的價格與同樣解析度的傳統影像感測器相比，還是高出許多，讓有意願將這項技術應用到大眾消費產品的廠商有所遲疑，因為終端產品的成本將會提高，而提供的功能是否能讓消費者買單也無法確定，所以導入的意願就降低很多；但在工業、商業與基礎建設方面，由於感測器價格不是最優先考量，而是能否有效地解決問題才是重點，所以動態視覺感測器被應用在機器視覺相關的需求上就比較常見。二是可以直接支援這種感測器的應用處理器或影像處理器幾乎沒有，現有設計都是利用可程式化邏輯閘 (FPGA) 晶片來處理這種感測器的事件輸出，這增加產品設計的難度與成本，也使得在意終端售價的消費類產品的廠商會猶豫使用這種感測器。三是對於事件資料為輸入的電腦視覺或深度學習算法並不普遍，只有一些算法廠商與學術單位有投入開發，這對大多數的消費型產品的廠商形成了進入門檻。
針對問題一，感測器製造商們已經進行成本改善的動作，計畫將成本控制到接近傳統影像感測器的程度，讓產品開發的廠商能夠開發出終端客戶可以接受的產品。對於問題二，也有積體電路開發商進行支援動態視覺感測器的應用處理器或影像處理晶片的設計，能支援各家感測器的輸出協議與規格，這可以讓應用開發商很方便地使用動態視覺感測器，把資源與時間投入在終端應用的開發，達到簡化設計、降低成本與加速產品上市時間。最後來看問題三，當問題一與問題二可解決時，算法開發商可以很方便且低價地取得動態視覺感測器開發平台，自然各種應用的需求也會出現，而算法開發商因為有利可圖也會相繼地投入開發，達到相輔相成的結果。
從另一方面如競爭程度來看，不見得是壞事，如果能建立動態感測器的應用技術，創造出自己的算法，解決終端消費者的使用痛點，反而可以創造出一個獨特的市場，有一定進入門檻與前期沒有競爭者的優勢，進而擴大到其他產品市場，站穩一定的市場份額，成為市場的領先者。
雖然目前消費性市場上，為大家所知道的動態視覺感測器應用產品是如 Samsung SmartThings Vision 家用攝影機，其他廠商的產品還沒有廣為人知，但由於動態視覺感測器本身的獨特優勢，快速的反應時間、低功率消耗、低資料傳輸量、高動態範圍、高隱私保護等，適合作為機器視覺的相關應用在工業控制、商業、零售業、自動駕駛、智慧家庭、安全監控等領域，我們相信未來會有更多廠商與學術機構投入到這個市場，包含感測器供應商、演算法供應商、應用處理器與影像處理器開發商及應用開發商等，大家一起來解決目前遇到的問題，加速導入這種感測器，來創造出新的機器視覺應用市場。
我們可以透過下圖來了解動態感測器與一般影像感測器輸出的不同。
一般影像感測器會輸出整個畫面，包含有變化與沒有變化的像素；而動態視覺感測器只會輸出有光強度變化的像素，所以輸出資料量會大幅減少，我們可由下圖看出動態視覺感測器與一般影像感測器的影像差別。
1. 市場上有哪些DVS供應商與DVS影像產品?
目前開發動態視覺感測器的廠商有: iniVation, Samsung, Prophesee, CelePixel (於 2020年被 OmniVision 收購) 、Insightness (於 2019 年被 Sony 收購) 等，而感測器的像素解析度多在30萬像素到120萬像素。這些動態視覺感測器的輸出介面皆是平行介面 (Parallel interface) 或行動產業處理器介面 (MIPI)，但傳輸的協議多基於 AER (Address Event Presentation)，再加上各家廠商自定義的設計，現有的應用處理器或微處理器需要透過可程式化邏輯閘 (FPGA) 晶片來接這些感測器，在可程式化邏輯閘 (FPGA) 晶片上實作對應的事件解碼器，這讓使用動態視覺感測器的產品設計變得複雜，而且成本變高。
現在市場上可以看到一些動態視覺相機方案，如：iniVation 的 DVXplorer [1] 、Prophesee 的 EVALUATION KIT2 - HD [2] 等，皆為開發平台，提供豐富的介面，讓開發者可以接上後端系統做產品概念的前期開發，但是不太適合做為終端產品中的零組件。而 Samsung 的 SmartThings Vision [3] 攝影機是以自家的動態視覺感測器來做為智慧家庭的安全監控與意外偵測使用，產品中並沒有使用傳統的影像感測器，強調隱私保護與人型偵測，實作出跌倒偵測與入侵者偵測的功能。Prophesee 與 Xperi [4] 合作使用動態視覺感測器，開發車內駕駛與乘客監測方案，利用這種感測器的快反應速度、高動態範圍以及低資料量的特性，實作眼球追蹤、頭部姿勢偵測、眼鏡/口罩偵測以及眼睛開閉偵測等演算法。
2. DVS可以應用在哪些市場以及未來的規模預估會是如何呢?
動態視覺感測器的感光原理和自然界動物的感光神經運作原理相似，故被認為是一種神經型態視覺感測器，現已漸漸地在許多應用市場出現，如：工業自動化、自動駕駛、智慧家庭、安全監控等，這種感測器是模仿人類視網膜特性，只有在亮度有變化的地方才傳送資料，這可使感測反應時間到達微秒等級，也可使傳輸資料量大幅減少，進而降低功率消耗，減少資料分析所需的運算能力，這種感測器也支援高動態範圍，即使在大太陽的戶外與只有星光的夜晚都能有效地工作。
根據 Yole Development 市調公司的市場分析，到 2029 年，支援感測與運算的神經型態半導體市場規模可達到 71 億美金，但目前仍有技術問題須要克服，如果接下來的 4 到 5 年內可解決，神經型態運算市場規模在 2024 年可望達到 6,900 萬美元，並在 2029 年進一步成長到 50 億美元，在 2034 年達到 213 億美元；神經型態感測市場在 2024 年的規模則估計為 3,400 萬美元，並在 2029 年成長到 20 億美元，在 2034 年達到 47 億美元。
3. 目前DVS應用上遇到的問題有什麼呢?
目前動態視覺感測器的實際應用產品還不多，主要原因有以下幾項：一是動態視覺感測器的價格與同樣解析度的傳統影像感測器相比，還是高出許多，讓有意願將這項技術應用到大眾消費產品的廠商有所遲疑，因為終端產品的成本將會提高，而提供的功能是否能讓消費者買單也無法確定，所以導入的意願就降低很多；但在工業、商業與基礎建設方面，由於感測器價格不是最優先考量，而是能否有效地解決問題才是重點，所以動態視覺感測器被應用在機器視覺相關的需求上就比較常見。二是可以直接支援這種感測器的應用處理器或影像處理器幾乎沒有，現有設計都是利用可程式化邏輯閘 (FPGA) 晶片來處理這種感測器的事件輸出，這增加產品設計的難度與成本，也使得在意終端售價的消費類產品的廠商會猶豫使用這種感測器。三是對於事件資料為輸入的電腦視覺或深度學習算法並不普遍，只有一些算法廠商與學術單位有投入開發，這對大多數的消費型產品的廠商形成了進入門檻。
針對問題一，感測器製造商們已經進行成本改善的動作，計畫將成本控制到接近傳統影像感測器的程度，讓產品開發的廠商能夠開發出終端客戶可以接受的產品。對於問題二，也有積體電路開發商進行支援動態視覺感測器的應用處理器或影像處理晶片的設計，能支援各家感測器的輸出協議與規格，這可以讓應用開發商很方便地使用動態視覺感測器，把資源與時間投入在終端應用的開發，達到簡化設計、降低成本與加速產品上市時間。最後來看問題三，當問題一與問題二可解決時，算法開發商可以很方便且低價地取得動態視覺感測器開發平台，自然各種應用的需求也會出現，而算法開發商因為有利可圖也會相繼地投入開發，達到相輔相成的結果。
從另一方面如競爭程度來看，不見得是壞事，如果能建立動態感測器的應用技術，創造出自己的算法，解決終端消費者的使用痛點，反而可以創造出一個獨特的市場，有一定進入門檻與前期沒有競爭者的優勢，進而擴大到其他產品市場，站穩一定的市場份額，成為市場的領先者。
雖然目前消費性市場上，為大家所知道的動態視覺感測器應用產品是如 Samsung SmartThings Vision 家用攝影機，其他廠商的產品還沒有廣為人知，但由於動態視覺感測器本身的獨特優勢，快速的反應時間、低功率消耗、低資料傳輸量、高動態範圍、高隱私保護等，適合作為機器視覺的相關應用在工業控制、商業、零售業、自動駕駛、智慧家庭、安全監控等領域，我們相信未來會有更多廠商與學術機構投入到這個市場，包含感測器供應商、演算法供應商、應用處理器與影像處理器開發商及應用開發商等，大家一起來解決目前遇到的問題，加速導入這種感測器，來創造出新的機器視覺應用市場。
Author Edward Kuo
參考資料
參考資料
[1] iniVation DVXplorer, https://inivation.com/
[2] Prophesee EVALUATION KIT 2 – HD, https://www.prophesee.ai/event-based-evk-2/
[3] Samsung SmartThings Vision, https://www.samsung.com/au/smartthings/camera/smartthings-vision-gp-u999gteeaac/
[4] DTS AutoSense In Cabin Neuromorphic Sensing, https://www.youtube.com/watch?v=oUec9bmTuWQ&t=27s
[2] Prophesee EVALUATION KIT 2 – HD, https://www.prophesee.ai/event-based-evk-2/
[3] Samsung SmartThings Vision, https://www.samsung.com/au/smartthings/camera/smartthings-vision-gp-u999gteeaac/
[4] DTS AutoSense In Cabin Neuromorphic Sensing, https://www.youtube.com/watch?v=oUec9bmTuWQ&t=27s