一文了解智能座艙監(jiān)測(cè)系統(tǒng)（IMS）之DMS和OMS

座艙監(jiān)測(cè)系統(tǒng)主要分為輸入端（感知端）、控制端（規(guī)劃端）、輸出端（執(zhí)行端），輸入端主要由車內(nèi)攝像頭和雷達(dá)作為信息源，然后進(jìn)行判斷，最后輸出信息顯示終端。參考《汽車智能座艙分級(jí)與綜合評(píng)價(jià)白皮書》，智能座艙定義為：座艙域控制器由一顆或者多顆主控座艙芯片以及 外圍電路，集成車載信息娛樂系統(tǒng)、液晶儀表、HUD等功能，接收傳感器信號(hào)、計(jì)算并決策、發(fā)送指令給執(zhí)行端。智能座艙具體功能依據(jù)市場(chǎng)主流銷售車型功能列表分類如下：

智能座艙功能列表

其中DMS，即Driver Monitoring System，駕駛員監(jiān)測(cè)系統(tǒng)，監(jiān)測(cè)對(duì)象為Driver(駕駛員），DMS可以監(jiān)測(cè)駕駛員的疲勞狀態(tài)、危險(xiǎn)駕駛行為。

OMS，即Occupancy Monitoring System，乘客監(jiān)測(cè)系統(tǒng)，監(jiān)測(cè)對(duì)象為乘客，OMS能夠監(jiān)測(cè)乘客年齡、狀態(tài)、情緒等。

相對(duì)于DMS和OMS而言，IMS是一個(gè)比較新的概念。In-cabin monitoring System即汽車座艙的智能視覺監(jiān)控系統(tǒng)。通俗來講，IMS既包括DMS、OMS，也包括FACE ID、手勢(shì)識(shí)別、體征監(jiān)測(cè)、遠(yuǎn)程監(jiān)控等。

IMS系統(tǒng)工作原理

座艙檢測(cè)系統(tǒng)的形成鏈條主要涉及三個(gè)環(huán)節(jié)，攝像頭/傳感器進(jìn)行圖像的捕捉與輸入；芯片板進(jìn)行解碼與演算；信息娛樂系統(tǒng)（IVI）的人機(jī)交互進(jìn)行監(jiān)測(cè)提示與反饋，最終使駕駛員得到相應(yīng)的安全預(yù)警反饋。

小結(jié)：                                    

在智能座艙中，除了顯示和交互技術(shù)外，座艙監(jiān)測(cè)技術(shù)也是未來的重要發(fā)展方向，監(jiān)測(cè)系統(tǒng)主要包含了駕駛員監(jiān)測(cè)（DMS）和乘員監(jiān)測(cè)（OMS）。當(dāng)前的座艙監(jiān)測(cè)方案主要包括了DMS和OMS,前者主要對(duì)駕駛員的監(jiān)測(cè)，主要利用2D/3D攝像頭方案，后者主要針對(duì)車內(nèi)乘客的監(jiān)測(cè)，會(huì)增加毫米波雷達(dá)作為補(bǔ)充。

#01    

駕駛員監(jiān)控系統(tǒng)（DMS）系統(tǒng)介紹

根據(jù)“歐盟通用安全法規(guī)”，從2024年中期開始，所有劃歸M類和N類的新制造車輛都必須配備先進(jìn)的駕駛員分心警告系統(tǒng)（ADDW）。ADDW系統(tǒng)主要監(jiān)控駕駛員的眼睛運(yùn)動(dòng)，并在檢測(cè)到分心跡象時(shí)發(fā)出警告。早在2019年，寶馬X5車型就已經(jīng)配備了駕駛員注意力攝像頭，用于觀察駕駛員的睜眼情況和頭部位置，從而評(píng)估駕駛員的專注程度。

拓展：

按用途以符號(hào)分類 按GB/T 15089--2001《機(jī)動(dòng)車輛和掛車分類》標(biāo)準(zhǔn)將機(jī)動(dòng)車輛和掛車分為M類、N類、G類、O類、L類。1、M類：M類車輛是至少有四個(gè)車輪并且用于載客的機(jī)動(dòng)車輛。2、N類：N類車輛時(shí)至少有四個(gè)車輪且用于載貨的機(jī)動(dòng)車輛。3、G類：G類可概括為越野車，包括在M類N類之中。4、O類：O類掛車【包括半掛車】。

M類：至少有4個(gè)車輪并且用于載客的機(jī)動(dòng)車輛；

M1類：包括駕駛員座位在內(nèi),座位數(shù)不超過9座的載客車;

M2類：包括駕駛員座位在內(nèi),座位數(shù)不超過9座,且最大設(shè)計(jì)總質(zhì)量不超過5000kg的載客車;

M3類：包括駕駛員座位在內(nèi),座位數(shù)不超過9座,且最大設(shè)計(jì)總質(zhì)量超過5000kg的載客車;

N類：至少有4個(gè)車輪并且用于載貨的機(jī)動(dòng)車輛；

N1類：最大設(shè)計(jì)總質(zhì)量不超過3500kg的載貨車輛；

N2類：最大設(shè)計(jì)總質(zhì)量超過3500kg，但不超過12000kg的載貨車輛；

N3類：最大設(shè)計(jì)總質(zhì)量超過12000kg的載貨車輛；

DMS并不是一個(gè)完全新穎的概念，不過，傳統(tǒng)DMS通常依賴于從車輛收集信息的被動(dòng)技術(shù)，例如車道保持、駕駛持續(xù)時(shí)間，以及轉(zhuǎn)向傳感器等。然而，這些被動(dòng)技術(shù)已經(jīng)被證明不夠準(zhǔn)確，容易導(dǎo)致很高的誤報(bào)率。因此，ADDW法規(guī)轉(zhuǎn)向主動(dòng)監(jiān)測(cè)駕駛員的眼球運(yùn)動(dòng)，標(biāo)志著DMS從被動(dòng)技術(shù)向基于視覺的主動(dòng)監(jiān)測(cè)技術(shù)轉(zhuǎn)變。

一、DMS分類

DMS可分為兩類：直接/主動(dòng)監(jiān)控和被動(dòng)/間接監(jiān)控。

被動(dòng)監(jiān)控依靠駕駛持續(xù)時(shí)間和車道保持等車輛信息來評(píng)估駕駛員的疲勞程度，但這種方案有可能產(chǎn)生誤報(bào)。另一方面，根據(jù)ADDW的要求，主動(dòng)監(jiān)控利用近紅外（NIR）相機(jī)，這對(duì)于眼球運(yùn)動(dòng)檢測(cè)特別有效，且不會(huì)影響駕駛員。近紅外相機(jī)通常包含一顆或兩顆LED/VCSEL照明器，以及一顆圖像傳感器，它們通常被安裝在車輛A柱或轉(zhuǎn)向柱等位置。然后，通過軟件提取駕駛員眼瞼閉合以及打哈欠等特征，在識(shí)別駕駛員瞌睡或疲勞跡象方面發(fā)揮著至關(guān)重要的作用。

DMS方案

二、DMS配置

DMS攝像頭安裝位置具有靈活性，可以在儀表盤、方向盤柱、左右側(cè) A 柱或內(nèi)后視鏡等位置，此外，大陸還將DMS集成在顯示屏中，實(shí)現(xiàn)結(jié)構(gòu)上的小型化。其中正對(duì)駕駛?cè)四樈嵌鹊霓D(zhuǎn)向柱和儀表盤位置，是效果最好的，A柱其次，艙內(nèi)后視鏡也勉強(qiáng)可以。

攝像頭推薦安裝位置

目前主流是利用2D或3D的攝像頭方案（一般帶紅外功能）實(shí)現(xiàn)對(duì)駕駛員的身份識(shí)別、駕駛員疲勞駕駛以及危險(xiǎn)行為的檢測(cè)功能，是目前流行的ADAS（高級(jí)駕駛輔助系統(tǒng)）系統(tǒng)中重要組成部分。

• 2D人臉識(shí)別技術(shù)的原理就是用一顆RGB攝像頭捕捉人臉的2D平面圖像和已經(jīng)錄入的圖像庫(kù)進(jìn)行對(duì)比，算法相對(duì)簡(jiǎn)單，模組成本較低。但是由于其捕捉的是人臉的2D平面圖像，即使輔以“活體”算法，但防偽性還是很差。

2D 3D的區(qū)別

• 3D人臉識(shí)別技術(shù)逐漸運(yùn)用到智能鎖領(lǐng)域。而主流的3D人臉識(shí)別技術(shù)主要有3種：

  ? 雙目識(shí)別技術(shù)：雙目識(shí)別技術(shù)又叫雙目測(cè)距技術(shù)，原理和我們的人眼類似，直接由兩個(gè)攝像頭拍攝，得到兩個(gè)不同的平面圖像，再把兩張圖像上相同的特征點(diǎn)標(biāo)注出來，最后再基于三角測(cè)量原理計(jì)算出深度信息。

  

  雙目識(shí)別原理
  

  ?3D結(jié)構(gòu)光技術(shù)：3D結(jié)構(gòu)光需要有點(diǎn)陣投影器和紅外攝像頭。點(diǎn)陣投影器投影到我們臉上，紅外攝像頭則找到投影到臉上的光點(diǎn)，然后基于三角測(cè)量原理計(jì)算出人臉的深度信息，通過深度判斷人臉是否吻合。

  

  

  3D結(jié)構(gòu)光原理

  ?TOF技術(shù)：TOF又稱飛行時(shí)間技術(shù)，通過傳感器發(fā)射出紅外光，紅外光再?gòu)奈矬w表面反射回傳感器，傳感器根據(jù)發(fā)射光和反射光之間的相位差換算出深度信息，通過深度信息判斷人臉是否吻合。

  TOF的原理與3D結(jié)構(gòu)光比較相似，都是通過紅外光反射計(jì)算深度信息，只是3D結(jié)構(gòu)光技術(shù)投射的紅外光是點(diǎn)狀，而TOF投射的則是一整片紅外光，因此TOF的工作距離可以達(dá)到5米，但是精度與3D結(jié)構(gòu)光相比還是有較大的差距。

  

3D結(jié)構(gòu)和3D-TOF的差異

總結(jié)：

1、雙目方案。比較大的問題在于實(shí)現(xiàn)算法需要很高的計(jì)算資源，導(dǎo)致實(shí)時(shí)性很差，而且基本跟分辨率，檢測(cè)精度掛鉤。也就是說，分辨率越高，要求精度越高，則計(jì)算越復(fù)雜，同時(shí)，純雙目方案受光照，物體紋理性質(zhì)影響。

2、結(jié)構(gòu)光方案。目的就是為了解決雙目中匹配算法的復(fù)雜度和魯棒性問題而提出，該方案解決了大多數(shù)環(huán)境下雙目的上述問題。但是，在強(qiáng)光下，結(jié)構(gòu)光核心技術(shù)激光散斑會(huì)被淹沒，因此，不合適室外。同時(shí)，在長(zhǎng)時(shí)間監(jiān)控方面，激光發(fā)射設(shè)備容易壞，重新更換設(shè)備后，需要重新標(biāo)定。

3、TOF方案。傳感器技術(shù)不是很成熟，因此，分辨率較低，成本高，但由于其原理與另外兩種完全不同，實(shí)時(shí)性高，不需要額外增加計(jì)算資源，幾乎無算法開發(fā)工作量，是未來。

注：RGB色彩模式（也翻譯為“紅綠藍(lán)”，比較少用）是工業(yè)界的一種顏色標(biāo)準(zhǔn)，是通過對(duì)紅(Red)、綠(Green)、藍(lán)(Blue)三個(gè)顏色通道的變化以及它們相互之間的疊加來得到各式各樣的顏色的，RGB即是代表紅、綠、藍(lán)三個(gè)通道的顏色，這個(gè)標(biāo)準(zhǔn)幾乎包括了人類視力所能感知的所有顏色，是運(yùn)用最廣的顏色系統(tǒng)之一。

#02  

OMS系統(tǒng)介紹

DMS還可以升級(jí)為OMS-即車內(nèi)人員監(jiān)控系統(tǒng)，攝像頭不僅可以對(duì)駕駛員的狀態(tài)進(jìn)行跟蹤，包括駕駛員疲勞的一些提醒，甚至還可以對(duì)后排乘客進(jìn)行跟蹤，以滿足相關(guān)乘車需求。OMS傳感方案包括五種，分別是攝像頭、毫米波、超聲波、壓力傳感器和生物特征傳感器。目前，OMS主流傳感方案為1*OMS攝像頭（占比高）或1*毫米波雷達(dá)。在座艙感知方案中，諸如毫米波雷達(dá)等感知方案可以作為視覺方案的補(bǔ)充，能夠有效降低隱私侵犯和泄露風(fēng)險(xiǎn)，主要用于座艙OMS系統(tǒng)的生命體征檢測(cè)，目前國(guó)內(nèi)已有多家車企搭載了該種方案。

座艙生命體檢測(cè)方案

一、OMS典型方案介紹

1、基于視覺感知技術(shù)的DMS駕駛員監(jiān)控系統(tǒng)與OMS乘客監(jiān)控系統(tǒng)具有明顯的成本優(yōu)勢(shì)。

實(shí)現(xiàn)功能

在配套的艙內(nèi)攝像頭部分，目前，在前裝市場(chǎng)，艙內(nèi)視覺方案的主要攝像頭配置有幾種類型：

（1）單攝像頭方案，大多數(shù)集成在駕駛員側(cè)的A柱或方向盤，功能主要是人臉識(shí)別（包括發(fā)動(dòng)機(jī)啟動(dòng)、車機(jī)系統(tǒng)進(jìn)入以及座椅個(gè)性化調(diào)節(jié)等）和疲勞分心監(jiān)測(cè)。

另一種則是集成在內(nèi)后視鏡位置，除了服務(wù)駕駛員，還可以額外提供乘員監(jiān)控功能（車內(nèi)行車記錄功能），甚至包括兒童／遺留物檢測(cè)、安全帶檢測(cè)和識(shí)別特定乘客等功能。

（2）雙／三攝像頭方案，分別位于A柱、內(nèi)后視鏡以及車頂位置，負(fù)責(zé)不同功能的實(shí)現(xiàn)。

（3）大部分用于檢測(cè)駕駛員疲勞的駕駛員監(jiān)測(cè)系統(tǒng)均采用成本較低的傳統(tǒng)2D可見光攝像頭（配合IR紅外LED）。3D—ToF傳感器也開始進(jìn)入前裝（比如，首發(fā)搭載理想L9），從而增強(qiáng)座艙監(jiān)控系統(tǒng)魯棒性，實(shí)現(xiàn)惡劣的光照條件下捕捉深度和紅外圖像。

主機(jī)廠車型IMS裝配情況

 攝像頭安裝位置示意圖

同時(shí)，在整體系統(tǒng)方案方面，主要形態(tài)包括基于攝像頭和獨(dú)立控制單元，或攝像頭＋集成座艙車機(jī)／域控制器解決方案。供應(yīng)商方面，有底層感知算法供應(yīng)商、軟件Tier1以及硬件Tier1等不同角色。

虹軟科技通過視覺，可以實(shí)現(xiàn)的OMS功能有：

• 乘客占位和屬性檢測(cè)：實(shí)時(shí)統(tǒng)計(jì)車內(nèi)人員數(shù)量，準(zhǔn)確標(biāo)識(shí)乘客入座位置，幫助掌握車輛載客情況。精準(zhǔn)識(shí)別年齡、性別、情緒等多種人臉屬性信息，分析乘客面部表情，有效規(guī)避司乘沖突。

• 遺留物品檢測(cè)：實(shí)時(shí)檢測(cè)艙內(nèi)后座畫面，結(jié)合下車信號(hào)有效分析乘客隨身物品的遺留情況，并根據(jù)業(yè)務(wù)策略給予告警系統(tǒng)。可精準(zhǔn)檢測(cè)手機(jī)、錢包、女士手袋等數(shù)十種隨身物品，且支持一站式自定義物體品類訓(xùn)練。

• 遺留兒童檢測(cè)：實(shí)時(shí)監(jiān)測(cè)艙內(nèi)后座區(qū)域，結(jié)合下車信號(hào)精準(zhǔn)判斷后座區(qū)域是否存在兒童遺留，并根據(jù)業(yè)務(wù)策略將兒童感知數(shù)據(jù)傳輸至告警系統(tǒng)，全面保障乘客的出行安全。

• 遺留寵物檢測(cè)：準(zhǔn)確分析后座區(qū)域是否存在活體寵物遺留，并根據(jù)業(yè)務(wù)策略及時(shí)發(fā)送預(yù)警信息；支持識(shí)別多品種寵物貓和寵物狗，能有效抵御毛絨玩具等假體攻擊。

2、毫米波雷達(dá)OMS方案在一些主機(jī)廠中已經(jīng)得到應(yīng)用，在某些場(chǎng)景下（如遺留兒童監(jiān)測(cè)），攝像頭的監(jiān)控范圍易受安裝位置、視線范圍等條件影響，較難做到精準(zhǔn)無誤監(jiān)測(cè)與警報(bào)。而雷達(dá)傳感器（包括毫米波雷達(dá)、超聲波雷達(dá)、UWB雷達(dá)）具有穿透固體物質(zhì)的能力，可以更精確地檢測(cè)無人照管的兒童、監(jiān)測(cè)乘員狀態(tài)、預(yù)估駕駛員的生命體征，在艙內(nèi)監(jiān)控中的應(yīng)用有望擴(kuò)大。其中森思泰克的STA60-4/STA79-4車內(nèi)成員檢測(cè)雷達(dá)方案較為成熟，STA60-4和STA79-4車內(nèi)成員檢測(cè)雷達(dá)是由森思泰克自主研發(fā)的兩款基于60GHz和79GHz毫米波技術(shù)的雷達(dá)產(chǎn)品。兩款雷達(dá)工作頻率不同，可滿足不同國(guó)家法規(guī)差異化的要求。兩雷達(dá)功能相同，均可檢測(cè)車中指定區(qū)域內(nèi)有無活體目標(biāo)，尤其是后排遺留兒童檢測(cè)，具有性能高、體積小、重量輕等特點(diǎn)。

森思泰克方案圖

STA60-4/STA79-4車內(nèi)成員檢測(cè)雷達(dá)一般安裝在汽車天窗附近，隱藏在頂棚內(nèi)部。當(dāng)車輛駐停后，雷達(dá)可自動(dòng)檢測(cè)車內(nèi)后排座椅上的目標(biāo)信息，一旦發(fā)現(xiàn)存在滯留兒童，迅速發(fā)出報(bào)警信號(hào)，同時(shí)還可以啟動(dòng)通風(fēng)系統(tǒng)等輔助救助裝置，從而達(dá)到保障乘車兒童人身安全的目的。

森思泰克雷達(dá)參數(shù)指標(biāo)

楚航科技車規(guī)級(jí)平臺(tái)研發(fā)生產(chǎn)的60GHz生命體征探測(cè)雷達(dá)，采用3發(fā)4收天線通道，可覆蓋車內(nèi)全區(qū)域，體積小，低成本，低功耗，< 1%誤報(bào)率與0漏報(bào)率，可實(shí)現(xiàn)ROA第二排占位探測(cè)與第三排活體探測(cè), DMS駕駛員心跳呼吸檢測(cè)。

楚航科技方案參數(shù)指標(biāo)

應(yīng)用場(chǎng)景：

• ROA系統(tǒng)

  1. ROA（rear occupant alert）后排占位檢測(cè)系統(tǒng)毫米波雷達(dá)安裝在車頂可感知整個(gè)座艙區(qū)域、探測(cè)目標(biāo)并對(duì)其進(jìn)行高精度分類和生物特征的監(jiān)測(cè)，監(jiān)測(cè)車內(nèi)人數(shù)。

• 2. CPD（children present detection）兒童存在探測(cè)功能防止兒童以及寵物被遺留在車內(nèi)而發(fā)生意外，一旦有兒童被遺留在車內(nèi)，系統(tǒng)會(huì)輸出報(bào)警信息給駕駛員。

  3. SOD（seat occupancy detection）占位檢測(cè)功能可以探測(cè)到車內(nèi)哪個(gè)位置被占用，并可輸出占用信息給車輛，該信息可作為其他功能的二次開發(fā)依據(jù)。

• DMS系統(tǒng)

  1. DMS（driver monitoring system）駕駛員監(jiān)控系統(tǒng)駕駛員呼吸、心跳監(jiān)測(cè) 駕駛員生命體征異常報(bào)警

  2. 安全氣囊優(yōu)化毫米波雷達(dá)成像可評(píng)估身體大小，識(shí)別成人還是兒童，以優(yōu)化安全氣囊的部署。

小結(jié)：

1. 艙內(nèi)監(jiān)測(cè)的主流傳感器技術(shù)是 （DMS） 2D 紅外攝像頭。3D TOF傳感器應(yīng)用較少，可實(shí)現(xiàn)手勢(shì)識(shí)別、游戲等娛樂和其他功能。

2. 系統(tǒng)OMS功能及整個(gè)座艙監(jiān)控IMS采用毫米波雷達(dá)或其他傳感器解決方案作為視覺解決方案的補(bǔ)充。