河道監(jiān)控多路視頻拼接解決方案

  江河湖泊具有重要的資源功能、生態(tài)功能和經濟功能。近年來，各地積極采取措施，加強河湖治理、管理和保護，在防洪、供水、發(fā)電、航運、養(yǎng)殖等方面取得了顯著的綜合效益。

  在一些航運繁忙的河道，尤其是多股河道交匯的地方，由于水流方向和速度、風向和風速等因素，甚至多船并行的情況，都可能導致河道上出現(xiàn)安全事故。

  目前，河道監(jiān)控管理的現(xiàn)狀是：

1) 管理人員工作強度大但管理質量并不高，人為巡檢無法實時發(fā)現(xiàn)河道險情或事故。

2) 由于河道位置的原因，河道視頻監(jiān)控在立桿、布線等方面都存在一定的難度。

3) 同時行船河道往往寬度很寬，而傳統(tǒng)的視頻監(jiān)控攝像機在視場角和焦距上有一個成反比例的關系，如果采用長焦距的鏡頭可以在遠距離看清物體，但是在視場角上就會偏小，從而導致無法覆蓋到足夠大的范圍，會導致需要部署的監(jiān)控攝像機數(shù)量多而且分散，才能覆蓋到整體河道；

4) 而如果河道監(jiān)控點位分散且數(shù)量較少，監(jiān)控數(shù)據(jù)不夠豐富，就無法建立有效的險情預警。

5) 采用傳統(tǒng)的監(jiān)控系統(tǒng)，會導致河道視頻監(jiān)控的畫面被分割到每個攝像機單獨對應的畫面，無法做到一圖展現(xiàn)河道的實際情況，如果出現(xiàn)險情或事故征兆時，就會導致反應速度出現(xiàn)延遲，從而無法提前進行預先判斷和防范。

1.2 需求分析

  需求場景說明：

  對一個河岸長度為2公里、寬30-60米的河道進行可視化視頻監(jiān)控，要求能做到整體河道能一圖展現(xiàn)在大屏上，同時在圖上能看清河道中所有船只的航行狀況。

  根據(jù)用戶實際需求，我們建議用戶采用全景視頻拼接整體解決方案來實現(xiàn)整體項目需求，全景視頻拼接分為前端監(jiān)控設備+后端拼接融合平臺

  前端系統(tǒng)的設計應根據(jù)監(jiān)控現(xiàn)場的實際情況，對攝像機的選型、監(jiān)控點的選取以及立桿的設計進行整體部署和選擇。

  根據(jù)項目需求中河道視頻監(jiān)控的業(yè)務特點，本次方案前端建議采用全景視頻芯片拼接攝像機進行前端監(jiān)控設備的部署：

全景視頻芯片拼接攝像機，采用專用視覺拼接算法芯片進行視頻拼接處理，拼接算法穩(wěn)定且高效，在拼接成像效果上由于采用芯片固化優(yōu)越的圖像畸變校正、區(qū)域裁剪和視頻融合等視覺相關拼接算法，同時鏡頭標定到位后固化整體視頻畫面，可以極大的減少現(xiàn)場攝像機標定的難度，同時前端監(jiān)控設備采用這種全景視頻芯片拼接攝像機，可以有效提高單個攝像機的視場角，提升單個攝像機的視頻覆蓋范圍，同時單個攝像機把多個鏡頭采集的視頻采用芯片直接拼接成一路完美拼接的視頻上傳給上級平臺，可以極大的節(jié)約傳輸帶寬。

本次方案中，我們采用五目12mm鏡頭拼接成100°成像的全景視頻芯片拼接攝像機作為前端部署的監(jiān)控設備。

  河道視頻監(jiān)控業(yè)務的監(jiān)控點具有分布廣、不集中的特點，在監(jiān)控點選取時，可根據(jù)監(jiān)控對象、事件發(fā)生的頻率，采用鐵塔高點位整體布局監(jiān)測、沿線無遮擋部署的方式進行監(jiān)控，根據(jù)監(jiān)控物體主體為航運船舶，則在沿岸部署四個全景視頻芯片拼接攝像機進行前端視頻采集。

具體安裝位置選擇需根據(jù)現(xiàn)場的實際情況進行

  后端拼接融合服務端位于中心機房，軟件服務部分包括：流媒體處理服務、拼接處理服務和視頻融合輸出服務，在服務器的硬件配置上要做到至少I7 12代 CPU、32G內存以及RTX3080及以上顯卡。

       1）流媒體處理服務

  將多路監(jiān)控視頻按相應順序排列并進行時間標記，同步進行H.264視頻解碼并拆幀，以圖片幀傳遞到下一個拼接模塊進行拼接；

  2）拼接處理服務

  將標記好的圖片幀進行重疊區(qū)域裁剪、圖片畸變校正、像素拼接融合等等，把各個不同標記的圖片幀融合成完整拼接圖片；

3）視頻融合輸出服務

將拼接好的圖片幀融合成完整視頻并重新進行編碼，以RTSP、FLV等視頻協(xié)議進行推流，供上級平臺進行全景直播、視頻存儲等等相關視頻應用。

融合拼接成像

  1、前端監(jiān)控設備采用獨特的全景視頻芯片拼接攝像機，拼接算法固化穩(wěn)定，采集的拼接視頻圖像拼接無明顯接縫、畫面無明顯變形、拼接成像延時短、拼接視頻輸出直接利用無需專用客戶端播放，同時可以根據(jù)場景采用不同焦距的鏡頭進行標定；

  2、由于前端采用全景視頻芯片拼接攝像機實現(xiàn)了一臺攝像機采集多路視頻并直接在攝像機中采用拼接算法芯片進行拼接輸出成一路完全拼接好的視頻圖像，所以在前端攝像機部署上可以大大減少設備的部署數(shù)量，降低現(xiàn)場施工難度、標定難度和實施成本；

  3、采用全景視頻芯片拼接攝像機進行視頻采集，可以在前端直接處理大量的拼接需求，極大的減少后端拼接融合的算力需求，節(jié)省算力投入成本；

  4、由于全景拼接對于攝像機安裝位置的要求十分高，現(xiàn)場標定好的攝像機位置如果發(fā)生偏移，就可能導致整體拼接畫面出現(xiàn)變形，所以前端采用全景視頻芯片拼接攝像機可以極大減少此類故障的發(fā)生。