西班牙Xesol Innovation是一家活躍于全球的公司，專門從事人工視覺和深度學(xué)習(xí)。其產(chǎn)品包括用于更安全的駕駛和道路安全的解決方案。其中一個解決方案是Drivox Security。這是一個用于工業(yè)車輛的安全系統(tǒng)。它可以檢測到行人和車輛前后的物體，以防止碰撞。FRAMOS正在向Xesol提供具有IP66保護(hù)的工業(yè)千兆以太網(wǎng)深度攝像機(jī)，并提供集成支持。

挑戰(zhàn)

內(nèi)部物流對效率有很高的要求。倉庫通常有許多工業(yè)車輛和叉車在工人和托盤之間快速來回移動。這種高度動態(tài)的過程會帶來風(fēng)險和危險。司機(jī)通常缺乏經(jīng)驗，必須在巨大的時間壓力下工作。根據(jù)基于神經(jīng)網(wǎng)絡(luò)和人工智能解決方案的西班牙公司 Xesol Innovation 的數(shù)據(jù)，每年有 11 萬起叉車事故。除了中斷操作外，這些事故還會導(dǎo)致人身傷害，有時甚至導(dǎo)致死亡。

多為碰撞事故，涉及人員被推、沖或被叉車撞到。雖然法律沒有要求，但倒車警告信號可以防止許多事故的發(fā)生?？梢詧?zhí)行風(fēng)險評估以確定將這些信號改裝到叉車的必要性和合理性的程度。有多種方法可以檢測可能觸發(fā)聲音警告信號的人和物體，例如超聲波系統(tǒng)、紅外技術(shù)和安全激光掃描儀，或基于攝像頭的解決方案。

在深入研究了這個問題之后，Xesol Innovation 決定采用 3D 視覺系統(tǒng)，因為超聲波系統(tǒng)的分辨率較差，并且?guī)缀鯚o法區(qū)分人和機(jī)器。反過來，基于激光的系統(tǒng)容易受到反射和日光的干擾。另一方面，基于 3D 立體的系統(tǒng)被認(rèn)為是適用于室內(nèi)和室外應(yīng)用的最強(qiáng)大的技術(shù)。除了實際的深度圖像，它們還可以輸出 RGB 圖像以獲得更好的識別性能。

新的解決方案

Xesol Innovation 的當(dāng)前解決方案 Drivox Security 由三個部分組成（見圖 1 和圖 2）：

圖 1：組件（從左到右）：TFT LCD 顯示器、FRAMOS 深度攝像頭（在金屬面板后面）和用于基于 AI 的圖像分析的英特爾處理器單元。

圖 2：叉車中組件的布置：(1) 顯示器，(2) 處理器單元，(3) 攝像頭（前后）。

FRAMOS D435e 攝像頭，安裝在車輛前部和后部用于三維感知，一個微處理器單元用于基于 AI 的圖像分析，以及一個作為駕駛員監(jiān)視器的顯示器，它還顯示計算結(jié)果。如果發(fā)生潛在的碰撞風(fēng)險，系統(tǒng)會通過可見和可聽的信號警告駕駛員。該項目的主要目標(biāo)之一是限制工作環(huán)境中的事故數(shù)量，以防止操作中斷，最重要的是保護(hù)工人的生命。

在這個項目中，F(xiàn)RAMOS 提供了 rivox Security 的“眼睛”。這家圖像處理產(chǎn)品、嵌入式視覺技術(shù)、定制解決方案和 OEM 服務(wù)的全球供應(yīng)商開發(fā)了一款基于英特爾實感技術(shù)的工業(yè) GigE 深度攝像頭，讓駕駛員能夠看到他們無法 100% 看到的區(qū)域相機(jī)。FRAMOS 還支持將攝像頭集成到完整的安全解決方案中。深度技術(shù)和 3D 成像在此應(yīng)用中至關(guān)重要，必須在各種距離、任何姿勢、位置或環(huán)境中可靠地檢測人和物體，并評估各自的危險。

圖 3：封閉式 FRAMOS D435e 工業(yè)相機(jī)，防護(hù)等級為 IP66，安裝在駕駛室上（扉頁）。

Xesol Innovation 是首批使用 FRAMOS 新相機(jī)的客戶之一，該相機(jī)基于英特爾實感技術(shù)，處于測試階段。Xesol Innovation 最重要的標(biāo)準(zhǔn)是千兆以太網(wǎng)接口和工業(yè)相機(jī)外殼：這是將 FRAMOS 與標(biāo)準(zhǔn)版英特爾實感相機(jī)區(qū)分開來的兩個主要特征。英特爾建議 Xesol Innovation 聯(lián)系 FRAMOS 實施 RealSense 攝像頭，這是成功開發(fā)解決方案的第一步。

FRAMOS 深度相機(jī)

FRAMOS 開發(fā)了工業(yè)版 3D 相機(jī)，可以將英特爾技術(shù)的優(yōu)勢用于惡劣環(huán)境下的工業(yè)視覺系統(tǒng)。FRAMOS 相機(jī)與英特爾 sdk 配合使用，因此可以輕松地從常規(guī) RS 相機(jī)遷移，而無需/幾乎不需要重寫代碼。借助高級圖像分析或 AI 功能，可以屏蔽掉深度圖像中的背景，隱藏遠(yuǎn)處的物體，或者用距離指示器顯示物體等等。深度精度取決于相機(jī)與物體之間的距離、具體地點和照明條件。

英特爾實感深度模塊是一個隨時可用的立體 3D 系統(tǒng)。它通過計算立體圖像中的差異來確定物體的距離。這項技術(shù)需要相當(dāng)大的處理能力，因為必須計算兩幅圖像中每個像素的差異。對于此應(yīng)用，兩個相機(jī)必須穩(wěn)定定位和對焦。因此，英特爾實感攝像頭經(jīng)過預(yù)先校準(zhǔn)和精確對齊。相機(jī)中的內(nèi)部英特爾 D4 處理器執(zhí)行計算，即負(fù)責(zé)“合并”兩個圖像。為此，它會實時計算圖像中每個像素的視差和相關(guān)深度，以可靠地檢測物體和人物。相機(jī)中的 IR 投影儀可確保獲得良好的圖像效果，即使場景包含非常少的用于計算視差的結(jié)構(gòu)，例如平坦的墻壁。來自 IR 投影儀（紋理生成器）的附加紋理改善了計算結(jié)果，意味著即使具有統(tǒng)一的結(jié)構(gòu)也可以生成深度圖。

FRAMOS 相機(jī)的外殼提供 IP66 防水、防塵保護(hù)，并有四個 M3 孔，可靈活安裝。它具有可鎖定的千兆位以太網(wǎng) (M12)、電源和 GPIO (M8) 連接器。FRAMOS 為相機(jī)開發(fā)了自己的處理器板，以滿足工業(yè)接口要求。該攝像機(jī)還支持 PoE 操作（通過以太網(wǎng)/PoE 接口進(jìn)行以太網(wǎng)供電）以最大限度地減少布線。其工作溫度范圍介于 0 °C 和 +55°C 之間。

FRAMOS 相機(jī)的主要優(yōu)點簡要說明： 安裝簡單快速 即插即用 Intel RS SDK 2.0 IP66 防塵和強(qiáng)力噴水。帶 M12 連接器的外殼專為以太網(wǎng)和 PoE 操作而設(shè)計。最長電纜長度可達(dá) 100 m。網(wǎng)絡(luò)技術(shù)允許多攝像機(jī)操作。

結(jié)果

在 Xesol Innovation 的 Drivox Security 中，攝像頭可以完整查看距離叉車 1.0 至 8.0 m 的行人和物體。它以 30 fps 的實時流傳輸周圍環(huán)境的圖像，分辨率為 1280 x 720 像素，到叉車的顯示器上（見圖 4）。

圖 4：攝像頭的后方視野；司機(jī)可以看到屏幕上的一切。

駕駛室的屏幕不斷顯示來自安裝在車輛前后的攝像頭的圖像（見圖 5）。

圖 5：顯示屏上的人員檢測，帶警報狀態(tài)。

基于 AI 的視頻流分析在單獨的微處理器單元中執(zhí)行。Drivox Security 可以檢測三個不同檢測區(qū)域中的行人和障礙物，并指出每種情況下的個別碰撞風(fēng)險。這些由用于元素檢測和識別的神經(jīng)網(wǎng)絡(luò)以及相應(yīng)的決策算法計算得出。該軟件針對特定車輛單獨配置。

當(dāng)在各個檢測區(qū)域識別到行人或障礙物時，系統(tǒng)會發(fā)出可見和/或可聽警報（見圖 6 中的表格）。

圖 6：當(dāng)車輛接近行人或物體時發(fā)出警報信號。

紅色、橙色和黃色代表不同的碰撞風(fēng)險級別。該系統(tǒng)能夠可靠地檢測處于所有可能位置和姿勢的行人，因此即使通過“偽裝”方法也無法勝過它（見圖 7）。

圖 7：該軟件可靠地檢測任何姿勢或位置的人。

優(yōu)點

●工傷事故減少，相關(guān)成本降低

●風(fēng)險情況檢測和早期事故預(yù)警

●減少停機(jī)成本

●使用熱圖提高路線規(guī)劃效率

●確定事件/事故增加的關(guān)鍵因素

●提高駕駛時的安全性

目前正在進(jìn)行調(diào)查以確定是否可以擴(kuò)大相機(jī)的視野。理想的是擁有在深度和更大的水平和/或垂直參數(shù)方面都具有更大視野范圍的相機(jī)。FRAMOS 的專家正在協(xié)助 Xesol Innovation 集成新型工業(yè) 3D 視覺相機(jī)，尤其是在將 3D 技術(shù)與人工智能（AI 功能）相結(jié)合的應(yīng)用中。