“2025（第二十三屆）水業(yè)戰(zhàn)略論壇”上，E20環(huán)境平臺(tái)智能規(guī)劃中心AI解決方案總監(jiān)戰(zhàn)凱以《兩山智聯(lián)?視頻智能V2.0(大模型版)：“快而準(zhǔn)”的視頻智能安全管控》為題，系統(tǒng)性拆解了云邊端協(xié)同架構(gòu)下的技術(shù)閉環(huán)，并首次公開(kāi)“兩山智聯(lián)?視頻智能V2.0（大模型版)”在水務(wù)行業(yè)的規(guī)模化落地路徑。

在運(yùn)營(yíng)為王的時(shí)代，水務(wù)行業(yè)面臨效率提升與風(fēng)險(xiǎn)管控的雙重挑戰(zhàn)，智能化轉(zhuǎn)型成為破局關(guān)鍵。

隨著視頻監(jiān)控的普及，全國(guó)大量公共區(qū)域及水務(wù)設(shè)施已完成覆蓋，據(jù)不完全統(tǒng)計(jì)雙百跨越標(biāo)桿水廠便部署了33類(lèi)視頻智能技能，視頻分析技術(shù)已成為行業(yè)標(biāo)配、并得到了行業(yè)內(nèi)認(rèn)可。如何借助視頻智能賦能行業(yè)發(fā)展，成為業(yè)界同仁面臨的一道必選題。

在“2025（第二十三屆）水業(yè)戰(zhàn)略論壇”上，E20環(huán)境平臺(tái)智能規(guī)劃中心AI解決方案總監(jiān)戰(zhàn)凱以《兩山智聯(lián)?視頻智能V2.0(大模型版)：“快而準(zhǔn)”的視頻智能安全管控》為題，系統(tǒng)性拆解了云邊端協(xié)同架構(gòu)下的技術(shù)閉環(huán)，并首次公開(kāi)“兩山智聯(lián)?視頻智能V2.0（大模型版)”在水務(wù)行業(yè)的規(guī)模化落地路徑。

戰(zhàn)凱

1.0階段小模型奠基，覆蓋三大核心場(chǎng)景

2023年，E20環(huán)境平臺(tái)與百度智能云聯(lián)合推出了兩山智聯(lián)視頻智能1.0版本。針對(duì)供水、污水、垃圾焚燒領(lǐng)域，雙方共同開(kāi)發(fā)了25項(xiàng)行業(yè)技能，并且有17個(gè)項(xiàng)目成功落地。

戰(zhàn)凱表示，視頻智能的技術(shù)演進(jìn)植根于小模型積累，受限于小模型的局限性，在實(shí)際應(yīng)用中會(huì)偶發(fā)誤報(bào)存在。

例如夜晚場(chǎng)景中燈光被錯(cuò)誤標(biāo)注為火焰，地面反光被識(shí)別為積水，施工工人被誤判為人員倒地等。為提升系統(tǒng)準(zhǔn)確率、解決誤報(bào)問(wèn)題，需采集大量負(fù)樣本數(shù)據(jù)。然而，與正樣本相比，負(fù)樣本數(shù)量少，采集工作艱巨。盡管系統(tǒng)準(zhǔn)確率已達(dá)行業(yè)領(lǐng)先的 90% - 95%，但客戶期望達(dá)到 100% 的準(zhǔn)確率，每一張誤報(bào)圖片都會(huì)影響客戶使用體驗(yàn)。

戰(zhàn)凱首先感謝了過(guò)去一年多親密合作的用戶，讓1.0版本得到快速落地和完善。在1.0實(shí)踐應(yīng)用階段，E20與用戶始終保持密切溝通，水務(wù)集團(tuán)也對(duì)雙方的合作給與了高度信任和支持，在過(guò)程中積極反饋助力技術(shù)迭代。

“盡管技術(shù)迭代與用戶反饋持續(xù)推動(dòng)優(yōu)化，小模型的技術(shù)瓶頸仍是誤報(bào)難根治的核心癥結(jié)。”戰(zhàn)凱強(qiáng)調(diào)。

因其底層邏輯依賴單幀抽樣分析——從每秒24幀視頻中截取單幀進(jìn)行特征點(diǎn)匹配，這一機(jī)制在復(fù)雜現(xiàn)實(shí)場(chǎng)景中易受環(huán)境干擾：低光照導(dǎo)致圖像模糊、非常規(guī)視角引發(fā)特征偏移、動(dòng)態(tài)遮擋與背景噪聲形成干擾信號(hào)。

因此突破環(huán)境敏感性與特征泛化能力的天花板，需系統(tǒng)性重構(gòu)算法架構(gòu)。

技術(shù)攻堅(jiān)：多模態(tài)大模型破解行業(yè)痛點(diǎn)

在小模型推進(jìn)緩慢的情況下，技術(shù)瓶頸亟待突破。隨著技術(shù)發(fā)展，大模型的出現(xiàn)帶來(lái)了轉(zhuǎn)機(jī)。

2017 年 Transformer 架構(gòu)出現(xiàn)，大模型開(kāi)始進(jìn)入人們的視野；2022 年 ChatGPT 出現(xiàn)，使大模型應(yīng)用成為可能；2023 年中期 GPT4V 出現(xiàn)，首次實(shí)現(xiàn)了圖像和文本兩個(gè)模態(tài)的交互；到 2024 年初 GPT4O出現(xiàn)，真正實(shí)現(xiàn)了視頻、音頻、圖像甚至其他感知的多模態(tài)交互，經(jīng)過(guò)一年發(fā)展，國(guó)內(nèi)很多廠商也實(shí)現(xiàn)了多模態(tài)大模型的落地。

多模態(tài)大模型在視覺(jué)識(shí)別上優(yōu)勢(shì)顯著。大語(yǔ)言模型能理解并歸納文本內(nèi)容，同樣，多模態(tài)大模型也能解讀圖像信息。在復(fù)雜場(chǎng)景中，小模型可能需十幾個(gè)要素來(lái)識(shí)別圖片內(nèi)容，而大模型通過(guò)分析圖像內(nèi)容就能準(zhǔn)確判斷。

例如火燒云照片，小模型可能因特征值匹配煙火而誤報(bào)火災(zāi)，多模態(tài)大模型卻能準(zhǔn)確解釋這是自然景象。在實(shí)際測(cè)試中，小模型將燈誤識(shí)別為煙火，多模態(tài)大模型則正確識(shí)別出是監(jiān)控拍攝的夜景，還能解析畫(huà)面中特定區(qū)域的反光和光線折射效果。

可見(jiàn)，多模態(tài)大模型在理解和解析復(fù)雜視覺(jué)信息方面能力卓越，能夠有效解決小模型在視頻智能應(yīng)用中面臨的誤報(bào)難題。

場(chǎng)景落地：全鏈路賦能水務(wù)智能化

隨著技術(shù)發(fā)展，E20兩山智聯(lián)團(tuán)隊(duì)推出了兩山智聯(lián)?視頻智能V2.0（大模型版）。

該版本在端側(cè)配備智能分析一體機(jī)，通過(guò)小模型實(shí)現(xiàn)快速且低成本的秒級(jí)抽幀分析。前端完成識(shí)別后，借助智聯(lián)盒將預(yù)警信息傳送至云側(cè)，由兩山智聯(lián)視頻智能運(yùn)維平臺(tái)進(jìn)行事件處理及應(yīng)用場(chǎng)景服務(wù)。同時(shí)，大模型平臺(tái)負(fù)責(zé)提升分析準(zhǔn)確性并應(yīng)對(duì)復(fù)雜場(chǎng)景。

技術(shù)升級(jí)后，兩山智聯(lián)?視頻智能系統(tǒng)v2.0（大模型版）應(yīng)運(yùn)而生。此版本以 “準(zhǔn)、活、簡(jiǎn)” 三大核心能力為突破點(diǎn)，深度融合云邊端協(xié)同架構(gòu)，全面優(yōu)化智能識(shí)別與場(chǎng)景適配效率。

編輯：李丹