瑞芯微推出的RK3588系列圖像處理板作為國(guó)產(chǎn)化板卡的性能前列,成為了各領(lǐng)域研究開(kāi)發(fā)的優(yōu)先,它能在諸多行業(yè)實(shí)現(xiàn)目標(biāo)檢測(cè)、識(shí)別以及跟蹤等功能,具有重要的研究開(kāi)發(fā)價(jià)值。特別是對(duì)于高校而言,將RK3588作為課題進(jìn)行研究開(kāi)發(fā),是一個(gè)不錯(cuò)的選擇。但是在這些功能實(shí)現(xiàn)過(guò)程中,算法的能力就十分重要,如何讓算法更加精細(xì)的識(shí)別檢測(cè)例如人、車、船等目標(biāo)成為首要解決的問(wèn)題。要想讓AI算法更能精確的識(shí)別檢測(cè)目標(biāo),可以利用AI的深度學(xué)習(xí)能力,讓AI不斷學(xué)習(xí)這些目標(biāo)的特征,從而達(dá)到精細(xì)識(shí)別的能力。這個(gè)過(guò)程,可以通過(guò)大量的數(shù)據(jù)標(biāo)注,來(lái)訓(xùn)練AI。但大量待標(biāo)注工作,常常讓開(kāi)發(fā)者頭疼。如果采用傳統(tǒng)方式用人工挨個(gè)挨幀標(biāo)注,將會(huì)耗費(fèi)大量時(shí)間精力,讓成本不可控?;垡暪怆娔軌蚨ㄖ芻amera link接口的RK3588圖像處理板。上海圖像處理板
無(wú)人機(jī)的智能化是推動(dòng)低空經(jīng)濟(jì)發(fā)展的重要引擎,打造智能無(wú)人機(jī)需要通信、控制、傳感器等多種技術(shù)的共同作用,其中圖像處理板的目標(biāo)檢測(cè)識(shí)別技術(shù)能夠在智慧巡檢、智慧交通管理、智慧河湖巡查等領(lǐng)域有著積極作用。在成都慧視開(kāi)發(fā)的多款圖像處理板中,Viztra-LE026以小型化、低功耗的特點(diǎn)深受行業(yè)青睞。Viztra-LE026圖像處理板采用了全國(guó)產(chǎn)化芯片RV1126,板卡外形呈圓形設(shè)計(jì),尺寸為Φ38mm*12mm,重量12g,雖然小巧,但是算力可達(dá)2.0TOPS,能夠憑借1路MIPI視頻輸入和1路DVP視頻輸入實(shí)現(xiàn)對(duì)目標(biāo)實(shí)時(shí)自主檢測(cè)、識(shí)別,并自動(dòng)或手動(dòng)鎖定跟蹤人、車、船等目標(biāo)。工業(yè)圖像處理板有哪些低延遲圖像處理板哪里有?
SpeedDP作為一個(gè)服務(wù)型AI平臺(tái),它能提供從數(shù)據(jù)標(biāo)注、模型訓(xùn)練、測(cè)試驗(yàn)證到RockChip嵌入式硬件平臺(tái)模型部署的可視化AI開(kāi)發(fā)功能。平臺(tái)所需算法并不是固定的,使用者可以根據(jù)自身實(shí)際應(yīng)用場(chǎng)景進(jìn)行AI算法的定制化開(kāi)發(fā),例如平臺(tái)經(jīng)過(guò)不斷的迭代,目前能夠支持YOLOv8系列算法進(jìn)行圖像標(biāo)注。SpeedDP這個(gè)平臺(tái)使用起來(lái)十分簡(jiǎn)便,在圖像標(biāo)注領(lǐng)域其基本使用方法是:1.首先有一個(gè)比較好的預(yù)選模型2.用這個(gè)預(yù)選模型做自動(dòng)標(biāo)注3.后期人工審核修正
多目標(biāo)跟蹤是指在連續(xù)的圖像中,通過(guò)目標(biāo)檢測(cè)算法識(shí)別出每一幀中的目標(biāo),并在時(shí)間上跟蹤它們的位置和狀態(tài)。但目標(biāo)會(huì)不斷發(fā)生尺度、形變、遮擋等變化,而且還會(huì)有目標(biāo)出現(xiàn)和消失的情況,再加上視頻采集端的相機(jī)所處環(huán)境可能受到外界影響導(dǎo)致抖動(dòng)的情況(例如無(wú)人機(jī)高空檢測(cè)),就會(huì)給多目標(biāo)跟蹤造成一定的困難。由于我們不能控制目標(biāo),所以只能從視頻采集端維護(hù)跟蹤的穩(wěn)定性。因此,成都慧視針對(duì)于多目標(biāo)檢測(cè)跟蹤抖動(dòng)丟失的優(yōu)化方法是:1.改進(jìn)目標(biāo)檢測(cè),使用更加魯棒的目標(biāo)檢測(cè)算法。2.增強(qiáng)特征描述,利用深度學(xué)習(xí)提取更高級(jí)別的語(yǔ)義特征,這些特征對(duì)于小范圍內(nèi)的視角變化具有更好的不變性3.改進(jìn)運(yùn)動(dòng)模型,在算法中加入對(duì)攝像頭運(yùn)動(dòng)的估計(jì),通過(guò)補(bǔ)償攝像頭運(yùn)動(dòng)來(lái)減小目標(biāo)真實(shí)運(yùn)動(dòng)與預(yù)測(cè)之間的差距。4.數(shù)據(jù)關(guān)聯(lián)策略,設(shè)計(jì)更靈活的數(shù)據(jù)關(guān)聯(lián)算法,允許更大的距離閾值來(lái)匹配候選目標(biāo)?;垡暪怆夾I圖像處理板。

SpeedDP的出現(xiàn)則正好解決了這一問(wèn)題,它是一個(gè)基于瑞芯微的深度學(xué)習(xí)算法開(kāi)發(fā)平臺(tái),提供從數(shù)據(jù)標(biāo)注、模型訓(xùn)練、測(cè)試驗(yàn)證到RockChip嵌入式硬件平臺(tái)模型部署的可視化AI開(kāi)發(fā)功能。平臺(tái)支持本地化服務(wù)器部署,高校、特殊單位等數(shù)據(jù)敏感的用戶無(wú)需擔(dān)心數(shù)據(jù)信息泄露的問(wèn)題。高校等單位可以通過(guò)模型訓(xùn)練和模型評(píng)估等功能,打造一個(gè)符合需求的AI模型,來(lái)幫助進(jìn)行海量的數(shù)據(jù)標(biāo)注,這不僅將節(jié)約大量的數(shù)據(jù)標(biāo)注時(shí)間,更重要的是能夠幫助提升自身算法在RK3588圖像處理板的檢測(cè)識(shí)別能力?;垡暪怆娔軌蚨ㄖ艱VP接口的圖像處理板。山東圖像處理板應(yīng)用
慧視光電能夠定制mipi接口的圖像處理板。上海圖像處理板
“啟明935A”系列芯片已經(jīng)成功點(diǎn)亮,并完成各項(xiàng)功能性測(cè)試,達(dá)到車規(guī)級(jí)量產(chǎn)標(biāo)準(zhǔn)。啟明935A是行業(yè)首顆基于Chiplet(芯粒/小芯片)異構(gòu)集成范式的自動(dòng)駕駛芯片,但并非單一芯片,而是一個(gè)家族系列。啟明935HUBChiplet可以和不同數(shù)量的大熊星座AIChiplet互相搭配,再結(jié)合靈活的封裝方式,快速形成不同性能等級(jí)的SoC芯片。它還支持高帶寬的PBLink多芯互連,雙芯雙向帶寬128GB/s,四芯雙向帶寬64GB/s。啟明935A每顆芯片都支持比較大20路的1080p60攝像頭輸入,可應(yīng)用于各類端側(cè)AI部署。得益于大熊星座NPU天然支持Transformer結(jié)構(gòu),初步支持的模型有Yolo系列、ResNet50、PSPNet、PointNet++、TrafficSign_Retinanet、BevDet、miniCPM、Unet_ResNet50、PointPillars、PillarNest、M2track、BevFusion、PaliGemma、LLaMa-3B、8B等等。上海圖像處理板