首先攝像機(jī)采用的是可見光高清攝像機(jī),具備1920*1080的分辨率,系統(tǒng)視場31.11°×17.8°,其中搜索視場15.8°×15.8°(1080P像素)。而圖像處理則采用慧視開發(fā)的RV1126高性能圖像處理板,之所以采用這塊板卡,一方面得益于其低功耗、微型外觀的設(shè)計(jì),非常契合“智慧眼”這樣對于空間要求嚴(yán)格的應(yīng)用場景;另一方面RV1126具備2.0TOPS的算力,在國產(chǎn)化方面也十分完整,安全性十足。兩者結(jié)合,就能夠形成重量不超過100g的“智慧眼”。在算法的作用下,能夠達(dá)到≥50Hz的跟蹤幀率,≥25Hz的檢測幀率,實(shí)現(xiàn)捕獲4m*4m目標(biāo)超過800m、6m*6m目標(biāo)超過1000m。這就是“機(jī)器狼”的智慧化措施,通過一個(gè)“小小的”“智慧眼”的加入,便能夠讓其實(shí)現(xiàn)許多自動化任務(wù)。隨著技術(shù)的不斷發(fā)展,“機(jī)器狼”的形態(tài)將會不斷進(jìn)步,滿足更多多樣化需求。如何選擇合適的無人機(jī)吊艙圖像處理板?專業(yè)圖像處理板工程
在無人機(jī)攝像頭的基礎(chǔ)上加裝慧視光電開發(fā)的Viztra-LE026圖像處理板,這是一塊輕型化、低功耗的圖像處理板,用在無人機(jī)上面既不會過多占用空間,也不會過多消耗續(xù)航,通過目標(biāo)識別算法的賦能,就可以針對像東北虎這樣的動物AI自動識別,一旦識別到老虎的特征物體,無人機(jī)就能夠立即鎖定并抵近觀察,為消防和公安提供精確坐標(biāo)。Viztra-LE026圖像處理板采用的是瑞芯微RV1126芯片,能夠輸出2.0TOPS的算力。而在算法方面,成都慧視能夠提供一站式AI算法訓(xùn)練平臺SpeedDP,通過對大量動物的標(biāo)注數(shù)據(jù)集的模型訓(xùn)練,能夠?qū)崿F(xiàn)對新數(shù)據(jù)集的快速AI自動標(biāo)注,然后提升識別算法的性能。哪里有圖像處理板常見問題慧視Viztra-ME025圖像處理板。
這種智慧化的建設(shè)就是采用圖像處理。在無人機(jī)內(nèi)部安裝圖像處理板,這些圖像處理板和相機(jī)、算法的有機(jī)結(jié)合就形成了無人機(jī)的智慧眼,有了這個(gè)智慧眼,無人機(jī)就能夠?qū)σ曇胺秶鷥?nèi)的物體進(jìn)行AI識別,從而自動完成避障、巡檢等操作。成都慧視開發(fā)的小型化圖像處理板Viztra-LE026就是專門為無人機(jī)設(shè)計(jì)的一款“智慧眼”處理器。這塊板卡采用了RV1126開發(fā)而成,具備2.0TOPS的算力,外形呈圓形化設(shè)計(jì),整體外觀大小為Ф38mm*12mm,重量只有12g,功耗不高于4W,用在無人機(jī)領(lǐng)域具有功耗低、尺寸小的優(yōu)勢,不會過多占用和消耗無人機(jī)的內(nèi)部空間和續(xù)航。
“啟明935A”系列芯片已經(jīng)成功點(diǎn)亮,并完成各項(xiàng)功能性測試,達(dá)到車規(guī)級量產(chǎn)標(biāo)準(zhǔn)。啟明935A是行業(yè)首顆基于Chiplet(芯粒/小芯片)異構(gòu)集成范式的自動駕駛芯片,但并非單一芯片,而是一個(gè)家族系列。啟明935HUBChiplet可以和不同數(shù)量的大熊星座AIChiplet互相搭配,再結(jié)合靈活的封裝方式,快速形成不同性能等級的SoC芯片。它還支持高帶寬的PBLink多芯互連,雙芯雙向帶寬128GB/s,四芯雙向帶寬64GB/s。啟明935A每顆芯片都支持比較大20路的1080p60攝像頭輸入,可應(yīng)用于各類端側(cè)AI部署。得益于大熊星座NPU天然支持Transformer結(jié)構(gòu),初步支持的模型有Yolo系列、ResNet50、PSPNet、PointNet++、TrafficSign_Retinanet、BevDet、miniCPM、Unet_ResNet50、PointPillars、PillarNest、M2track、BevFusion、PaliGemma、LLaMa-3B、8B等等。哪些圖像處理板適用于無人機(jī)吊艙。
長時(shí)間一直進(jìn)行這樣的圖像標(biāo)注工作,那無疑是枯燥而乏味的,手酸不說,更多的是精神上的折磨,進(jìn)而效率大打折扣。但這又是算法提升的必要途徑,無法跳過,當(dāng)項(xiàng)目緊急時(shí),甚至需要多人加班加點(diǎn)趕進(jìn)度。這樣的痛苦現(xiàn)狀急需改變!慧視光電的算法工程師為了提高這一的效率,開發(fā)了一個(gè)深度學(xué)習(xí)算法開發(fā)平臺SpeedDP。它的基本邏輯是基于一個(gè)手動標(biāo)注一定量的數(shù)據(jù)集進(jìn)行訓(xùn)練,形成一個(gè)可用的預(yù)選模型(如果已有模型可以直接使用),然后訓(xùn)練一定階段后,可以評估此模型的能力,如果能夠滿足使用就可以對相同目標(biāo)的新數(shù)據(jù)集(未進(jìn)行任何標(biāo)注)進(jìn)行AI自動化標(biāo)注。這一過程的省去了大量需要對新數(shù)據(jù)集的手動拉框工作,同時(shí)也在不斷反哺此模型算法,幫助提升性能?;垡暪怆娔軌蚨ㄖ芐DI接口的RK3588圖像處理板。北京放心圖像處理板
慧視光電能夠定制CVBS接口的RK3588圖像處理板。專業(yè)圖像處理板工程
但這也遇到很多難點(diǎn),通常情況下,視頻回傳的延遲大概在200ms左右,隨著大量的彈打出,視頻傳輸所需帶寬就面臨壓力,如何在通信帶寬有限的情況下,保證視頻順暢、清晰、無卡頓地傳輸,是分析改進(jìn)這個(gè)工作需要解決的前期難點(diǎn)。針對于這個(gè)問題,慧視光電利用GS弱網(wǎng)高清音視頻傳輸系統(tǒng)和RK3588打造的Viztra-HE030圖像處理板結(jié)合,推出了低延遲低帶寬圖傳解決方案。在一個(gè)窄帶收發(fā)信道內(nèi),例如在信道有效帶寬0.5Mb/s~2Mb/s內(nèi),多路視頻和交互控制共用一對收發(fā)信道,信道支持?jǐn)?shù)據(jù)透傳,外部系統(tǒng)可以使用該信道,傳輸任意格式的數(shù)據(jù);可實(shí)時(shí)調(diào)整視頻碼率,在低至500K帶寬情況下依然可以回傳清晰流暢的圖像??梢允乖O(shè)備飛的更遠(yuǎn)、走的更遠(yuǎn);可實(shí)現(xiàn)視頻中繼轉(zhuǎn)發(fā);能夠基于H265實(shí)時(shí)視頻編碼;可實(shí)現(xiàn)基于視頻流的“人在回路低延遲控制”?;谄胀?0幀相機(jī),實(shí)現(xiàn)15ms的低延遲編解碼,加上數(shù)據(jù)鏈傳輸延遲時(shí)間在30ms左右,目前業(yè)界前列。通用性強(qiáng),使用更加靈活,適用更多應(yīng)用場景;支持多路SDI視頻在低至500K帶寬情況下的同時(shí)傳輸(1080P60FPS),徹底解決“帶寬苦惱”;整體時(shí)延約60ms(含相機(jī)、編解碼、顯示,不含傳輸),實(shí)現(xiàn)實(shí)時(shí)控制、實(shí)時(shí)打擊。專業(yè)圖像處理板工程