本項(xiàng)目基于RoboMaster機(jī)甲大師機(jī)器人框架研究視控瞄準(zhǔn)型無(wú)人作戰(zhàn)機(jī)器人的設(shè)計(jì)。視控瞄準(zhǔn)型機(jī)器人分為兩部分，一是視控選擇人機(jī)交互端，二是跟蹤瞄準(zhǔn)機(jī)器人。在人機(jī)交互端，通過(guò)相應(yīng)算法檢測(cè)人眼注視位置，以此選擇需要跟蹤瞄準(zhǔn)的識(shí)別對(duì)象。為了優(yōu)化人機(jī)交互效果，本項(xiàng)目將主動(dòng)減震和算法消抖結(jié)合來(lái)獲得更為穩(wěn)定的輸出圖像。對(duì)于跟蹤瞄準(zhǔn)機(jī)器人，本項(xiàng)目主要研究基于視覺(jué)SLAM的目標(biāo)重建和景深估計(jì)方法，以及具有高動(dòng)態(tài)性能的視覺(jué)伺服跟蹤瞄準(zhǔn)控制方法。

1. 防抖成像軟硬件協(xié)同方法

a. 基于被動(dòng)阻尼隔振的重要部件減振方法

b. 基于戰(zhàn)車物理振動(dòng)特性的軟硬件聯(lián)合防抖方法

2. 高動(dòng)態(tài)視覺(jué)伺服跟蹤瞄準(zhǔn)控制方法

a. 高動(dòng)態(tài)性能云臺(tái)控制方法

b. 并發(fā)多任務(wù)強(qiáng)實(shí)時(shí)調(diào)度規(guī)劃方法

3. 基于視覺(jué)SLAM的目標(biāo)重建和景深估計(jì)方法

a. RGBD圖像信息與三維點(diǎn)云配準(zhǔn)，實(shí)現(xiàn)對(duì)特定目標(biāo)的重建

b. 動(dòng)靜態(tài)目標(biāo)的識(shí)別和深度估計(jì)

c. 實(shí)現(xiàn)長(zhǎng)距離目標(biāo)重建

4. 基于眼動(dòng)交互的目標(biāo)實(shí)時(shí)識(shí)別追蹤軟硬件設(shè)計(jì)

a. 對(duì)敵方戰(zhàn)車或英雄的高精度動(dòng)態(tài)識(shí)別跟蹤

b. 基于AR眼鏡的眼動(dòng)觀瞄頭盔，實(shí)現(xiàn)高效、強(qiáng)實(shí)時(shí)的人機(jī)交互

本項(xiàng)目完成了既定任務(wù)指標(biāo)。在硬件與減振設(shè)計(jì)方面，完成了野外機(jī)器人機(jī)械結(jié)構(gòu)建模，設(shè)計(jì)了相機(jī)云臺(tái)半主動(dòng)減振臺(tái)機(jī)械結(jié)構(gòu)，仿真驗(yàn)證了相機(jī)云臺(tái)半主動(dòng)減振可行性。在環(huán)境感知方面，結(jié)合多傳感器融合信息，采用基于ORB特征點(diǎn)的SLAM方法完成了環(huán)境地圖的實(shí)時(shí)構(gòu)建并進(jìn)行目標(biāo)深度估計(jì)。在眼動(dòng)人機(jī)交互方面，完成交互系統(tǒng)相關(guān)硬件選型，設(shè)計(jì)了多模型融合目標(biāo)識(shí)別方案，建立了邊緣計(jì)算平臺(tái)。在自動(dòng)跟蹤瞄準(zhǔn)控制方面，設(shè)計(jì)了分布式并發(fā)多任務(wù)的強(qiáng)實(shí)時(shí)調(diào)度規(guī)劃方案，完成了整體框架的制定。根據(jù)項(xiàng)目成果撰寫(xiě)了《動(dòng)態(tài)場(chǎng)景下基于多傳感器融合的巷戰(zhàn)機(jī)器人景深估計(jì)方法》、《野外機(jī)器人相機(jī)云臺(tái)半主動(dòng)減振消抖裝置》專利2篇。