基于多模態(tài)數(shù)據(jù)優(yōu)化的康復(fù)場景專用姿態(tài)識別算法研發(fā)
最受歡迎獎(jiǎng)
資助企業(yè):
上海探勢健康科技有限公司
資助年份: 2024
企業(yè)導(dǎo)師: 殷銳清
指導(dǎo)教師: Peter Bradley Shull
項(xiàng)目成員: 譚元碩 鐘李騁 劉國興 何鑫園
項(xiàng)目簡介
項(xiàng)目概述
近年來,職場、學(xué)業(yè)壓力大導(dǎo)致疼痛普遍。在供給端,現(xiàn)存解決方案不足。公立醫(yī)院康復(fù)科、疼痛科發(fā)展不健全,缺口巨大,私立康復(fù)機(jī)構(gòu)療程費(fèi)用高,選擇健身房則面臨不專業(yè)、不安全等問題。越來越多的人將目光聚焦于遠(yuǎn)程居家康復(fù),通過互聯(lián)網(wǎng)和相關(guān)技術(shù),在家中接受醫(yī)療康復(fù)服務(wù)。
目前,已有的一種商業(yè)模式是通過付費(fèi)小程序,結(jié)合預(yù)錄視頻和人體姿態(tài)識別算法對患者進(jìn)行交互式的指導(dǎo)。然而,通用的開源姿態(tài)識別算法在數(shù)字化康復(fù)訓(xùn)練和指導(dǎo)的場景中具有精度較低、魯棒性差、需全身入鏡等問題,亟需解決。本項(xiàng)目致力于收集康復(fù)動(dòng)作專用數(shù)據(jù)集,設(shè)計(jì)并優(yōu)化數(shù)字化康復(fù)場景下的姿態(tài)識別算法。
項(xiàng)目目標(biāo)
現(xiàn)有的通用開源姿態(tài)識別算法在數(shù)字化康復(fù)訓(xùn)練和指導(dǎo)的場景中具有精度較低、魯棒性差、需全身入鏡等問題,亟需解決。為了解決該問題,本項(xiàng)目將于從兩個(gè)方面進(jìn)行努力。
首先,本項(xiàng)目致力于收集康復(fù)動(dòng)作專用數(shù)據(jù)集,填補(bǔ)領(lǐng)域空缺。本項(xiàng)目將構(gòu)建數(shù)據(jù)內(nèi)容豐富、數(shù)據(jù)標(biāo)注精確、具有康復(fù)場景特色的專有人體姿勢數(shù)據(jù)集,為后續(xù)領(lǐng)域內(nèi)相關(guān)算法的研究開發(fā)提供鼎力支持。
其次,本項(xiàng)目將設(shè)計(jì)并優(yōu)化數(shù)字化康復(fù)場景下的姿態(tài)識別算法,利用現(xiàn)存的公開數(shù)據(jù)集與本項(xiàng)目的康復(fù)動(dòng)作專有數(shù)據(jù)集,充分調(diào)研現(xiàn)存人體姿態(tài)識別算法,設(shè)計(jì)并實(shí)現(xiàn)新的姿態(tài)識別算法,致力于優(yōu)化人體姿態(tài)識別算法在康復(fù)場景下的性能表現(xiàn)。
項(xiàng)目成果
本項(xiàng)目收集了首個(gè)聚焦于康復(fù)動(dòng)作的人體姿態(tài)數(shù)據(jù)集:3DHRP(3D Human Rehabilitaion Pose),結(jié)合Vicon動(dòng)作捕捉系統(tǒng)和Visual 3D軟件獲得精確3D人體姿態(tài)真值。數(shù)據(jù)集包含了10名被試、22個(gè)康復(fù)動(dòng)作,具備單目圖像和2D、3D、IMU標(biāo)簽,共計(jì)35萬張圖片。本項(xiàng)目填補(bǔ)了領(lǐng)域內(nèi)人體康復(fù)動(dòng)作數(shù)據(jù)集的空缺,對后續(xù)基于康復(fù)場景下人體姿勢識別算法的開發(fā)研究具有重要的意義。
本項(xiàng)目提出了PETP(Point Embedded Transformer Pose)、 HybridTHP(Hybrid Temporal Human Pose)、 UVPHP(UV Prior Human Pose)、 KPBHP(Keypoints-Based Human Pose)四種算法,結(jié)合了二維熱力圖平面坐標(biāo)預(yù)測、三維空間位置嵌入等方法,與領(lǐng)域內(nèi)的現(xiàn)存方法相比,實(shí)現(xiàn)了更好的姿勢識別效果。





