+高级检索
Document
基于深度学习融合算法的无标记点步态分析系统
滕君敏 1,2 , 马晔 1,3 , 刘东威 4 , 赵晓光 1 , 李建设 1

《医用生物力学》 2022年 38卷 第4期 024
中图分类号：R 318.01
全文 图表 参考文献 作者 出版信息
目录
摘要
关键词
1 系统构建
1.1 逆运动学计算角度
1.2 深度学习算法
1.3 线性回归算法
2 实验验证无标记点步态分析系统
2.1 实验对象
2.2 实验方法
2.3 实验数据分析
3 实验结果
4 讨论
5 结论

摘要

目的 以有标记点三维运动捕捉系统(MoCap)为金标准,基于双向长短时记忆(bi-lateral long short term memory,BiLSTM)递归神经网络和线性回归算法构建深度学习融合模型,减小深度传感器的系统误差,从而提高深度传感器下肢运动学分析的准确性。方法 招募10名健康男性大学生进行步态分析,应用MoCap系统和Kinect V2传感器同时采集数据。通过Cleveland Clinic及Kinect逆运动学模型分别计算下肢关节角度。以MoCap系统为目标,Kinect系统得到的角度为输入构建数据集,分别用BiLSTM算法和线性回归算法构建学习模型,得到系统误差修正后的下肢关节角度。使用留一交叉验证法评估模型的性能。采用多重相关系数(coefficient of multiple correlations,CMC)及均方根误差(root mean square error,RMSE)表示下肢关节角度波形曲线相似程度以及平均误差。结果 BiLSTM网络比线性回归算法更能够处理高度非线性的回归问题,尤其是在髋关节内收/外展、髋关节内旋/外旋和踝关节趾屈/背屈角度上。应用BiLSTM网络的误差修正算法显著降低Kinect的系统误差(RMSE<10°,其中髋关节RMSE<5°),下肢角度波形呈现很好的一致性(除髋关节内旋/外旋角度外,CMC>0.7)。结论 本文开发的基于深度学习融合模型的无标记点步态分析系统可以准确评估下肢运动学参数、关节活动能力、步行功能等,在临床和家庭康复中具有广泛的应用前景。

关键词: 深度学习 无标记点步态分析 下肢运动学 效度

步态分析有助于运动功能评定、骨关节假体与义肢设计、截瘫患者行走功能康复及老年人跌倒预防等 。现有的步态分析方法主要包括定性和定量分析两种 。定性分析主要依靠评估人员的主观判断,信度较低。定量分析应用最广的为基于红外高速摄像机三维运动捕捉(motion capture MoCap)系统。MoCap系统具有很高的精度和可靠性,在运动人体科学、运动训练、康复评估等领域应用广泛 。但该系统价格昂贵,需要专门的实验场地和技术人员,应用场景有限 。
与MoCap系统相比,微软公司开发的Kinect系统轻便易携带、成本低 。结合Kinect SDK的深度图像技术及骨骼跟踪算法,Kinect系统能够实时建构人体骨骼模型并且跟踪捕捉关节运动轨迹,在运动捕捉领域具有很大的应用前景 。
Kinect系统在临床康复、预防老年人跌倒等领域的研究应用已经开展 [9-10] 。使用Kinect能够可靠评估中风患者及帕金森病人的步态时空参数和动态平衡能力 [11-12] 。Kinect在采集上肢功能性运动、单腿闭眼站立平衡能力评估中有很好的可靠性和有效性 [13-15] 。目前有关Kinect系统下肢功能性运动的研究,例如蹲起、垂直跳跃等,表明其信度和效度结果不同。Schmitz等 研究发现,在下蹲过程中膝、髖关节峰值角度的可靠性大于0.9;而Mentiplay等 研究认为,该可靠性大于0.7。
在步态分析方面,Kinect系统评估步态时空参数精确较高,下肢关节的运动学参数信度较高 [18-19] 。临床上被广泛接受的步态分析角度误差是在2°以内,超过5°很可能会直接误导临床报告 。与金标准相比,Kinect评估髋、膝关节屈伸角度误差分别约为10°、15°,而踝关节角度误差超过20°,很难用来评估临床步态中的下肢运动学表现 [21-24] 。
本文开发了一套深度学习融合模型,该模型能够显著提高Kinect深度传感器评估下肢运动学参数的准确性。以有标记点三维运动捕捉系统为金标准,融合双向长短时记忆(bi-lateral long short term memory,BiLSTM)递归神经网络及线性回归算法修正无标记点步态分析系统的系统误差,从而提高下肢运动学参数的评估精度。结果表明,通过该深度学习融合模型,应用Kinect传感器评估的所有下肢关节角度误差明显降低。其中,髋关节内旋/外旋角度减小幅度最大,关节角度均值误差从原来的20°以上降低到3°以下。髋关节3个自由度的角度误差都达到临床实践的可接受范围,即均方根误差(root mean square error,RMSE)范围为2°～5°。总体来说,本文开发的基于深度学习融合模型的无标记点步态分析系统在临床和家庭康复中具有很大的应用前景,以帮助低年龄层、中风患者、帕金森患者等群体检验髋关节的活动模式。

1 系统构建

本研究的模型构建分为训练阶段和应用阶段。通过建立克利夫兰运动学模型( Γ )以及Kinect V2系统的运动学模型( Φ ),分别计算MoCap和Kinect V2系统的下肢关节运动学数据 K Γ 和 K Φ 。在模型训练阶段,将数据分为训练集和测试集。训练集中的 K Γ 作为目标数据, K Φ 作为输入数据,分别训练BiLSTM递归神经网络模型(N)和线性回归模型(L)。训练集的数据用于检验神经网络及线性回归模型的性能。待训练阶段结束后,得到BiLSTM递归神经网络模型N和线性回归模型L。对于每个下肢角度,分别比较模型N和L误差补偿后的下肢关节角度 和 的误差,选出合适的模型最终形成适配每一个关节角度的融合模型。在应用阶段,将Kinect系统采集的数据,经过逆运动学模型 Φ 计算关节角度后,再分别应用BiLSTM递归网络模型和线性回归融合模型修正Kinect V2系统误差,最终输出Kinect V2系统经过算法校准后的下肢运动学数据 详细流程如 图1 所示。
图1 基于深度学习和线性回归模型的无标记点步态分析系统流程图

1.1 逆运动学计算角度

MoCap系统和Kinect V2系统下肢运动学模型的具体构建流程如 图2 所示。逆运动学模型的建立方法一般包括以下4个步骤:建立全局协调系统,建立局部环节协调系统,建立环节转移矩阵,以及计算下肢关节角度 。MoCap系统记录受试者执行下肢行走任务时的标记点的三维空间坐标。Kinect系统捕捉下肢关节的深度信息和RGB图像信息,得到关节的三维空间坐标。
图2 MoCap系统和Kinect V2系统逆运动学算法流程图
本文三维运动分析测试采取Cleveland Clinic全身模型 。Kinect V2系统的骨骼运动学模型包括25个关节标记点(见 图3 )。三维运动分析系统和Kinect V2系统记录的三维空间坐标,首先通过四阶巴特沃思低通滤波器滤波,截止频率为6 Hz。Cleveland Clinic全身模型骨盆、大腿、小腿和足部环节坐标系的定义采用国际生物力学协会(International Society of Biomechanics,ISB)的建议 。髋关节角度定义为大腿坐标系相对于骨盆坐标系的欧拉角。膝关节角度为小腿坐标系相对于大腿坐标系的欧拉角。踝关节的角度定义为足部坐标系相对于小腿坐标系的欧拉角。环节坐标系均按照屈曲/伸展,内收/外展和内旋/外旋的顺序旋转 。
图3 Kinect系统骨骼模型节点
Kinect V2系统的骨盆和大腿坐标系定义符合ISB建议 。骨盆坐标系由脊椎底部和脊椎中部以及左/右髋关节中心定义。大腿坐标系通过髋、膝关节中心及脚踝建立。骨盆及大腿的环节坐标系详细信息如 表1 所示。髋关节角度的定义方法与Cleveland Clinic全身模型中髋关节角度的定义方法相同。膝关节屈伸角度为从右侧髋关节中心指向膝关节中心的向量与从右膝关节指向脚踝的向量之间的角度的补充角。踝关节角度是从踝关节右到膝的矢量与从踝关节右到足部的矢量之间的夹角减去 90°。
表1 Kinect 运动学模型的骨盆及大腿的环节坐标系定义

1.2 深度学习算法

本文应用BiLSTM递归神经网络(recurrent neural network,RNN)来修正无标记点系统的系统误差 。应用Python和tensorflow 2.0搭建和训练BiLSTM模型(见 图4 )。选取只应用到隐藏层的ReLu函数, f ( x )=max(0, x )。采用4层BiLSTM网络,每层100个神经元。模型的输入为101时间步( t =101),输入的每个单元为五维向量。初始学习率设为0.001,每迭代20次减小学习率。采用Adam算法为原始梯度做指数加权平均,再经过归一化,更新梯度值 。为防止产生过拟合,设置正则化的dropout 0.3。
图4 双向长短时记忆递归神经网络示意图(BiLSTM)

1.3 线性回归算法

本文采用一元线性回归方法 ,通过样本观测值 对 β 0 、 β 1 做出估计,得到变量 关于 K Φ,L 的经验回归方程。其中, K Φ,L 为Kinect V2逆运动学模型 Φ 计算的下肢关节角度, 为线性回归处理后的输出数据。 β 0 、 β 1 为未知系数,HFE为运动学模型 Φ 中髋关节的屈曲/伸展角度,HAA为髋关节的内收/外展角度,HIR为髋关节内旋/外展角度,KFE为膝关节屈曲/伸展角度,ADP为踝关节背屈/跖屈角度。本文用第1位实验者的数据,展示5个关节角度的回归方程:
(1)
(2)
(3)
(4)
(5)

2 实验验证无标记点步态分析系统

2.1 实验对象

实验对象为10名宁波大学男性大学生,年龄(25.1±1.8) 岁,身高(175.9±3.1) cm,体重(66.3±5.9) kg。受试者身体健康且经常参加体育锻炼,均无骨科或神经系统疾病。所有受试者在实验前均签署机构审查委员会批准的知情同意书。

2.2 实验方法

使用8台Vicon三维红外运动分析系统(Oxford Metrics公司,英国)及1台Kinect V2,采样频率分别为100、30 Hz。Kinect V2被放置在受试者正前方5 m,高1.6 m的三脚架上 。所有受试者仅穿1条无反光点的紧身短裤赤脚行走。
Vicon系统校准后,在受试者的骨性标记点粘贴反光球 。受试者熟悉实验环境后,采集静态数据,再移除膝关节和踝关节的反光点进行动态采集。受试者以日常行走速度正面走向Kinect V2传感器,每位受试者需要成功采集15次下肢运动学数据。

2.3 实验数据分析

采用留一交叉验证法来检验深度学习模型和线性回归模型的准确性。将数据集划分为10组,从10组数据中取出1组数据作为测试集,将其余的9组数据作为训练集。以此类推,同样的操作一共重复进行10次,10次结果的平均值就是预测误差的估计值 。
首先,将每个步态周期右侧下肢的关节角度标准化为101个时刻。将1个完整的步态周期表示为0%～100%。为了评估两种设备在步态周期内关节角度的相似性和差异,计算由MoCap系统和Kinect系统得到的1个步态周期的角度波形间的多重相关系数(coefficient of multiple correlations,CMC)以及RMSE。CMC评价标准具体可分为极好(CMC=0.95～1)、非常好(CMC=0.85～0.94)、良好(CMC=0.75～0.84)、中等(CMC=0.60～0.74)和差(CMC=0～0.59) 。

3 实验结果

图5 所示为1个步态周期内下肢髋、膝、踝关节角度波形。 表2 比较了1个步态周期内Kinect V2系统和MoCap系统下肢髋、膝、踝关节角度RMSE和CMC的平均值(标准差)。
表2 1个步态周期内Kinect V2和MoCap系统下肢关节角度均方根误差和多重相关系数平均值(标准差)
图5 1个步态周期内Kinect V2系统和MoCap系统下肢关节波形图
结果表明,线性回归和BiLSTM网络校准后的Kinect V2系统能够提高髋、膝、踝关节角度与MoCap系统的波形一致性。除髋关节的内旋/外旋角度(CMC<0.6)外,经过线性回归和BiLSTM算法校准的下肢关节角度的相似性(CMC≥0.70)均有提高。经线性回归方法校准后的步态波形,Kinect V2系统的膝关节(CMC=0.80)和髋关节(CMC=0.94)角度与MoCap系统高度相似。经线性回归算法校准后的髋关节内收/外展、髋关节内旋/外旋和踝关节趾屈/背屈角度与金标准相比一致性较差(CMC=0.41～0.50)。而BiLSTM算法在髋关节屈伸和膝关节屈伸角度上与线性回归网络一致,均与金标准具有极好(CMC=0.93)和良好(CMC=0.81)的一致性。在其他下肢关节角度上,BiLSTM算法均显著优于线性回归算法(CMC=0.58～0.71)。
未使用本研究算法的Kinect系统下肢关节角度的捕捉精度较低。在所有下肢关节角度运动中,髋关节内旋/外旋角度和踝关节背屈/跖屈角度的RMSE都偏差20°以上。经过线性回归和BiLSTM算法校准处理后,下肢关节角度的RMSE都有所减小,使误差维持在10°以内。尤其是髋关节下肢三维运动角度,包括屈/伸、内收/外展以及内旋/外旋,经线性回归及BiLSTM神经网络校准后的角度与金标准相比,RMSE维持在5°以内。
BiLSTM网络比线性回归算法更能够处理高度非线性的问题,尤其是在髋关节内收/外展、髋关节内旋/外旋和踝关节趾屈/背屈角度上。应用BiLSTM网络的误差修正算法,Kinect系统得到的步态中下肢髋、膝、踝运动角度与MoCap系统相比呈现很好的一致性,显著地降低了系统误差(其中髋关节的RMSE在5°以内)。而线性回归算法仅在髋关节屈伸和膝关节屈伸角度上,与BiLSTM网络的性能一致。因此,本研究的深度学习融合算法有以下两种选择:① 选择BiLSTM递归神经网络修正Kinect系统在下肢关节角度计算中的系统误差;② 在髋关节屈伸角度选择线性回归算法,在其他角度选择BiLSTM递归神经网络。

4 讨论

本文开发了一套基于深度学习融合算法的无标记点步态分析系统。与MoCap系统相比,该系统能够显著提高下肢关节角度的准确性。其中,髋关节三维角度的RMSE在2°～5°范围,髋关节内旋/外旋角度均值误差从原来的20°以上降低到3°以下。
Pfister等 研究发现,应用Kinect深度传感器评估下肢运动学参数时准确性较差。常速及快速行走时,下肢髋关节、膝关节屈伸及内外翻、踝关节趾屈/背屈角度与MoCap相比相关性较差( r <0.50),膝关节屈伸角度的绝对误差为10°～20° 。本系统将髋、膝关节的屈伸角度与标准之间的相关性提高到0.80～0.96,踝关节的相关系统提高到0.50～0.78,并且误差控制在10°以内。
先前研究中关于Kinect系统验证踝关节的结果 [11,21] 与本文结果一致。与其他骨骼地标相比,足部地标在三轴上的跟踪精度最差。本文推测原因是足部与其他肢体部位不同,位于身体的前后方向并且位置最低,伴随着地面的光反射,这可能会导致跟踪误差。本研究的BiLSTM递归神经网络校准可能是一种改善踝关节运动学精度误差的方法。如果将Kinect V2用于临床诊断或家庭环境中,则需要进一步研究提高足部的跟踪精度。
Kinect V2系统评估髋、膝关节矢状面关节角度时准确性较高。与有标记点MoCap系统相比,关节角度轨迹表现出较高的一致性,且均方根偏差度数小。这与文献中的研究结论相符,表明Kinect V2具备基本的动作捕捉能力,尤其是髋、膝关节的矢状面角度 。研究表明,步态参数在不同人群内差异较大 。因此,本文建议,在应用阶段进行大规模的步态实验,进一步验证及优化其效度和信度,系统优化时也需要覆盖更多的步态异常人群。

5 结论

本文开发的基于深度学习融合算法的无标记点步态分析系统具备较好的下肢运动学分析能力,尤其是对髋关节角度的评估。随着未来对设备的继续开发改进,该系统有可能为家庭、社区及偏远地区医院等应用场所提供可靠准确且便携的下肢步态评估及辅助康复治疗等服务。
关闭