摘要 目的 以有标记点三维运动捕捉系统(Vicon)为参照标准,比较基于SGGC-Net的动作捕捉系统(SGGC-Net系统)和SIMI系统解析行走步态的信度和效度。方法 招募30名健康大学生,分析其在跑步机行走时的步态特征。应用Vicon系统12台红外摄像头及4台摄像机同步采集运动学数据,获取右侧参与者肩、肘、髋、膝和踝关节三维空间角度。采用组内相关系数(intra-class correlation coefficient,ICC)及其95%置信区间和测量标准误差(standard errors of measurement,SEM)评估信度;采用多重相关系数(multiple correlation coefficients,CMC)和均方根误差(root mean square error,RMSE)评估效度。结果 SGGC-Net系统解析上、下肢三维空间角度最大、最小值的ICC范围为0.798～0.990,SEM范围为0.04°～0.95°;SIMI系统的ICC范围为0.650～0.967,SEM范围为0.31°～1.24°。除髋关节最小角度和膝关节最大角度外,SGGC-Net系统解析所有角度的ICC均高于SIMI系统,且SEM均低于SIMI系统。与Vicon系统得出的上、下肢主要关节角度曲线相比,SGGC-Net系统得出的曲线CMC范围为0.945～0.996,RMSE为1.44°～4.65°;SIMI系统的CMC范围为0.815～0.986,RMSE为2.56°～9.99°。除踝关节外,SGGC-Net系统在所有角度上的CMC均大于SIMI系统,RMSE均小于SIMI系统。结论 SGGC-Net系统在大多数指标中的信度和效度优于SIMI系统,其在解析行走步态时具有较好的可重复性和准确性,可适用于无标记点情境下的动作捕捉,如运动员动作技术分析与特殊人群的临床步态解析。
关键词:
动作捕捉
信度
效度
关节角度
行走步态
动作捕捉已经广泛应用于康复医学和体育科学等领域。在康复医学领域,动作捕捉常被用于异常步态识别和康复评价 [1] ;在体育科学领域,动作捕捉具有改进动作质量、提高运动成绩的效果 [2] 。步行是最常见的人体行走动作,其动作集中于髋、膝、踝关节的运动,以及由下肢带动的上肢肩、肘关节运动 [3] 。
目前常用的动作捕捉系统存在优缺点。以Vicon(Oxford Metrics公司,英国)为代表的红外动作捕捉系统精度高,是业内公认的金标准 [4] 。然而,Vicon对操作者的技术和经验要求较高,仅适用于实验室环境,且需要在参与者身上粘贴标记点,影响运动表现 [5] ;以SIMI(Simi Reality Motion Systems公司,德国)为代表的光学标记系统在体育领域有较广的应用 [6] 。因SIMI的准确性较高,且无标记模式无需粘贴标记点,对运动员的动作无影响,故在体育比赛中获得普遍应用 [7] 。然而,后期数据分析耗时,需人工逐帧补点,工作量大周期长,且无法保证数据的稳定性 [8] 。
基于计算机视觉的无标记动作捕捉系统可以提供高效的实时反馈,这类系统在计算机视觉领域也被称作人体姿态估计。Sun等 [9] 提出了一种人体姿态估计网络HRNet,通过并行连接多分辨率的子网络,融合多尺度特征,学习到可靠的高分辨率特征。Cao等 [10] 提出了OpenPose,使用卷积姿态机 [11] 来预测关键点坐标,通过热图和部分亲和场将关键点与每个人相关联,在部分亲和场可以对位置进行编码,将估计的关键点组成不同的人体姿态。Xiao等 [12] 采用Simple Baselines简化模型,在主干网络的末端加入少数的反卷积层实现上采样功能,来估计关键点的热图。上述人体姿态估计网络结构都较为复杂,参数量较多,致使检测速度过慢,难以贴合实际应用。
基于SGGC-Net的自动图像分析有助于解决上述问题。SGGC-Net是使用深度卷积神经网络实现的一种人体骨骼关键点检测网络(见 图1 ),使用1个具有11万张图像的数据集COCO [13] 对SGGC-Net进行训练。SGGC-Net是在HRNet [9] 框架体系下重新设计的人体骨骼关键点检测网络,该网络框架更新设计了新的轻量级瓶颈模块以及残差模块,在保证精度的前提下降低了网络的参数,提高了对人体骨骼点检测的效率 [13] 。这种深度卷积的训练模式一方面能摆脱场地限制,减少测试前粘贴标记点的准备工作;另一方面能通过自动识别节省人力,提高动作捕捉的效率,做到实时反馈 [14] 。然而,基于SGGC-Net的自动图像分析目前没有获得广泛应用,这可能与信度与效度验证的研究不足有关。
山东体育学院运动生物力学团队与山东师范大学信息与通信工程学院合作,自主研发了一套基于SGGC-Net的动作捕捉系统(SGGC-Net系统)。该系统通过SGGC-Net自动识别并标记录像视频中的人体关键点,具有缩短数据处理时间、降低设备购置成本等潜质。SGGC-Net系统可以在不粘贴标记点或佩戴传感器的情况下实现运动分析,适用于运动员动作技术分析和临床特殊人群的动作捕捉,这也是SGGC-Net系统的主要应用场景。因此,本文以Vicon系统为参照标准,比较SGGC-Net系统和SIMI系统解析跑步机行走过程中上、下肢关节角度的信度和效度。本研究假设:① SGGC-Net系统的信度高于SIMI系统;② SGGC-Net系统具有较好的效度,与Vicon系统所得曲线的相似程度高于SIMI系统。
根据组内相关系数(intraclass correlation coefficient,ICC)进行样本量估算 [15] 。根据文献[16]中ICC结果(ICC为0.80～0.95),设ICC=0.8,实验的I类误差 a 为0.05,统计效能为0.8,计算出所需的最小样本量为25人。本研究由山东体育学院伦理委员会批准,所有参与者均签署知情同意书。
招募30名大学生(18名男性,12名女性),年龄(20.7±1.2) 岁,身高(171.1±8.5) cm,体质量(67.3±8.6) kg。纳入标准为:年龄18～26岁;行走流畅;有在跑步机行走的经历。排除标准包括:近3个月有运动损伤,如踝关节扭伤;有严重损伤史,如韧带或肌肉骨骼损伤、神经紊乱、骨折;有心血管病史。
在实验室中央放置跑步机(T19X, Adidas公司, 德国),12台红外摄像头围绕跑步机等分放置,设定拍摄频率为100 Hz,快门速度为1/1 000 s [17] ;在跑步机的左后方、左前方、右后方、右前方放置4台可见光摄像机(GZ-RY980,JVCKENWOOD公司,日本),每台相机与邻近两个相机主光轴的夹角约为90° [18] ,相机高度1.25 m,距离跑步机约为5 m,为保证所拍摄动作的解析精度,设定拍摄频率为100 Hz。为在保证进光量的同时减少拖影,设置快门时间为1/1 000 s [19] 。红外摄像头采集的数据供Vicon红外动作捕捉系统使用,可见光摄像机采集的数据供SGGC-Net系统和SIMI系统使用(见 图2 )。
参与者身穿统一黑色紧身测试服完成跑步机行走任务,速度为5 km/h,连续测试3次,每次持续30 s。本研究选择跑步机行走而不是地面行走,原因如下:① 受试者动作位置固定,人体不会超出拍摄范围,有利于使用更少的摄像机或摄像头和采集更多的步态;② 有利于精确控制行走速度;③ 参与者与摄像机或摄像头的距离大致是恒定的,画面中人体的大小不会发生变化,增加拍摄精度。
使用12台红外摄像头和4个常规可见光摄像机同步拍摄行走过程。Vicon系统使用参与者身上粘贴的41个标记点(Helen-Hayes模型 [20] )采集运动学数据,SGGC-Net系统和SIMI系统通过手动标记17个关键解剖位置来采集运动学数据(见 图3 )。
分别用SGGC-Net系统和SIMI系统将视频重复解析两次(间隔1周 [21] )以比较其信度;将Vicon系统分别与SGGC-Net系统和SIMI系统的结果进行比较以比较其效度。使用ICC和测量标准误差(standard error of measurement, SEM)来评价信度 [22] 。使用多重相关系数(multiple correlation coefficient,CMC)和均方根误差(root mean square error,RMSE)来评价效度 [23] 。
数据导入Visual 3D(C-Motion公司,美国)进行建模并创建关节中心点。从每帧图像中视觉识别右脚后跟接触地面到右脚后跟第2次接触地面定义为1个步态周期 [24] 。关节角度定义为该关节中心与相邻两个关节中心在三维空间的夹角。选取18个完整的步态周期(3次测试×6个步态周期)进行分析。
式中: m 为曲线的条数, m =2; n 为每条曲线数据的个数; y [
{
"name": "text",
"data": "ij"
}
] 为第 i 条曲线的第 j 个数据; 为 m 条曲线的第 j 个数据的平均值; 为 m 条曲线 n 个数据的总体均值 [25] 。
式中: n 为每条曲线数据的个数; y [
{
"name": "text",
"data": "i"
}
] 代表第 i 个数据的实测值,本研究中为Vicon系统的值; 为第 i 个数据的预测值,本研究中为SGGC-Net系统和SIMI系统的值。
采用SPSS 26.0软件(IBM公司,美国)处理数据,基于平均值( k =3)、绝对一致性、双向混合效应模型 [15] ,计算ICC及其95%置信区间和SEM检验其信度 [15] 。ICC<0.50表示可靠性差,ICC=0.50～0.75可靠性中等,ICC=0.75～0.90可靠性良好,ICC>0.9可靠性优异 [26] 。CMC=0～0.25表明曲线间没有相似性,CMC=0.25～0.50较小相似性,CMC=0.50～0.75中度相似性,CMC>0.75高度相似性 [27] 。
SGGC-Net系统解析上、下肢三维空间角度最大、最小值的ICC范围为0.798～0.990,SEM范围为0.04°～0.95°;SIMI系统的ICC范围为0.650～0.967,SEM范围为0.31°～1.24°。除髋关节最小值和膝关节最大值外,SGGC-Net系统解析所有角度指标的ICC均高于SIMI系统,SEM均小于SIMI系统(见 表1 )。
表1 SGGC-Net系统和SIMI系统测量关节角度最大值和最小值的信度
与Vicon系统得出的曲线相比,SGGC-Net系统得出的曲线CMC范围为0.945～0.996,RMSE为1.44°～4.65°;SIMI系统的CMC范围为0.815～0.986,RMSE为2.56°～9.99°。除踝关节外,SGGC-Net系统在所有角度上的CMC均大于SIMI系统,RMSE均小于SIMI系统(见 图4 )。
图4 步态周期关节角度波形图及其多重相关系数和均方根误差
本研究以Vicon系统为参照标准,比较了SGGC-Net系统和SIMI系统解析跑步机行走步态的信度和效度。研究结果部分支持了本文假设,即SGGC-Net系统大多数指标的信度优于SIMI系统;SGGC-Net系统与Vicon系统的曲线高度相似,误差较小。
大多数指标中,SGGC-Net系统的信度优于SIMI系统,该结果得到前人研究的部分支持。蔡莱斯等 [28] 对Kinect系统的研究结果表明,无标记动作捕捉系统评估上肢运动功能的信度优异。SGGC-Net属于数据驱动的人体姿态估计方法,采用了MS COCO数据集中的5.7万张图像用于训练,其中包含15万个人体实例和2万张图像的测试数据。从学习数据的角度来看,SGGC-Net系统从海量数据中学习到的关节点定位相关经验比手动标注数据的人员相比要丰富,因此,SGGC-Net给出的关节点定位的信度更好;而SIMI系统的手动标记受操作者主观因素的影响。
SGGC-Net系统在髋关节角度最小值和膝关节角度最大值的信度差于SIMI系统,但仍属于信度良好(ICC=0.798～0.804)。Needham等 [29] 研究发现,将姿态估计算法应用于二维图像数据,重建三维关节中心位置时,姿态估计导出的关节中心在髋、膝关节处显示出系统性差异。髋关节角度最小值ICC低可能与SGGC-Net对髋关节定位的偏差有关,其对关节点的识别和定位主要依赖训练数据的精度,而髋关节没有明显的关节中心 [27] 。因此,在训练数据的标注中,不同人对髋关节的定位会存在个体的认知偏差。膝关节角度最大值ICC较低的原因可能是人体双腿的交叉运动会干扰膝关节的识别,识别不正确、定位不准确,最终导致检测到的关节点与真实的关节点不匹配。此外,这种双腿的交叉运动相对于相机帧率而言频率过高,容易导致采集质量低,使系统产生识别错误 [30] 。
SEM结果表明,SGGC-Net系统重复性比SIMI系统更高。人工手动标记过程中部分关键点位置易被遮挡,需要操作人员根据经验进行识别。此外,手动标记受操作者主观因素的影响,其标记质量取决于解剖专业知识的掌握程度 [31] 。与普通人手动标注相比,SGGC-Net使用足够多的数据进行训练,它学到的标注关键点的经验更丰富。此外,与手动标注相比,SGGC-Net性能稳定,对于相同的数据,SGGC-Net多次处理的结果相似。在自动跟踪过程中,即使出现个别标记点丢失,操作人员也要进行手动校正,这一过程也有助于提高自动跟踪的可靠性 [31] 。
在跑步机行走过程中,SGGC-Net系统、Vicon系统和SIMI系统的步态周期关节角度波形图总体趋势一致,CMC数值均为高,只是曲线有一定的偏移。本文推测,主要原因是3个系统所识别关节中心点的方式不同。Vicon系统是根据粘贴在体表的标记点计算关节中心点位置 [27] ,SIMI系统是操作人员通过视觉识别进行手动标记关节中心 [32] ,而SGGC-Net系统则是通过SGGC-Net神经网络自动检测标记并跟踪关节中心。
SGGC-Net系统解析大多数指标的效度比SIMI系统更好。杨雨馨等 [33] 研究发现,基于OpenPose算法的计算机视觉运动捕捉系统得到的上、下肢关节角度与Qualisys系统分析得到的关节角度之间具有显著的高度相关性,即相关系数均大于0.80,与本文研究结果一致。SIMI系统的效度差于SGGC-Net系统的主要原因可能是手工解析时关节遮挡较多,而SGGC-Net基于海量训练数据,即使在有遮挡的情况下,也能对被遮挡的部分做出相对准确的估计。SGGC-Net系统的肘关节误差较大,可能与SGGC-Net网络中的损失函数有关。该网络使用的热图预测损失函数虽然可以提高检测精度,但少部分关键点相对于标注的训练数据还是会出现偏移且很难避免。此外,SGGC-Net系统的误差均小于5°,在步态分析中被认为是合理的 [34] 。
SGGC-Net系统解析踝关节角度指标的效度比SIMI系统更差。虽然差于SIMI系统,但仍与Vicon系统的曲线高度相似。刘东威等 [35] 研究表明,Kinect系统进行下肢功能运动评估时所获得的踝关节角度与传统有标记运动捕捉系统呈现出很好的一致性,与本文结果相似。SGGC-Net系统踝关节的效度低于SIMI系统的原因可能与SGGC-Net脚部关键点识别的准确率有关。针对SGGC-Net的MS COCO数据集没有进行足尖标注的问题,本课题组后期对2万张图像进行了足尖的标注。然而,由于足尖的标注数据量较小,导致训练样本不均衡。因此,在进行自动跟踪过程中,偶尔出现足尖未被识别的现象,该结果与李翰君等 [27] 下肢运动影像解析研究中足尖存在的问题一致;另外,足尖的识别可能还受鞋颜色的影响。
本研究局限性如下:① 本文探究了跑步机行走时不同系统的信效度差异,但由于跑步机行走和真实地面行走步态存在差异,如跑步机行走时髋屈曲峰值增加导致髋关节活动范围较大于地面行走 [36] 、跑步机行走时膝伸展角度较小及摆动时间较短导致踝关节最大背屈角度小于地面行走 [37] 、跑步机行走时膝关节对踝关节的代偿导致膝屈曲角度大于地面行走 [38] 等。因此,本研究结果并不能表明SGGC-Net系统在分析地面行走或其他场景动作时具有与上述一致的信效度;② 本文只探究了两种系统的评分者内部信度,评分者间的信度有待进一步研究。
SGGC-Net系统在大多数指标中的信度和效度优于SIMI系统,其在解析行走步态时具有较好的可重复性和准确性。
作者贡献声明： 朱琳负责研究设计、数据处理与分析及论文撰写;董鹏程、沈培鑫、陈浩协助研究实施、数据采集及数据处理;孙建德、宋祺鹏负责论文指导及修改。
,
宋祺鹏 1 
(1)
(2)
(3)
微信
QQ空间
微博
QQ
