一、基于SOFM/HMM模型的非特定人手语识别系统（论文文献综述）
谢梦依[1]（2020）在《基于深度学习的非特定人手语识别》文中进行了进一步梳理手语识别是计算机视觉领域的一个重要的研究方向,是融合了图像处理、模式识别及机器翻译等多学科的研究课题。手语识别的社会现实意义使得越来越多的研究者致力于开发出有效的手语识别系统,帮助听力障碍人群更好的融入社会,享受社会公共资源,体验科技化给人们生活带来的诸多便利。目前手语识别研究者借助传统机器学习方法进行课题的相关研究,在小规模的手语数据库中取得了不错的学术研究效果,但是实际应用对手语识别系统的效率和识别词汇规模的要求更高,使得传统机器学习模型的弊端显露。随着深度学习的强势兴起,神经网络的结构型建模方式给各个研究领域带来了跨越式的进展,也为手语识别提供了新的研究思路。因此,本文设计了基于深度学习网络的手语识别算法模型,主要研究内容如下:首先,阐述了手语识别的研究意义及现状,对目前手语识别的一些研究成果及研究进展进行了总结分析。并总结了手语识别研究目前仍没有解决的问题,探究更加适合手语识别研究任务的模型。然后,详细介绍了基于传统机器学习算法的手语识别研究,总结了主流手语识别策略涉及的特征算法和分类器的原理及优点。结合手语识别应用实例分析了主流方法的不足及存在的问题,深入分析存在局限性的内在原因。进而,针对静态手语手势词识别任务的特征设计问题,本文搭建了基于深度残差神经网络结合数据增强技术的端到端的手语识别系统,并对比了基于SIFT-SVM的传统机器学习策略和浅层卷积神经网络模型,在ASL数据集上进行了识别性能的对比,验证了本文方法的强鲁棒性和高准确性。最后,针对基于视频的手语孤立词的识别研究中的序列建模问题,提出一种引入联结主义时序分类器的基于长短时记忆网络的手语识别模型。该模型通过卷积神经网络作为特征提取器,保留中层特征作为手语视频样本的特征,搭建基于BiLSTM-CTC的分类器模型对手语孤立词进行分类识别。并通过实验,证明该方法的有效性。
王壬珏[2]（2019）在《基于深度信息的手语词识别研究》文中提出手语词识别是对动态视频进行处理并将其转化为文本信息的应用研究。传统的手语词识别算法,常利用RGB摄像头采集手语词信息,随着工业技术的发展,深度信息获取更加容易,并且不易受环境光线影响,因此本文利用体感设备kinect采集到的深度信息进行手语词识别。2015年陈锡霖团队提出的SO-SMP（Sparse Observation Stable Marriage Problem）算法利用深度信息,在chalearn手语识别比赛数据集的成绩超越了2013年的冠军,但在匹配过程中K均值的选择上只考虑轮廓系数的问题,并且在非特定人数据集上识别精度不高,本文在SO-SMP算法的基础上进行改进,提高了手势识别精度。主要工作包括:（1）建立了包含有40类中国常用手语词的静态手语词数据库,并利用高斯肤色模型对其进行手部姿态分割得到分割部分的HOG（Histogram of Oriented Gardient）特征,最后用KNN（K-Nearest Neighbor）分类器对其分类,在训练数据充足的情况得到百分百的识别率。（2）提出一种改进SO-SMP算法,首先对数据进行精细化处理,分别用中值、双边、联合双边的滤波方法对其深度数据黑洞区域进行填充,并对三种滤波方法在chalearn数据集上的实验成果进行分析。以轮廓系数与手肘法相结合对K值重新进行评估,选择准确的K值在模板匹配过程中重新定义了精确的模板类,缩减了模板状态类的搜索空间,提高了两个手语状态序列匹配精度,并在特定人手语数据集上得到了高于原算法识别率。（3）针对在非特定手语人手语数据集上精度提升不显着的问题,对chalearn数据集里的人体进行归一化操作,提高非特定人手语数据集上的手语词识别精度,然后考虑到HOG特征本身维数过大,在匹配过程中过于耗时,构造了由关节间马氏距离、欧式距离、倾角相结合的综合特征并对特征降维,虽在动态手语词的识别精度上有所降低却将算法耗时减少到原算法的10分之一左右。
徐鑫鑫[3]（2019）在《基于Kinect的连续手语语句识别算法研究》文中认为手势语言不仅是人体肢体语言的重要组成部分,还是人机交互的典型运用。而手语作为一种特殊的手势语言,是聋人参与社会生活的重要媒介。研究手语识别技术,不仅可以促进人机交互技术的发展,还可以帮助聋人更好地适应社会生活。目前大部分手语识别技术的研究对象都是手语词汇,对于手语语句的研究相对较少,主要的难点在于手语语句中词汇的分割。相对于手语词汇,手语语句的数据量更多,这导致了其研究的复杂性。本文提出了利用关键动作描述连续手语语句的基本思想。关键动作是手语的基元,通过关键动作来研究手语,可以从根本上减少待研究的数据量。本文的主要工作包括:首先借助于体感设备Kinect获取手型区域,并提出了一种适用于手型的特征提取方法和自适应的关键动作提取算法;然后从关键动作的特性出发,设计了一种针对手势关键动作的卷积神经网络结构,利用该网络对关键动作进行分类识别;接着针对连续手语语句难以分割的问题,提出了一种基于关键动作的双重概率转移模型的连续手语语句识别算法。通过分析词汇和句子的关键动作,构建了词汇内部和词汇之间的关键动作的状态转移矩阵。凭借这两个状态转移矩阵可以快速准确地实现对连续手语语句边界的检测,从而完成了对连续手语语句的分段识别;最后以上述算法为基础,本文实现了一个面向非特定人群的连续手语语句识别系统。该系统由离线数据采集和在线手语识别两个部分组成。实验证明,本文设计的算法可以面向非特定人群,并且有较好的准确性和稳定性。
李泽洋[4]（2018）在《基于视频的非特定人动态手语识别算法》文中研究说明伴随计算机技术的迅猛发展,“以人为核心”的人机交互成为当前研究的热点。尤其是基于计算机视觉手势识别的研究,因其符合人的自然习惯且设备价格低廉,受到越来越多的关注。同时,手语是聋哑人以手势信息取代有声语言进行交流的重要方式。由于健全人一般不懂手语,而且手语翻译属于新兴职业,尚无法满足市场需求,因此手语识别的研究就显得十分有意义。面向未来智慧社区中手语/语音双向识别系统,实现聋哑人与健全人之间的可视“对讲”,不仅需要建立针对非特定人群的手语识别,还需要满足系统的实时性需求。为了有效解决上述问题,本文对手语识别中现有算法进行深入研究,并在此基础上对其中的两种算法进行改进,主要完成以下两个方面的工作。1)针对实时、大词汇集、连续手语视频的准确识别问题,提出一种融合压缩感知与加速稳健特征（Speeded Up Robust Features,SURF）的手语关键帧提取算法。首先在前期预处理阶段,采用基于HSV空间自适应颜色检测的方法来提取手势区域;再利用压缩感知将手语视频降维成低维多尺度帧图像特征,通过自适应阈值完成子镜头分割,处理大量手语帧数据;之后再运用SURF特征完成特征匹配,绘制SURF特征的帧间相似度曲线寻找极值点,最终提取关键帧。通过实验验证,算法具备处理大量复杂数据的能力,识别结果更加准确。2)针对跟踪学习检测（Tracking-Learning-Detection,TLD）算法在光照变化不均、遮挡严重、跟踪目标模糊等情况下会出现跟踪失败的问题,提出一种基于卷积神经网络优化TLD运动手势跟踪算法。首先选取手势特征作正样本,其背景作负样本,获取手势方向梯度直方图（Histogram of Oriented Gradient,HOG）特征并借助卷积神经网络加以训练,得到手势检测分类器,从而确定目标手势区域,实现手势的自动识别;再利用TLD算法对手势进行跟踪与学习,对正负样本进行估计检测并实时校正,同时运用SURF特征匹配更新跟踪器。实验表明,本文算法的跟踪精度高于传统TLD算法,且拥有更高的鲁棒性。
冯欣[5]（2018）在《基于Kinect的非特定人连续中国手语识别》文中进行了进一步梳理手语识别是人机交互领域的热点话题,是听力障碍人群日常交流中使用的主要工具。所谓的手语,是通过双手和手臂,同时将头部动作、脸部表情和肢体姿态作为辅助进行交流的语言。手语识别是利用计算机视觉、模式识别、机器学习等技术,通过分析手语动作数据,提取高效的特征以描述手语词,最后利用合适的分类器对手语进行分类识别,将手语翻译成文字或语音输出,促进听力障碍人群与其他社会人群的正常交流。手语识别可分为独立手语词识别和连续手语语句识别两大类。独立手语词识别相较于连续手语语句的识别,难度较小。连续手语识别的难点在于手语语句序列的分割和手语词识别,由于每个人打手语的习惯不同,个体差异性较大,连续手语识别仍是一个具有挑战性的难题。并且非特定人连续手语识别更具有研究意义和实用价值。本文利用Kinect传感器采集手语的RGB-D数据,建立并公开发布了连续中国日常手语数据集（SDUSign）;结合Kinect提供的彩色和深度信息进行手掌分割的研究,并探讨了手语手形特征和运动轨迹特征的提取和融合;针对连续手语识别的两大问题,手语语句分割和手语词识别,采用不同的算法模型,将潜在动态条件随机场（Latent Dynamic Conditional Random Fields,LDCRF）用于解决连续手语的语句分割问题,隐马尔科夫模型（Hidden Markov Model,HMM）用于分割后的手语词识别;基于连续手语样本统计数据,建立了连续手语的语法约束概率模型,优化识别结果。本文主要研究非特定人连续中国手语识别,主要工作如下:首先,对手语识别问题的研究背景与研究意义进行阐述,研究和说明了目前有关手语识别的国内外的研究方法现状和研究成果现状,并对目前手语识别中存在的主要问题进行了说明,并对本论文的整体写作结构进行介绍。第二,研究了基于视觉的手语数据的获取,鉴于公开的中国手语数据集较少的问题,建立并发布了基于Kinect的连续中国日常手语数据集。该数据集包括采自17位实验者的40个中国手语词的3400组独立词样本和采自8位实验者的10个连续语句的800组连续手语样本。并详细介绍了采集过程和数据集所包含的数据信息。第三,研究了手语图像的预处理和特征提取。结合深度图像和彩色图像对手语表达中的双手进行分割,区分出左手和右手。并提取手语动作的手形特征和运动轨迹特征,手形特征包括方向梯度直方图特征（Histogram of Oriented Gradient,HOG）和面积比例特征,轨迹特征包括球坐标位置特征和手部位置特征。通过实验对比,发现结合手形特征和轨迹特征的特征描述方式,可以明显提高手语识别的准确率。第四,研究了非特定人连续手语识别。阐述了非特定人连续手语识别系统的算法流程。利用LDCRF进行连续语句的分割,并利用最大最小帧约束算法优化分割后的词序列的帧数,避免词片段帧数过多或过少的问题;利用HMM对后续的词片段进行识别,应用基于对SDUSign数据集样本的概率统计生成的语法约束概率模型对分割识别后的语句进行优化,提高语句识别准确率。并进行多组连续手语识别实验,实验表明,本文提出的方法能够有效识别连续手语语句,并能有效消除样本的个体差异性,非特定人连续手语实验结果也较理想,语句分割准确率达80.61%,词识别率达86.25%,语句识别正确率为73.75%,系统表现出优越的性能。最后,针对本文已完成的连续手语识别的工作进行总结,并展望了接下来连续手语识别研究中亟待解决的问题和解决思路。
郭鑫鹏[6]（2018）在《基于非特定人群实时手语识别系统的研究》文中研究表明手语是聋哑人与健听人的沟通方式,由于绝大多数的健听人不会手语,导致聋哑人与健听人交流困难。实现实时手语自动识别,可以帮助聋哑人在社会上同其他社会成员建立起正常的社会关系。本文采用Kinect for Windows摄像机作为输入设备,利用Kinect反馈的深度信息和骨骼节点信息实现动态手语实时识别。动态手语通常以形比意,其可以看作是由若干具有实际意义的静态手部动作组合构成。这些静态手部动作是动态手语的关键动作。对关键动作稳定、准确地提取也成为准确识别手语的保证。对此,本文提出了一种自适应的关键动作提取算法,算法对非特定人群所做的动态手语的关键动作提取有良好的准确性和稳定性。然后以Kinect反馈骨骼信息构造的特征结合手型区域信息提取的不变矩特征共同作为描绘关键动作的特征,利用随机森林对关键动作进行分类。在分类过程中,不同的关键动作出现的频次不同,有的甚至相差很大,造成各类别关键动作样本集的不均衡,严重影响随机森林分类结果。对此,采用本文提出的优化KM-SMOTE算法,对不平衡关键动作样本集做处理,扩充少数类样本集的样本数量,使得各类别样本数量均衡,优化分类效果。最后利用关键动作的特征信息训练HMM模型结合手语关键动作特征序列完成手语识别。根据上述方法,本文设计了能够识别20个词语的实时动态手语识别系统,系统由后台手语视频管理模块和前台手语识别模块组成,对于参与样本采集的手语者手语识别率可达90%,对于未参与样本采集的手语者手语识别率在85%左右。
王雅[7]（2017）在《基于改进的HMM和自适应技术的非特定人手语识别的研究》文中进行了进一步梳理手语是听力和语言障碍群体沟通交流的一种语言。全世界共有2.3亿左右的聋哑人,作为社会弱势群体的聋哑人经常会遇到生活、工作、心理、教育、交流等很多方面的问题。尤其是交流问题,手语的普及程度较差,能够掌握手语的人数量很少,这就使得聋哑人的沟通交流存在很大阻碍。手语识别的研究自上世纪九十年代开始,它通过一定的计算机技术将手语以非操手语者可以理解的形式呈现出来,从而帮助聋哑人无障碍地表达和交流。该技术作为人机交互领域的研究内容之一,对语言交流障碍群体有着重要的现实意义。目前基于数字设备的手语识别准确率已经达到较高的水平,对特定人手语的识别也有了较好的性能,但是现有的手语识别系统在用户变换情况下的性能差强人意,远不能达到理想的性能要求。而非特定人手语识别恰恰是手语识别系统得以实际应用亟待解决的关键问题。个体之间手语数据的差异性和手语训练样本的匮乏是牵制非特定人手语识别系统性能的重要原因。为了解决以上问题,本文对手语识别中的关键算法进行了研究,并对现有算法进行了改进。主要研究工作有以下两个方面:（1）对基于隐Markov模型（Hidden Markov Model,HMM）的手语训练建模进行了研究,对HMM三个基本问题的解决进行分析,并针对其中的训练问题常用到的Baum-Welch算法收敛于局部最优解的不足进行改进,引入自适应诱导进化遗传算法进行手语词的HMM参数训练,从而在给定的解空间中找到全局最优解。（2）针对非特定人手语识别中不同手语者个体间的差异性和手语训练数据的不充分这两个难点问题,本文提出了基于最大似然线性回归（Maximum Likelihood Linear Regression,MLLR）算法和最大后验概率（Maximum a posteriority,MAP）算法的自适应手语识别框架,该方法优化了MLLR回归类的划分,并且提供给MAP更精准的初始模型,充分发挥了MLLR的快速性和MAP的渐进性。然后引入了最小分类误差（Minimum Classification Error,MCE）模型参数估计算法,以弥补模型参数自适应方法的局限性,进一步降低系统误识率。接着对该算法中计算量大的缺点进行了改进。实验结果表明,本文算法在非特定人手语识别中的性能要优于已有的自适应算法,该算法利用少量自适应数据便能使得非特定人手语识别达到良好的效果。
石曼曼[8]（2017）在《面向非特定人群的动态手语语句识别系统研究与实现》文中提出手语识别是人机交互的典型应用,手语不仅是聋哑人之间进行思想交流的语言,也是他们与外界进行沟通的重要方式。研究手语识别可以帮助聋哑人与正常人之间进行无障碍沟通,此外更进一步加强计算机对人类肢体语言的理解能力。但是目前的手语识别研究大部分是针对手语词汇进行识别。由于对手语语句的词汇分割存在困难,因此目前针对手语语句识别的研究比较少。对自然语言进行识别,最重要的是能够分割出其中所包含的词汇。因此本文提出了一种基于关键帧的连续手语语句识别算法。关键帧可以看做是手语词汇的基本组成单元,有了关键帧即可得到相关词汇,进而根据隐马尔科夫模型组成连续的手语语句。避免了对手语语句直接做分割的难点。本文首先提出了一种自适应的基于手语轨迹的关键帧提取算法,然后设计了一种支持在线学习的增量式随机森林对关键帧进行分类识别。接下来设计了一种基于加权关键帧的手语语句识别算法,最后本文设计实现了一个连续手语语句识别系统,可以面向非特定人群,并且是在人机自然交互状态下完成识别。整个系统仅需一台体感设备与普通计算机,不仅使用方便而且对背景环境没有特殊要求。系统测试表明,本文提出的算法,稳定性高,容错性好,可以实时准确的识别出有意义的手语语句。
杨阿妮,常丹华[9]（2010）在《神经网络与马尔可夫模型的手势识别系统》文中指出手势是一种作为表达思想或感情的肢体或身体运动,人的语言和手势是最好的沟通工具。采用基于彩色和边缘信息进行手区域检测,利用神经网络和最大内切圆搜索的方法对定义的手姿态进行识别,用基于隐马尔可夫模型对手势进行识别;对6种背景下的手势进行识别,实验证明本文的方法具有很高的识别率。
倪训博,赵德斌,姜峰,程丹松[10]（2010）在《Viterbi和DTW算法的关系分析——在非特定人手语识别中的应用》文中研究表明在经典的模式识别理论中,Viterbi算法代表了统计概率的模式匹配算法,而DTW算法代表了模版匹配的模式匹配算法,它们之间是否存在关系至今尚无定论.为了找到这两种算法之间的关系,在"类别隶属度"是广义概率的假设前提下,应用模糊数学的理论在Viterbi算法与DTW算法之间建立起联系.首先,提出了利用模糊数学的贴近度把DTW算法的"距离"向Viterbi算法的"概率"转化的通用贴近度表达式,并对通用贴近度表达式给出了理论上的证明.其次,应用DTW的通用贴近度表达式重估HMM参数,建立DTW算法与Viterbi算法之间的模糊贴近度关系,并为此提出了δ-ε算法,得到基于数据帧的类似于HMM的参数重估形式.然后,为了确保建立DTW算法与Viterbi算法之间的模糊贴近度关系的正确性,以定理的形式给出了相应的证明.再次,通过设定的DTW贴近度表达式对HMM参数重估的过程中,发现了DTW贴近度的重估参数与HMM重估参数之间存在着的模糊关系,以定理的形式对这种模糊关系加以证明.最后,依据上述定理提出了Dtw-ViterbiⅠ,Ⅱ,Ⅲ算法,以定理的形式对Dtw-ViterbiⅠ,Ⅱ,Ⅲ算法的正确性加以证明,并将对Dtw-ViterbiⅠ,Ⅱ,Ⅲ算法应用于非特定人手语的识别.实验表明,把DTW算法的路径搜索策略以概率的形式引进到Viterbi算法中,能够以削减候选词集的方式部分消除非特定人手语识别的误识,从而提高大词汇量情况的下非特定人手语识别的识别率和速度.
二、基于SOFM/HMM模型的非特定人手语识别系统（论文开题报告）
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
三、基于SOFM/HMM模型的非特定人手语识别系统（论文提纲范文）
（1）基于深度学习的非特定人手语识别（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 第一章 绪论 |
| 1.1 研究背景与意义 |
| 1.2 手语识别的国内外研究现状 |
| 1.2.1 基于传统机器学习的手语识别研究现状 |
| 1.2.2 基于深度学习的手语识别研究现状 |
| 1.2.3 基于非特定人的手语识别研究现状 |
| 1.3 手语识别目前存在的问题 |
| 1.4 本文章节安排 |
| 第二章 基于传统机器学习的手语识别 |
| 2.1 引言 |
| 2.2 手语识别中的传统特征 |
| 2.2.1 SIFT特征 |
| 2.2.2 HOG特征 |
| 2.3 手语识别传统分类算法 |
| 2.3.1 SVM算法原理 |
| 2.3.2 HMM算法原理 |
| 2.3.3 CRF算法原理 |
| 2.4 本章小结 |
| 第三章 基于残差神经网络的静态手语识别 |
| 3.1 引言 |
| 3.2 数据预处理 |
| 3.2.1 静态手语数据集介绍 |
| 3.2.2 基于图像增强的数据预处理 |
| 3.3 基于深度残差神经网络的静态手语手势识别 |
| 3.3.1 CNN算法原理 |
| 3.3.2 残差神经网络原理 |
| 3.3.3 结合数据增强的端到端静态手语手势词识别实验框架设计 |
| 3.4 静态手语词识别实验与分析 |
| 3.4.1 参数设置 |
| 3.4.2 实验结果分析 |
| 3.5 本章小节 |
| 第四章 基于BiLSTM-CTC的孤立手语词识别 |
| 4.1 引言 |
| 4.2 数据预处理及特征提取 |
| 4.2.1 数据预处理 |
| 4.2.2 VGG算法原理 |
| 4.2.3 基于VGG的孤立手语词特征提取 |
| 4.3 基于BiLSTM-CTC的孤立手语词识别算法 |
| 4.3.1 RNN算法原理 |
| 4.3.2 CTC算法原理 |
| 4.3.3 BiLSTM-CTC网络结构 |
| 4.4 孤立手语词识别实验设计与分析 |
| 4.4.1 基于BiLSTM-CTC网络的孤立手语词识别实验设计 |
| 4.4.2 孤立手语词识别实验结果分析 |
| 4.5 本章小结 |
| 第五章 总结与展望 |
| 5.1 全文总结 |
| 5.2 展望 |
| 参考文献 |
| 致谢 |
| 攻读硕士学位期间发表的论文 |
| 学位论文评阅及答辩情况表 |
（2）基于深度信息的手语词识别研究（论文提纲范文）
| 摘要 |
| Abstract |
| 第1章 绪论 |
| 1.1 课题的研究目的及意义 |
| 1.2 国内外研究现状 |
| 1.2.1 基于传统设备的手语识别 |
| 1.2.2 基于深度信息的手语识别 |
| 1.2.3 基于Chalearn数据库的手语识别 |
| 1.3 本文组织安排 |
| 1.4 本章小结 |
| 第2章 相关理论和预备工作 |
| 2.1 chalearn2013 深度数据集 |
| 2.1.1 数据集基本概念 |
| 2.1.2 数据集所包含词汇 |
| 2.2 本文建立的静态手语词数据集及静态手语词识别 |
| 2.2.1 静态手语词识别数据库 |
| 2.2.2 静态手语词分割 |
| 2.2.3 静态手语特征提取 |
| 2.2.4 识别流程及识别实验 |
| 2.3 动态手语词识别模型SO-SMP |
| 2.3.1 识别流程 |
| 2.3.2 (SO)稀疏观察的关键帧提取 |
| 2.3.3 手势模板匹配 |
| 2.3.4 轨迹模板匹配 |
| 2.3.5 分类器构造 |
| 2.4 本章所用算法介绍 |
| 2.4.1 匹配算法 |
| 2.4.2 降维算法 |
| 2.5 本章小结 |
| 第3章 改进的SO-SMP算法 |
| 3.1 前言 |
| 3.2 改进的SO-SMP模型 |
| 3.2.1 深度数据滤波 |
| 3.2.2 SMP算法改进 |
| 3.3 实验结果与分析 |
| 3.3.1 实验环境和评价标准 |
| 3.3.2 定量实验结果分析 |
| 3.4 本章小结 |
| 第4章 基于人体归一化和综合特征的手语词识别 |
| 4.1 前言 |
| 4.2 基于人体归一化和综合特征的改进算法 |
| 4.3 综合特征的构建 |
| 4.3.1 关节倾角 |
| 4.3.2 马氏距离 |
| 4.3.3 特征构造 |
| 4.3.4 降维 |
| 4.4 实验 |
| 4.5 本章小结 |
| 第5章 总结与展望 |
| 5.1 本文工作总结 |
| 5.2 未来工作展望 |
| 参考文献 |
| 攻读硕士学位期间参加科研情况 |
| 一、参与的科研项目 |
| 致谢 |
（3）基于Kinect的连续手语语句识别算法研究（论文提纲范文）
| 摘要 |
| abstract |
| 第一章 绪论 |
| 1.1 选题的背景与意义 |
| 1.2 国内外发展现状 |
| 1.2.1 手语词汇识别现状 |
| 1.2.2 手语语句识别现状 |
| 1.3 本文的主要研究工作 |
| 1.4 本文的内容安排 |
| 第二章 连续手语中关键动作的提取 |
| 2.1 什么是手语中的关键动作 |
| 2.2 Kinect体感摄像机 |
| 2.3 手势区域提取 |
| 2.3.1 基于肤色检测的区域提取算法 |
| 2.3.2 基于深度信息的区域提取算法 |
| 2.4 手势区域特征提取 |
| 2.4.1 已有的特征描述子 |
| 2.4.2 结合面积与矩特征的形状描述子 |
| 2.5 关键动作提取算法 |
| 2.5.1 已有的关键动作提取算法 |
| 2.5.2 自适应的关键动作提取算法 |
| 2.6 实验分析 |
| 2.6.1 准确性实验 |
| 2.6.2 稳定性实验 |
| 2.7 小结 |
| 第三章 基于深度卷积神经网络的关键动作的识别 |
| 3.1 目前常用的神经网络 |
| 3.1.1 卷积神经网络 |
| 3.1.2 循环神经网络 |
| 3.1.3 生成式对抗网络 |
| 3.2 基于卷积神经网络的关键动作识别算法 |
| 3.2.1 数据处理 |
| 3.2.2 网络结构 |
| 3.3 实验分析 |
| 3.4 小结 |
| 第四章 基于双重概率转移的连续手语快速识别算法 |
| 4.1 已有的连续手语识别算法 |
| 4.1.1 动态时间规整(DTW) |
| 4.1.2 隐马尔可夫模型(HMM) |
| 4.2 基于双重概率转移的连续手语快速识别算法 |
| 4.2.1 数据模型设计 |
| 4.2.2 基于关键动作双重概率转移的连续手语语句识别算法步骤 |
| 4.2.3 算法总结 |
| 4.3 实验分析 |
| 4.4 小结 |
| 第五章 系统设计与实现 |
| 5.1 系统设计 |
| 5.1.1 开发环境 |
| 5.1.2 系统模块设计 |
| 5.2 系统功能 |
| 5.2.1 离线部分 |
| 5.2.2 在线部分 |
| 5.3 实验结果分析 |
| 5.4 小结 |
| 第六章 总结与展望 |
| 6.1 总结 |
| 6.2 展望 |
| 参考文献 |
| 致谢 |
| 在学期间的研究成果及发表的学术论文 |
（4）基于视频的非特定人动态手语识别算法（论文提纲范文）
| 摘要 |
| abstract |
| 1 绪论 |
| 1.1 课题的研究背景及意义 |
| 1.2 国内外研究现状 |
| 1.2.1 基于数据采集设备 |
| 1.2.2 基于计算机视觉 |
| 1.3 手语识别研究中的难点 |
| 1.4 本文主要研究内容 |
| 1.5 本文组织结构 |
| 2 手语识别技术及构建手语库 |
| 2.1 基于视频的手语识别系统 |
| 2.2 中国手语结构研究 |
| 2.2.1 中国手语结构 |
| 2.2.2 中国手语结构分类 |
| 2.3 建立手语数据库 |
| 2.3.1 数字图像的表示 |
| 2.3.2 手语图像输入 |
| 2.4 本章小结 |
| 3 动态手语关键帧提取 |
| 3.1 手语基元 |
| 3.2 手势预处理 |
| 3.3 手势区域检测 |
| 3.3.1 常用手势区域检测算法 |
| 3.3.2 本文采用的手势区域检测算法 |
| 3.4 基于压缩感知与SURF特征的手语关键帧提取算法 |
| 3.4.1 关键帧提取算法分析 |
| 3.4.2 应用原理 |
| 3.4.3 基于压缩感知与SURF特征的手语关键帧提取算法 |
| 3.4.4 基于压缩感知与SURF特征的手语关键帧提取算法步骤 |
| 3.5 实验结果与分析 |
| 3.6 动态手语识别 |
| 3.7 本章小结 |
| 4 手势的检测跟踪 |
| 4.1 目标跟踪算法 |
| 4.2 TLD跟踪算法 |
| 4.3 基于卷积神经网络优化TLD运动手势跟踪算法 |
| 4.3.1 算法概述 |
| 4.3.2 手势HOG特征提取 |
| 4.3.3 运用卷积神经网络检测手势位置 |
| 4.3.4 SURF特征优化TLD预测手势运动方向 |
| 4.4 实验结果与分析 |
| 4.5 本章小结 |
| 5 总结与展望 |
| 5.1 工作总结 |
| 5.2 研究展望 |
| 致谢 |
| 参考文献 |
| 攻读硕士期间的学术论文及成果 |
（5）基于Kinect的非特定人连续中国手语识别（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 第一章 绪论 |
| 1.1 研究背景与意义 |
| 1.2 手语识别的研究现状 |
| 1.2.1 独立词手语识别研究现状 |
| 1.2.2 连续手语识别研究现状 |
| 1.2.3 非特定人手语识别研究现状 |
| 1.3 目前存在的问题 |
| 1.4 本文主要研究内容 |
| 1.5 章节安排 |
| 第二章 SDUSign连续中国手语数据集 |
| 2.1 Kinect简介 |
| 2.1.1 Kinect主要功能介绍 |
| 2.1.2 Kinect应用领域 |
| 2.2 SDUSign数据集 |
| 2.3 本章小结 |
| 第三章 数据预处理及特征提取 |
| 3.1 手语数据预处理 |
| 3.1.1 手掌分割 |
| 3.1.2 运动轨迹数据预处理 |
| 3.2 轨迹特征提取 |
| 3.2.1 重心位置特征 |
| 3.2.2 球坐标位置特征 |
| 3.3 手形特征提取 |
| 3.3.1 方向梯度直方图特征 |
| 3.3.2 面积比例特征 |
| 3.4 基于不同特征的手语识别实验结果 |
| 3.4.1 基于不同特征的独立词手语识别实验结果 |
| 3.4.2 基于不同特征的连续手语识别实验结果 |
| 3.5 本章小节 |
| 第四章 非特定人连续中国手语识别 |
| 4.1 连续手语识别算法概述 |
| 4.2 连续手语分割 |
| 4.2.1 条件随机场原理 |
| 4.2.2 潜在动态条件随机场 |
| 4.2.3 连续手语语句分割建模 |
| 4.3 独立词识别 |
| 4.3.1 HMM原理介绍 |
| 4.3.2 独立词识别建模 |
| 4.4 结果优化 |
| 4.4.1 词长度约束 |
| 4.4.2 语法约束 |
| 4.4.3 结果评估 |
| 4.5 实验结果分析 |
| 4.5.1 参数设置 |
| 4.5.2 连续手语实验结果分析 |
| 4.5.3 不同约束的有效性评价 |
| 4.5.4 对比实验 |
| 4.6 本章小结 |
| 第五章 总结与展望 |
| 5.1 全文总结 |
| 5.2 展望 |
| 参考文献 |
| 致谢 |
| 攻读硕士学位期间发表的论文 |
| 学位论文评阅及答辩情况表 |
（6）基于非特定人群实时手语识别系统的研究（论文提纲范文）
| 摘要 |
| abstract |
| 第一章 绪论 |
| 1.1 选题背景与意义 |
| 1.2 国内外研究现状 |
| 1.2.1 基于传感器设备的识别方式 |
| 1.2.2 基于视觉的手语识别方式 |
| 1.2.3 基于体感设备的手语识别 |
| 1.3 本文的主要工作 |
| 1.4 本文内容安排 |
| 第二章 连续复杂手语中关键动作的提取 |
| 2.1 引言 |
| 2.2 Kinect体感摄像机介绍 |
| 2.3 手语中的关键动作 |
| 2.3.1 关键动作 |
| 2.3.2 现有的关键动作提取算法 |
| 2.3.2.1 无监督聚类算法 |
| 2.3.2.2 基于手语轨迹的点密集度算法 |
| 2.4 自适应的关键动作提取算法 |
| 2.4.1 手势区域提取 |
| 2.4.1.1 基于肤色检测的手部区域分割 |
| 2.4.1.2 结合骨骼与深度信息的手部区域分割 |
| 2.4.2 手势区域特征提取 |
| 2.4.3 基于最佳分类的关键动作提取 |
| 2.5 实验结果和分析 |
| 2.5.1 稳定性实验 |
| 2.5.2 准确性实验 |
| 2.5.3 实验结果分析 |
| 2.6 小结 |
| 第三章 基于随机森林与KM-SMOTE的关键动作分类 |
| 3.1 引言 |
| 3.1.1 已有的手型特征描述算法 |
| 3.1.1.1 基于指间信息的手型描述 |
| 3.1.1.2 基于方向矢量的手型描述 |
| 3.1.1.3 基于傅里叶描述子的特征提取 |
| 3.1.2 结合骨骼和区域特征的手型特征描述算法 |
| 3.2 基于优化的KM-SMOTE和随机森林分类器 |
| 3.2.1 随机森林 |
| 3.2.2 KM-SMOTE算法 |
| 3.2.3 优化的KM-SMOTE算法 |
| 3.3 实验结果与分析 |
| 3.5 本章小结 |
| 第四章 基于关键动作的手语识别 |
| 4.1 引言 |
| 4.2 已有的手语识别算法 |
| 4.2.1 模版匹配法 |
| 4.2.2 支持向量机 |
| 4.2.3 人工神经网络 |
| 4.2.4 隐马尔可夫算法 |
| 4.3 基于关键动作的HMM手语识别 |
| 4.3.1 基于关键动作的HMM模型分类器 |
| 4.3.2 模型的训练与识别 |
| 4.4 实验结果和分析 |
| 4.5 小结 |
| 第五章 系统设计与实现 |
| 5.1 引言 |
| 5.2 系统设计 |
| 5.2.1 开发环境 |
| 5.2.2 系统模块设计 |
| 5.3 系统功能介绍 |
| 5.3.1 后台管理模块 |
| 5.3.2 前台手势识别模块 |
| 5.4 实验结果分析 |
| 5.5 小结 |
| 第六章 总结与展望 |
| 6.1 总结 |
| 6.2 展望 |
| 参考文献 |
| 致谢 |
| 在学期间的研究成果及发表的学术论文 |
（7）基于改进的HMM和自适应技术的非特定人手语识别的研究（论文提纲范文）
| 摘要 |
| abstract |
| 1 绪论 |
| 1.1 课题研究的背景及意义 |
| 1.2 课题研究现状 |
| 1.3 目前存在的主要问题 |
| 1.4 文中主要研究内容和组织结构 |
| 2 相关技术研究 |
| 2.1 基于计算机视觉的手语识别系统 |
| 2.2 用于手语识别的中国手语分类方法 |
| 2.2.1 中国手语 |
| 2.2.2 中国手语分类 |
| 2.3 建立手语数据库 |
| 2.3.1 数字图像的表示 |
| 2.3.2 手语图像采集 |
| 3 手语图像预处理及特征提取 |
| 3.1 手语图像灰度化处理 |
| 3.1.1 灰度图像相关概念 |
| 3.1.2 灰度转换 |
| 3.2 图像二值化及形态学开闭运算 |
| 3.2.1 图像二值化 |
| 3.2.2 二值图像形态学 |
| 3.3 手语特征提取 |
| 4 基于改进的隐Markov模型的手语模型训练 |
| 4.1 隐马尔可夫模型 |
| 4.1.1 HMM的基本概念 |
| 4.1.2 HMM需要解决的三个基本问题 |
| 4.2 HMM三个基本问题的解决 |
| 4.2.1 评估问题 |
| 4.2.2 状态解码问题 |
| 4.2.3 训练问题 |
| 4.3 基于HMM的手语模型训练 |
| 4.4 遗传算法 |
| 4.4.1 遗传算法概述 |
| 4.4.2 遗传算法的实现 |
| 4.5 自适应诱导进化遗传算法 |
| 4.5.1 自适应诱导进化思想 |
| 4.5.2 自适应诱导进化的实现 |
| 4.6 基于自适应诱导进化遗传算法的HMM训练模型 |
| 4.6.1 自适应诱导进化遗传算法的参数设定 |
| 4.6.2 模型参数训练 |
| 4.7 本章小结 |
| 5 自适应技术在非特定人手语识别中的应用 |
| 5.1 引言 |
| 5.2 结合MLLR和MAP的综合渐进自适应算法 |
| 5.2.1 MLLR算法 |
| 5.2.2 MAP算法 |
| 5.2.3 MLLR\MAP综合渐进自适应算法 |
| 5.3 改进MCE模型参数估计算法 |
| 5.3.1 基于MCE的判别学习算法 |
| 5.3.2 对MCE判别学习算法的改进 |
| 5.4 实验结果及分析 |
| 5.4.1 不同自适应方法识别率对比实验 |
| 5.4.2 结合模型参数估计算法的自适应手语识别系统测试实验 |
| 5.5 本章小结 |
| 6 总结与展望 |
| 6.1 总结 |
| 6.2 展望 |
| 致谢 |
| 参考文献 |
| 攻读硕士学位期间所发表论文及主要研究成果 |
（8）面向非特定人群的动态手语语句识别系统研究与实现（论文提纲范文）
| 摘要 |
| abstract |
| 第一章 绪论 |
| 1.1 选题背景与意义 |
| 1.2 国内外研究现状 |
| 1.2.1 手语词汇识别现状 |
| 1.2.2 手语语句识别现状 |
| 1.3 本文的主要工作 |
| 1.4 本文的内容安排 |
| 第二章 连续手语中关键帧的提取 |
| 2.1 什么是关键帧 |
| 2.2 基于手语轨迹的关键帧提取算法 |
| 2.2.1 Kinect体感摄像机 |
| 2.2.2 手心位置的跟踪校正 |
| 2.2.3 基于手语轨迹点密度的关键帧提取算法 |
| 2.3 实验结果与分析 |
| 2.3.1 准确性实验 |
| 2.3.2 稳定性实验 |
| 2.4 小结 |
| 第三章 关键手型的识别 |
| 3.1 关键帧中的手型分割 |
| 3.2 关键手型的特征描述 |
| 3.3 关键手型的识别 |
| 3.3.1 随机森林分类器 |
| 3.3.2 支持在线学习的随机森林分类器 |
| 3.4 实验结果与分析 |
| 3.5 小结 |
| 第四章 基于关键帧的手语语句识别 |
| 4.1 关键帧加权 |
| 4.2 基于关键帧的手语语句识别 |
| 4.2.1 加权关键帧序列的识别 |
| 4.2.2 连续语句识别 |
| 4.3 实验结果与分析 |
| 4.4 小结 |
| 第五章 手语语句识别系统的设计与实现 |
| 5.1 引言 |
| 5.2 系统设计 |
| 5.2.1 开发环境 |
| 5.2.2 系统模块设计 |
| 5.3 系统功能 |
| 5.3.1 系统界面设计 |
| 5.3.2 系统识别模块 |
| 5.4 系统测试 |
| 5.5 小结 |
| 第六章 总结与展望 |
| 6.1 总结 |
| 6.2 展望 |
| 参考文献 |
| 致谢 |
| 在学期间的研究成果即发表的学术论文 |
（9）神经网络与马尔可夫模型的手势识别系统（论文提纲范文）
| 0 引 言 |
| 1 手区域的检测算法 |
| 1.1 基于HIS颜色模型的手区域候选检测 |
| 1.2 手区域检测 |
| 2 手势识别算法 |
| 2.1 基于神经网络的手姿态识别算法 |
| 2.2 数字0～9的手姿态识别 |
| 2.3 基于HMM的手势识别 |
| 2.3.1 隐马尔可夫模型的3个基本问题及解法: |
| 2.3.2 HMM的模型训练 |
| 1) 参数重估算式的表示 |
| 2) HMM训练算法 |
| 3 实验结果及结论 |
| 3.1 结果 |
| 4 结 论 |
（10）Viterbi和DTW算法的关系分析——在非特定人手语识别中的应用（论文提纲范文）
| 1 模糊数学的相关理论 |
| 2 基于贴近度的HMM模型参数重估和理论证明 |
| 2.1 贴近度重估HMM模型参数 |
| 2.1.1 基于DTW的贴近度 |
| 2.1.2 δ -ε算法 |
| 2.1.3 重估HMM模型参数 |
| 2.2 关于选取D (nk-nk-1) 和HMM的一般性的贴近度表示 |
| 2.2.1 D (nk-nk-1) 的选取 |
| 2.2.2 HMM一般性的贴近度表示 |
| 3 改进的Viterbi算法 |
| 3.1 Dtw-ViterbiⅠ算法. |
| 1) Dtw-ViterbiⅠ算法的思想 |
| ① 初始化 |
| ② 减小搜索空间 |
| ③ 识别过程 |
| 2) Dtw-ViterbiⅠ算法的分析 |
| 3.2 Dtw-ViterbiⅡ算法. |
| 1) Dtw-ViterbiⅡ算法的思想 |
| ① 初始化 |
| ② 减小搜索空间 |
| ③ 识别过程 |
| 2) Dtw-ViterbiⅡ算法的分析 |
| 3.3 Dtw-ViterbiⅢ算法. |
| 1) Dtw-ViterbiⅢ算法的思想 |
| ① 初始化侯选词集 |
| ② 改进Viterbi算法的循环下的递归. |
| ③ 识别 |
| 2) Dtw-ViterbiⅢ算法的分析 |
| 4 实验结果 |
| 5 结束语 |
四、基于SOFM/HMM模型的非特定人手语识别系统（论文参考文献）
- [1]基于深度学习的非特定人手语识别[D]. 谢梦依. 山东大学, 2020(02)
- [2]基于深度信息的手语词识别研究[D]. 王壬珏. 南昌航空大学, 2019(08)
- [3]基于Kinect的连续手语语句识别算法研究[D]. 徐鑫鑫. 南京航空航天大学, 2019(02)
- [4]基于视频的非特定人动态手语识别算法[D]. 李泽洋. 西安建筑科技大学, 2018(01)
- [5]基于Kinect的非特定人连续中国手语识别[D]. 冯欣. 山东大学, 2018(01)
- [6]基于非特定人群实时手语识别系统的研究[D]. 郭鑫鹏. 南京航空航天大学, 2018(02)
- [7]基于改进的HMM和自适应技术的非特定人手语识别的研究[D]. 王雅. 西安建筑科技大学, 2017(02)
- [8]面向非特定人群的动态手语语句识别系统研究与实现[D]. 石曼曼. 南京航空航天大学, 2017(03)
- [9]神经网络与马尔可夫模型的手势识别系统[J]. 杨阿妮,常丹华. 电子测量技术, 2010(04)
- [10]Viterbi和DTW算法的关系分析——在非特定人手语识别中的应用[J]. 倪训博,赵德斌,姜峰,程丹松. 计算机研究与发展, 2010(02)