本发明涉及电子信息以及辅助康复技术领域，尤其涉及一种言语康复训练系统。
背景技术：
在我国，具有听力障碍的人数已达2057万之多，其中具有听力障碍的儿童人口已在百万之上。其中部分儿童由于未能及时接受听觉的相关康复训练，往往发展成了言语障碍。
传统的言语康复训练方法通常是利用标准音频的反复播放，让用户进行模仿，从而训练发音等。但是，由于该言语康复训练方法的信号刺激形式较为单一，往往导致训练效果不佳。
技术实现要素：
为了克服现有技术的不足，本发明的目的在于提供一种言语康复训练系统，其通过听觉、视觉和触觉的多感官融合的刺激形式，可以增强用户的声音感知能力，从而促进其言语功能发育，以提升言语训练效果。
本发明的目的之一采用如下技术方案实现：
一种言语康复训练系统，语音识别模块出题模块、显示设备、采集模块、播放模块、振动设备以及振动模块，
所述出题模块用于获取训练题目，所述训练题目关联有标准音频；所述显示设备与所述出题模块连接，并用于显示所述训练题目；所述采集模块用于采集用户根据所述训练题目完成的音频，并记为反馈音频；所述播放模块用于播放所述反馈音频和所述标准音频；所述振动模块与所述播放模块、所述振动设备连接，并用于当所述标准音频/所述反馈音频播放时，控制所述振动设备输出对应匹配的标准振感/反馈振感。
进一步地，还包括与所述振动设备连接的振动选择模块，所述振动选择模块用于生成振动选择信号并发送至所述振动设备，所述振动设备响应所述振动选择信号并进入对应的启动状态或关闭状态。
进一步地，所述标准振感/所述反馈振感均包括随时间变化的强度信息和频率信息，所述强度信息与所述标准音频/所述反馈音频的声音强度对应匹配，所述频率信息与所述标准音频/所述反馈音频的声音基频对应匹配。
进一步地，还包括与所述显示设备连接的语音处理分析模块，所述语音处理分析模块用于获取与所述标准音频/所述反馈音频对应的语音参数变化图，在所述标准音频/所述反馈音频播放时，所述显示设备显示对应的语音参数变化图。
进一步地，所述语音参数变化图的语音参数包括音量、音调、共振峰中的一种或多种。
进一步地，所述语音处理分析模块还包括评估单元，所述评估单元用于计算语音参数类型相同的语音参数变化图在对应播放时间上的关系值。
进一步地，还包括标准文字获取模块和语音识别模块，
所述标准文字获取模块与所述显示设备连接，并用于获取与所述标准音频关联的标准文字，当所述标准音频播放时，所述显示设备显示所述标准文字；所述语音识别模块与所述显示设备连接，并用于将所述反馈音频的内容转化为文字信息，并记为参考文字，当所述反馈音频播放时，所述显示设备显示所述参考文字。
进一步地，还包括口型比对模块，所述口型比对模块包括标准口型获取单元、用户口型采集单元单元，
所述标准口型获取单元与所述显示设备连接，用于获取与所述标准音频对应的标准口型视频，并发送至所述显示设备；所述口型采集模块与所述显示设备连接，用于采集用户基于所述训练题目完成的视频，记为用户口型视频并发送至所述显示设备。
进一步地，所述口型比对模块还包括口型比对单元，口型比对单元与所述标准口型获取单元、所述用户口型采集单元连接，用于将所述标准口型视频与所述用户口型视频比对，并向所述显示设备输出比对信号。
进一步地，当所述标准口型视频播放时，所述标准音频同步播放；当所述用户口型视频播放时，所述反馈音频同步播放；当所述标准口型视频和所述用户口型视频同步播放时，所述标准音频和所述反馈音频静音播放。
相比现有技术，本发明的有益效果在于：通过出题模块、显示设备给出训练题目，用户基于训练题目做出相应反馈并上传反馈音频，然后用户可以听取标准音频并感受标准振感，也可以听取反馈音频并感受反馈振感，从而使得用户可以从视觉、听觉和触觉上辨别反馈音频和标准音频之间的差异，可以增强用户的声音感知能力，从而促进其言语功能发育，以提升言语训练效果；通过设置标准振感，也能有助于用户更好地感受标准音频的应用场景或情感类型。
附图说明
图1为实施例一所示言语康复训练系统的结构框图；
图2为实施例二所示言语康复训练系统的结构框图；
图3为实施例三所示言语康复训练系统的结构框图。
图中：1、用户信息库；2、出题模块；21、用户信息获取单元；22、言语题库；23、训练题目选取单元；3、显示设备；4、采集模块；5、播放模块；6、振动设备；7、振动模块；8、振动选择模块；9、语音处理分析模块；91、标准单元；92、反馈单元；93、评估单元；10、标准文字获取模块；11、语音识别模块；12、口型比对模块；121、标准口型获取单元；122、用户口型采集单元；123、口型比对单元；13、文字匹配模块。
具体实施方式
以下将结合附图，对本发明进行更为详细的描述，需要说明的是，以下参照附图对本发明进行的描述仅是示意性的，而非限制性的。各个不同实施例之间可以进行相互组合，以构成未在以下描述中示出的其他实施例。
实施例一
本实施例提供了一种言语康复训练系统，旨在解决由于传统言语训练方法的信号刺激形式单一，而导致训练效果不佳的问题。
参照图1所示，该言语康复训练系统包括用户信息库1、出题模块2、显示设备3、采集模块4、播放模块5、振动设备6以及振动模块7。
出题模块2包括用户信息获取单元21、言语题库22及训练题目选取单元23。具体地，用户信息库1存储有用户信息，用户信息包括但不限于用户姓名、用户年龄、言语障碍等级，用户信息获取单元21与该用户信息库1连接以获取用户信息；言语题库22存储有题目及相应的信息，该题目可以根据出题形式包括有文字型题目、图片型题目、音频型题目，该题目还具有训练次数等参数；训练题目选取单元23与用户信息获取单元21与言语题库22连接，以根据用户信息得到匹配的题目，并记为训练题目，值得说明的是，被选取的训练题目优选为未训练的题目或训练次数少的题目。
显示设备3与训练题目选取单元23连接，接收选取的训练题目并显示。值得说明的是，当训练题目为文字型题目时，显示设备3显示文字，则用户需要读出该文字；当训练题目为图片型题目时，显示设备3显示图片，则用户需要读出该图片的内容；当训练题目为音频型题目时，显示设备3可以显示“请复述听到的音频”的字样，然后输出该音频，则用户需要复述听到的音频内容。值得说明的是该显示设备3可以是平板、电脑、笔记本、手机等，该显示设备3不限于上述类型。
采集模块4与显示设备3连接，在显示设备3通知用户开始做题时，在预设时间内采集用户根据训练题目所发出的声音，生成音频并记为反馈音频，该采集模块还可以用于存储该反馈音频及相应信息。值得说明的是，该采集模块4可以为麦克风、话筒等，该采集模块4不限于上述类型。
播放模块5与训练题目选取单元23连接，以获取与训练题目对应的标准音频；播放模块5还与采集模块4连接，以接收该反馈音频；播放模块5还可以根据用户要求选择播放标准音频或反馈音频，从而使得用户可以听取标准音频和反馈音频，从听觉的角度上感受二者的差异之处。值得说明的是，该播放模块5也可以存储标准音频或反馈音频。
振动模块7与播放模块5、振动设备6连接，用于当标准音频时，控制振动设备6输出对应匹配的标准振感，并用于当反馈音频播放时，控制振动设备6输出对应匹配的反馈振感。从而使得用户可以感受标准振感和反馈振感，从触觉的角度上感受二者的差异之处，也能有助于用户更好地感受标准音频的应用场景或情感类型。
值得说明的是，标准振感/反馈振感包括随时间变化的强度信息和频率信息，强度信息与标准振感/反馈振感的声音强度匹配，频率信息与标准振感/反馈振感的声音基频匹配。例如：当标准音频具有情感或应用场景时，标准音频的声音强度、声音基频会具有相应的变化，则标准振感的强度信息和频率信息也发生相应的改变，则用户可以通过标准振感更好地了解标准音频的内容。
值得说明的是，该振动设备6可以设置为振动手环，以便于佩戴且不易掉落；该振动设备6也可以设置为振动夹板，该振动夹板可以夹持手指，以保证有效接触。该振动设备6不限于上述设置。
综上，通过出题模块2、显示设备3给出训练题目，用户基于训练题目作答并上传反馈音频，然后用户可以听取标准音频并感受标准振感，也可以听取反馈音频并感受反馈振感，从而使得用户可以从视觉、听觉和触觉上辨别反馈音频和标准音频之间的差异，可以增强用户的声音感知能力，从而促进其言语功能发育，以提升言语训练效果。
作为优选的技术方案，参照图1所示，该言语康复训练系统还包括振动选择模块8，该振动模块7用于根据用户需求生成并输出振动选择信号。具体地，当用户选择不振动时，则振动选择信号内容为“禁止振动器振动”，振动设备6响应该振动选择信号并进入关闭状态，使得振动器停止振动；当用户选择振动时，则振动选择信号内容为“允许振动器振动”，振动设备6响应该振动选择信号并进入启动状态，使得振动器可以振动。从而用户可以自行选择是否需要触觉刺激。
实施例二
本实施例提供一种听觉康复训练系统，参照图1和图2所示，本实施例是在实施例一的基础上进行的。
该言语康复训练系统还包括和语音处理分析模块9，该语音处理分析模块9包括标准单元91和反馈单元92。
该标准单元91用于获取与标准音频对应的语音参数变化图。与标准音频对应的语音参数变化图可以保存于言语题库22内，从而标准单元91可以与言语题库22连接，也可以根据标准音频的播放直接生成，图2所示为标准单元91与言语题库22连接，即与标准音频对应的语音参数变化图保存于言语题库22内。
该反馈单元92并用于获取与反馈音频对应的语音参数变化图。与反馈音频对应的语音参数变化图可以根据标准音频的播放实时生成，也可以在采集模块4采集时生成并存储，如图2所示，该反馈单元92可以与采集模块4连接。值得说明的是，该语音参数变化图包括音量、音调、共振峰中的一种或多种，该语音参数变化图不限于上述类型；该显示设备3还与标准单元91、反馈单元92连接，从而显示各个语音参数变化图。
值得说明的是，上述的语音参数变化图可以但不限于为点状图、波形图、折线图；当标准音频/反馈音频播放时，对应的语音参数变化图上具有与播放进度对应的标识，有助于用户更好地将标准音频/反馈音频与对应的语音参数变化图关联，有助于用户感知标准音频和反馈音频之间的差异。
该语音处理分析模块9还包括评估单元93，评估单元93用于计算同一类型语音参数变化图的差异并存储。具体地，对于同一类型的参考曲线具有两条，且分别与标准音频、反馈音频对应，然后以播放时间为参考点，获取两条参考曲线的关系值，有助于用户更好地了解标准音频与反馈音频之间的差异，其中关系至可以但不限于为差值。值得说明的是，由于标准音频、反馈音频可以具有多种类型的语音参数变化图，则通过将各个类型对应的关系值相乘，以得到综合值，以便于更综合地评价反馈音频。
作为优选的技术方案，参照图1和图2所示，该言语康复训练系统还包括标准文字获取模块10和语音识别模块11。
该标准音频关联有标准文字并存储于言语题库22，该标准文字获取模块10与言语题库22连接，并用于获取与标准音频关联的标准文字；该标准文字获取模块10还与显示设备3连接，当播放模块5播放标准音频时，该显示设备3显示标准文字。
该语音识别模块11与采集模块4连接，并用于将反馈音频的内容转化为文字信息并存储，该文字信息记为参考文字；语音识别模块11还与显示设备3连接，当播放模块5播放反馈音频时，显示设备3显示标准文字。
综上，当标准音频播放时，显示设备3可以显示有对应的文字、语音参数变化图；当反馈音频播放时，显示设备3可以显示有对应的文字、语音参数变化图，从而使得用户更好地从视觉上了解标准音频和反馈音频之间的差异性，以提高言语训练效果。
实施例三
本实施例提供一种听觉康复训练系统，参照图1、图2和图3所示，本实施例是在实施例二的基础上进行的。
该言语康复训练系统还包括口型比对模块12，口型比对模块12包括标准口型获取单元121、用户口型采集单元122。
标准口型获取单元121与言语题库22连接，其言语题库22存储有与标准音频对应的标准口型视频，即该标准口型获取单元121用于自言语题库22中获取与标准音频对应的标准口型视频；标准口型获取单元121还与显示设备3连接并向显示设备3发送标准口型视频，显示设备3还用于播放对应的标准口型视频，当标准口型视频播放时，标准音频同步播放。
用户口型采集单元122用于记录用户的口型，记为用户口型视频并存储，用户口型采集单元122具体可以为摄像机；用户口型采集单元122还与显示设备3连接并向显示设备3发送用户口型视频，控制显示设备3还用于播放该用户口型视频；标准口型获取单元121还与播放单元连接，当用户口型视频播放时，反馈音频同步播放。
值得说明的是，当标准口型视频和用户口型视频同步播放时，标准音频和反馈音频静音播放，以避免相互干扰；用户也可以自行选择重新播放该标准口型视频、用户口型视频。
值得说明的是，口型比对模块12还包括口型比对单元123，口型比对单元123与标准口型获取单元121、用户口型采集单元122连接，并用于将标准口型视频和用户口型视频进行比对然后输出比对信号。显示设备3与口型比对单元123连接，接收该比对信号，并显示相应信息。其比对方式可以包括唇形对比、开口度的比对、舌位对比的一种或多种，当该比对方式不限于上述类型。
具体的，当该对比方式为唇形对比时，该口型比对单元123需要获取标准口型视频、用户口型视频对应时间的唇形，其中对标准口型的唇形、用户口型的唇形依照形状进行分类，该唇形可以但不限于为圆形、椭圆形等，然后判断标准口型的唇形类型与用户口型的唇形类型是否相同，若是，则输出唇型准确的比对信号，若否，则示出唇型错误的比对信号。
当该对比方式为开口度对比时，该口型对比单元需要获取标准口视频、用户口型视频对应时间的开口度，计算标准口型开口度与用户口型开口度的差值，并判断该差值是否超过预设范围，若是则输出开口度错误的比对信号；若否，则输出开口度正确的比对信号。
当该对比方式为舌位对比时，该口型对比单元需要获取标准口型视频、用户口型视频对应时间的舌位，计算标准口型舌位与用户口型舌位的阶段，该阶段可以但不限于前高、前低、后高和后低等，然后判断二者的阶段是否相同，若是则输出舌位正确的比对信号；若否，则输出舌位错误的比对信号。
作为优选的方案，参照图3所示，该言语康复训练系统还包括文字匹配模块13，该文字匹配模块13与标准文字获取模块10、语音识别模块11连接，并用于将标准文字和参考文字匹配，获取差异字段及与差异字段对应的差异播放进度。
该文字匹配模块13还与显示设备3连接，用于控制当标准口型视频和/或用户口型视频的播放进度与差异播放进度匹配时，输出提醒信号。该提醒信号可以表现为在显示设备3上显示特殊图案。通过上述技术方案，有助于用户快速弄清楚标准音频与反馈音频的差异之处。
上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。
技术特征：
1.一种言语康复训练系统，其特征在于，包括出题模块、显示设备、采集模块、播放模块、振动设备以及振动模块，
所述出题模块用于获取训练题目，所述训练题目关联有标准音频；所述显示设备与所述出题模块连接，并用于显示所述训练题目；所述采集模块用于采集用户根据所述训练题目完成的音频，并记为反馈音频；所述播放模块用于播放所述反馈音频和所述标准音频；所述振动模块与所述播放模块、所述振动设备连接，并用于当所述标准音频/所述反馈音频播放时，控制所述振动设备输出对应匹配的标准振感/反馈振感。
2.根据权利要求1所述的言语康复训练系统，其特征在于，还包括与所述振动设备连接的振动选择模块，所述振动选择模块用于生成振动选择信号并发送至所述振动设备，所述振动设备响应所述振动选择信号并进入对应的启动状态或关闭状态。
3.根据权利要求1所述的言语康复训练系统，其特征在于，所述标准振感/所述反馈振感均包括随时间变化的强度信息和频率信息，所述强度信息与所述标准音频/所述反馈音频的声音强度对应匹配，所述频率信息与所述标准音频/所述反馈音频的声音基频对应匹配。
4.根据权利要求1所述的言语康复训练系统，其特征在于，还包括与所述显示设备连接的语音处理分析模块，所述语音处理分析模块用于获取与所述标准音频/所述反馈音频对应的语音参数变化图，在所述标准音频/所述反馈音频播放时，所述显示设备显示对应的语音参数变化图。
5.根据权利要求4所述的言语康复训练系统，其特征在于，所述语音参数变化图的语音参数包括音量、音调、共振峰中的一种或多种。
6.根据权利要求4所述的言语康复训练系统，其特征在于，所述语音处理分析模块还包括评估单元，所述评估单元用于计算语音参数类型相同的语音参数变化图在对应播放时间上的关系值。
7.根据权利要求4所述的言语康复训练系统，其特征在于，还包括标准文字获取模块和语音识别模块，
所述标准文字获取模块与所述显示设备连接，并用于获取与所述标准音频关联的标准文字，当所述标准音频播放时，所述显示设备显示所述标准文字；所述语音识别模块与所述显示设备连接，并用于将所述反馈音频的内容转化为文字信息，并记为参考文字，当所述反馈音频播放时，所述显示设备显示所述参考文字。
8.根据权利要求1至7任意一项所述的言语康复训练系统，其特征在于，还包括口型比对模块，所述口型比对模块包括标准口型获取单元、用户口型采集单元单元，
所述标准口型获取单元与所述显示设备连接，用于获取与所述标准音频对应的标准口型视频，并发送至所述显示设备；所述口型采集模块与所述显示设备连接，用于采集用户基于所述训练题目完成的视频，记为用户口型视频并发送至所述显示设备。
9.根据权利要求8所述的言语康复训练系统，其特征在于，所述口型比对模块还包括口型比对单元，口型比对单元与所述标准口型获取单元、所述用户口型采集单元连接，用于将所述标准口型视频与所述用户口型视频比对，并向所述显示设备输出比对信号。
10.根据权利要求8所述的言语康复训练系统，其特征在于，当所述标准口型视频播放时，所述标准音频同步播放；当所述用户口型视频播放时，所述反馈音频同步播放；当所述标准口型视频和所述用户口型视频同步播放时，所述标准音频和所述反馈音频静音播放。
技术总结
本发明公开一种言语康复训练系统，涉及电子信息以及辅助康复技术领域，用于解决传统言语训练方法的信号刺激形式单一，导致训练效果不佳的问题，其包括出题模块、显示设备、采集模块、播放模块、振动设备、振动模块，出题模块用于获取训练题目；显示设备用于显示训练题目；采集模块用于采集用户根据训练题目完成的音频，并记为反馈音频；播放模块用于播放反馈音频和标准音频；振动模块与播放模块、振动设备连接，用于当标准音频/反馈音频播放时，控制振动设备输出对应匹配的标准振感/反馈振感。该言语康复训练系统通过听觉、视觉和触觉的多感官融合的刺激形式，可以增强用户的声音感知能力，从而促进其言语功能发育，以提升言语训练效果。
技术研发人员：王宁远;张晓薇;唐国芳;李方波
受保护的技术使用者：杭州南粟科技有限公司
技术研发日：.11.29
技术公布日：.02.28
如果觉得《言语康复训练系统的制作方法》对你有帮助，请点赞、收藏，并留下你的观点哦！
