基于手指关键点识别的面向聋哑人的双向交流翻译器-第十七届-中国宋庆龄基金会少年儿童发明奖 |
您所在的位置:网站首页 › 聋哑人的手势识别 › 基于手指关键点识别的面向聋哑人的双向交流翻译器-第十七届-中国宋庆龄基金会少年儿童发明奖 |
基于手指关键点识别的面向聋哑人的双向交流翻译器
来源: 发布时间:2022-11-07
浏览次数:2038
基本信息
第一作者姓名:鲁沐莀 性别:女 民族:汉族 第一作者学校:上海市第四中学 第一作者人所在年级:七年级 第一作者人所在年级: 性别: 民族: 第二作者人所在学校: 第二作者人所在年级: 辅导教师姓名:张业金 作品摘要*主要特征: 结合手指关键点识别技术与语音播报技术,设计了一款即时聋哑人与正常人的双向翻译器,不仅能够实现将手语进行翻译播报,还能够接收正常人的语言进行语音识别,将其输出显示在屏幕上。 *主要用途: 患有听障和语言障碍的人被各种问题所困扰,因为生理原因,许多工作无法去尝试和完成,常受到歧视。于是,我想制作一个便携、可以即时识别手语的智能装置,可以进行双向沟通,解决普通人与聋哑人士沟通困难的难题。 *与人工智能的相关性说明: 1.双向交流翻译器完成了双向翻译,使用更加方便。 2.使用百度AI的手指关键点技术学习制作了手语对比库,以此完成手语的识别问题,让计算机机器视觉技术造福社会。 作品说明*构思形成: 针对聋哑人与正常人的沟通障碍,本课题基于opencv和语音识别技 术设计并开发了一款双向交流翻译器。让正常人与聋哑人的沟通更加顺畅,方便,帮助聋哑人融入社会。 *设计过程: 1.外观设计与制作:使用LaserMaker绘制图纸,使用光切机切割板 材,最后将切割的材料进行组装。 2.语音识别程序:使用mind+编程控制语音识别传感器识别声音,并把识别结果输 出在屏幕上。 3.手语翻译功能:利用百度AI手指关键点技术学习各种手语图库,并建立手语对比 学习库。盲人手语是有一段时间过程。采用的是视频拍摄,然后对视频间隔半秒进 行画面截取。截取图片进行关键点识别后与对比库对比。 *演示效果: 1、手语识别的整体准确度达到86%。其中提问的语句准确度偏低,因为识别过程包含了多个手势的集合。而对于单手势的语句,识别准确度高达百分之百。 2、噪音下声音识别度随着分贝越高,识别准确度就越低。在噪音小于50分贝时准 确度达到80%以上,正好满足我们生活中大部分场景的需求。 3、实验测定使用设备可以让聋哑人与正常人的沟通时间减少了50%左右,准确率提 高了25%。可见有效的帮助聋哑人与普通人交流。 *优点: 该项目对于聋哑人融入社会有着重大意义,未来可针对设备的翻译手语库进行扩充,并使用图片分割技术高效的处理手语翻译中的环境等相关干扰因素。让设备成熟化,既可进行商业化,以此提高聋哑人群的生活、学习等方面。 *还需进一步研究的问题: 后续我会加入脸部识别,能够将聋哑人在进行手语交流时的神态以及面部表情做分析,这样我们不仅知道对方表达的内容,也能够对其心情做一个描述,在与聋哑人交流时同时也能顾及到对方的心情变化,能够走入对方的内心。 作品图片 |
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |