专利摘要

本发明公开了一种自动识别和朗读药品说明书的方法。所述方法包括：系统通过拍摄一张药品说明书的图片，自动识别国药准字并以此通过调用互联网接口获取具体药品信息；通过霍夫直线检测算法实现基于傅里叶变换的旋转文本校正，将拍摄得到有旋转偏差的文本旋转至水平；通过识别药品说明书上是否有文字来检测纸张是否翻转，并通过语音提示将翻转的纸张翻转回来；通过同时识别经过旋转文本校正的图片和翻转180°后得到的图片获取国药准字；通过调用互联网提供的药品信息接口，上传识别得到的国药准字并返回药品信息并进行朗读。本发明能帮助老人、盲人、视力障碍及文盲等群体阅读药品说明书，并通过语音播放出来，提高他们的生活质量。

权利要求

1.一种自动识别和朗读药品说明书的方法，采用具有摄像头、处理器、语音播放模块的识别系统，其特征在于包括如下步骤：

（1）识别说明书，系统通过拍摄一张药品说明书的图片，自动识别国药准字并以此通过调用互联网接口获取具体药品信息；其中还包括精简识别字库，只保留关键字，再进行训练，提高识别准确率和识别速度；同时也能识别国外的进口药；包括如下步骤：

分析连通区域，检测出字符区域的区域轮廓和子轮廓，集成为块区域；

找到块区域，检测出字符轮廓，得到文本行；再通过空格得到单词；

找文本行和单词，采用自适应分类器，分析单词；进行两次单词分析；

得出识别文本，识别含有模糊的空格，笔画高度，小写字母；

（2）旋转文本校正，通过霍夫直线检测算法实现基于傅里叶变换的旋转文本校正，将拍摄得到有旋转偏差的文本旋转至水平；包括如下步骤：

（2.1）以灰度方式读入原文件；

（2.2）将图像扩展到合适的尺寸以方便快速变换；

（2.3）进行DFT运算，分别计算实部和虚部；

（2.4）对数据进行适当调整，考虑到幅度变化范围很大，还要用log函数把数值范围缩小；

（2.5）移动中心，DFT运算的结果低频部分位于四角，高频部分在中心，因此要把低频部分移动到中心；

（2.6）图像校正，先将得到的傅里叶频谱进行二值化，接下来检测直线，然后找到符合条件的那条斜线并获取角度，接着进行角度转换，最后对图像进行校正；

（3）纸张翻转检测，通过识别药品说明书上是否有文字来检测纸张是否翻转，并通过语音提示将翻转的纸张翻转回来；

（4）文本倒置翻转检测，通过同时识别经过旋转文本校正的图片和翻转180°后得到的图片获取国药准字；

（5）获取药品信息，通过调用互联网提供的药品信息接口，上传识别得到的国药准字并返回药品信息；

（6）语音唤醒，通过使用语音唤醒库设定唤醒短语，将系统从睡眠状态唤醒过来；

（7）语音合成，通过使用语音合成库，将药品的文本信息朗读出来。

2.根据权利要求 1 所述的一种自动识别和朗读药品说明书的方法，其特征在于，步骤（5）获取药品信息中还包括处理返回的字符串得到药品的文本信息，为语音合成提供文件。

3.根据权利要求 1 所述的一种自动识别和朗读药品说明书的方法，其特征在于，还包含采用语音识别模块，通过使用语音识别库设定控制命令，识别语音指令。

说明书

技术领域

本发明涉及药品说明书的识别技术领域，具体涉及自动识别和朗读药品说明书的方法。

背景技术

在中国，视障人数达1731万，占到了世界盲人总数的18％。盲人和弱视朋友在生活中有许多的不便，读书看报在我们普通人看来易如反掌的事情对他们来说是异常艰难。尽管如此，还是有一些盲文书籍书报可以供他们学习阅读。可是药品说明书一般是没有盲文的，当他们需要用药的时候真的是没有任何办法。

目前中国老年人口已超过2亿，老龄化程度进一步加深。老年人在日常生活中也经常和药物打交道，他们的眼睛一般不好使，而且药品说明书上的文字一般较小，用药对他们来说是一件头痛的事。而今中国文盲群体超过5000万，如何识别和阅读药品说明书上的文字对他们来说更是一件艰难的事。

基于以上的存在问题，本发明核心功能是给盲人、弱视群体阅读药品说明书并通过语音的形式让他们获取。当然，此功能也能很好地应用到老年人和文盲群体上，因为他们有共同的需求。考虑到用户群体的特殊性，本作品是通过语音来操作控制的，实际运行起来更加高效简便。除此之外，本发明还添加了语音播报最新社会热点的功能，为盲人朋友和老年人打开了一扇与外界接触的心灵之窗。

发明内容

为了实现上述技术目的，本发明提供一种自动识别和朗读药品说明书的方法，本发明具有识别说明书、旋转文本校正、纸张翻转检测、文本翻转检测、获取药品信息、语音唤醒、语音合成、语音识别功能。

一种自动识别和朗读药品说明书的方法，采用具有摄像头、处理器、语音播放模块的识别系统，包括如下步骤：

（1）识别说明书，系统通过拍摄一张药品说明书的图片，自动识别国药准字并以此通过调用互联网接口获取具体药品信息；

（2）旋转文本校正，通过霍夫直线检测算法实现基于傅里叶变换的旋转文本校正，将拍摄得到有旋转偏差的文本旋转至水平；

（3）纸张翻转检测，通过识别药品说明书上是否有文字来检测纸张是否翻转，并通过语音提示将翻转的纸张翻转回来；

（4）文本翻转检测，通过同时识别经过旋转文本校正的图片和翻转180°后得到的图片获取国药准字；

（5）获取药品信息，通过调用互联网提供的药品信息接口，上传识别得到的国药准字并返回药品信息；

（6）语音唤醒，通过使用语音唤醒库设定唤醒短语，将系统从睡眠状态唤醒过来；

（7）语音合成，通过使用语音合成库，将药品的文本信息朗读出来。

进一步地，步骤（1）包括如下步骤：

（1.1）分析连通区域，检测出字符区域的区域轮廓和子轮廓，集成为区块域；

（1.2）找到块区域，检测出字符轮廓，得到文本行；再通过空格得到单词；

（1.3）找文本行和单词，采用自适应分类器，分析单词；进行两次单词分析；

（1.4）得出识别文本，识别含有模糊的空格，笔画高度，小写字母。

进一步地，步骤（2）包括如下步骤：

（2.1）以灰度方式读入原文件；

（2.2）将图像扩展到合适的尺寸以方便快速变换；

（2.3）进行DFT运算，分别计算实部和虚部；

（2.4）对数据进行适当调整，考虑到幅度变化范围很大，还要用log函数把数值范围缩小；

（2.5）移动中心，DFT运算的结果低频部分位于四角，高频部分在中心，因此要把把低频部分移动到中心；

（2.6）图像校正，先将得到的傅里叶频谱进行二值化，接下来检测直线，然后找到符合条件的那条斜线并获取角度，接着进行角度转换，最后对图像进行校正。

进一步地，步骤（1）中，还包括，精简识别字库，只保留关键字，再进行训练，提高识别准确率和识别速度；同时也能识别国外的进口药。张翻转检测，通过识别药品说明书上是否有文字来检测纸张是否翻转，并通过语音提示将翻转的纸张翻转回来。文本翻转检测，通过同时识别经过旋转文本校正的图片和翻转180°后得到的图片获取国药准字，避免文本翻转后识别不出正确结果。

进一步地，步骤（5）获取药品信息中还包括处理返回的字符串得到药品的文本信息，为语音合成提供文件。

进一步地，还包含采用语音识别模块，通过使用语音识别库设定控制命令，识别语音指令。

采用上述技术方案后，本发明至少具有如下优点和技术效果：

（1）设计新颖，关怀盲人朋友和老年人弱势群体，具有社会责任感。通过给他们阅读药品说明书为切入点，实在地解决他们日常生活中阅读药品说明书的困难，具有人文关怀。

（2）以国药准字编号为文字识别的关键词，很好地避免了纸张弯曲变形导致局部识别结果不准确。而且比起汉字，字母和数字的识别准确率更高，精简字库还能进一步提高识别速度。此识别方法十分巧妙，很好地解决所面临的问题。

（3）考虑到盲人朋友实际操作起来并不会十分顺畅，因此给本发明添加了纸张翻转检测、旋转文本校正和文本翻转检测功能，系统操作起来不会有任何障碍。

（4）充分考虑到用户群体的特殊性，本发明是通过语音控制来操作的，实际操作起来十分方便高效，应用前景开阔。

（5）本发明还具有语音唤醒功能，当需要使用的时候只要轻轻说出“我的小助手”即可唤醒系统，不需要的时候说出“退出”即可退出系统，系统工作于低功耗。

（6）本发明还具有播报社会热点的功能，很好地为盲人朋友和老年人提供新闻信息，丰富他们的日常生活。

附图说明

图 1 为本发明一种自动识别和朗读药品说明书的方法的步骤框图。

图 2为本发明一种自动识别和朗读药品说明书的方法中识别说明书的步骤框图。

具体实施方式

以下结合后附图和实例对本发明的具体实施作进一步说明，但本发明的实施和保护不限于此。

如图1所示，本实例的一种自动识别和朗读药品说明书的方法，采用具有摄像头、处理器、语音播放模块的识别系统，包括如下步骤：

（1）识别说明书，系统通过拍摄一张药品说明书的图片，自动识别国药准字并以此通过调用互联网接口获取具体药品信息；

（2）旋转文本校正，通过霍夫直线检测算法实现基于傅里叶变换的旋转文本校正，将拍摄得到有旋转偏差的文本旋转至水平；

（3）纸张翻转检测，通过识别药品说明书上是否有文字来检测纸张是否翻转，并通过语音提示将翻转的纸张翻转回来；

（4）文本翻转检测，通过同时识别经过旋转文本校正的图片和翻转180°后得到的图片获取国药准字；

（5）获取药品信息，通过调用互联网提供的药品信息接口，上传识别得到的国药准字并返回药品信息；

（6）语音唤醒，通过使用语音唤醒库设定唤醒短语，将系统从睡眠状态唤醒过来；

（7）语音合成，通过使用语音合成库，将药品的文本信息朗读出来。

作为实例，利用文本旋转15°后的照片进行测试，可以看出经过旋转文本校正，图片已经旋转至水平放置，能够很好地确保后续识别说明书的准确性。

如图2，步骤（1）包括如下步骤：

（1.1）分析连通区域，检测出字符区域的区域轮廓和子轮廓，集成为区块域；

（1.2）找到块区域，检测出字符轮廓，得到文本行；再通过空格得到单词；

（1.3）找文本行和单词，采用自适应分类器，分析单词；进行两次单词分析；

（1.4）得出识别文本，识别含有模糊的空格，笔画高度，小写字母。

步骤（2）包括如下步骤：

（2.1）以灰度方式读入原文件；

（2.2）将图像扩展到合适的尺寸以方便快速变换；

（2.3）进行DFT运算，分别计算实部和虚部；

（2.4）对数据进行适当调整，考虑到幅度变化范围很大，还要用log函数把数值范围缩小；

（2.5）移动中心，DFT运算的结果低频部分位于四角，高频部分在中心，因此要把把低频部分移动到中心；

（2.6）图像校正，先将得到的傅里叶频谱进行二值化，接下来检测直线，然后找到符合条件的那条斜线并获取角度，接着进行角度转换，最后对图像进行校正。

步骤（1）中，还包括，精简识别字库，只保留关键字，再进行训练，提高识别准确率和识别速度；同时也能识别国外的进口药。张翻转检测，通过识别药品说明书上是否有文字来检测纸张是否翻转，并通过语音提示将翻转的纸张翻转回来。文本翻转检测，通过同时识别经过旋转文本校正的图片和翻转180°后得到的图片获取国药准字，避免文本翻转后识别不出正确结果。

作为实例，为了便于拍摄照片，拍摄得到的原始图片文字并不是水平放置的。为了正确识别，需要将照片顺时针旋转90°后才可以进行识别。由于本作品中只需要识别出国药准字的编号，因此在字库中只添加了阿拉伯数字“0-9”，大写字母“H、Z、S、B、T、F、J”，和汉字“药名称成分性状功能主治法量不良反应禁忌注意事项物相互作用贮藏包装有效期执行标批准文号说明书修期生产企业国准字”。尽管识别出的信息看似没有逻辑，其实这样做有以下两点好处。优点一：字库小，识别速度快；优点二：限定关键词，相当于做了一层过滤，提高了识别准确率。用本次方法训练得到的字库进行识别，识别一张说明书只要5s左右，而用默认的中文字库进行识别则要1min左右，识别速度大大提高。而且本作品只要识别匹配国药准字的编号，由结果可以看出已经很好地识别出“准字Z44022935”，因而下面的操作可以通过“Z44022935”参数调用云端接口获取药品的详细信息。

通过调用互联网所提供的药品信息接口，返回“加味藿香正气丸”的药品信息。可以看出返回的原始信息是JSON字符串，并且含有许多符号，因此要经过处理后才能将文字读出来。这里用到了正则表达式，分别将原始信息处理成查看用的和给语音合成程序用的文本。可以看得出处理结果良好，而且处理速度也十分快。

一种自动识别和朗读药品说明书的方法专利购买费用说明

Q：办理专利转让的流程及所需资料

A：专利权人变更需要办理著录项目变更手续，有代理机构的，变更手续应当由代理机构办理。

1：专利变更应当使用专利局统一制作的“著录项目变更申报书”提出。

2：按规定缴纳著录项目变更手续费。

3：同时提交相关证明文件原件。

4：专利权转移的，变更后的专利权人委托新专利代理机构的，应当提交变更后的全体专利申请人签字或者盖章的委托书。

Q:专利著录项目变更费用如何缴交

A：（1）直接到国家知识产权局受理大厅收费窗口缴纳,（2）通过代办处缴纳，（3）通过邮局或者银行汇款,更多缴纳方式

Q：专利转让变更，多久能出结果

A：著录项目变更请求书递交后，一般1-2个月左右就会收到通知，国家知识产权局会下达《转让手续合格通知书》。