目录

前言

1、安装paddleocr

2、安装PIL

3、安装numpy

4、 安装pyautogui

5、进行文本识别

6、识别结果

7、获取文字在图片/屏幕中的位置

8、pyautogui+paddleocr鼠标操作

9、完整代码

最近在做自动化测试，因为是处理过的界面，所以使用pywinauto,LDTP获取控件进行操作的方法不可行，于是选择使用pyautogui进行图像识别与键盘鼠标控制。

但是单独使用pyautogui测试效率很低，并且pyautogui图片识别并没有opencv识别率高，所以需要结合其他图像库使用。

在使用的过程中发现，仅仅使用图像识别有时匹配度比较低，使用opencv进行图像识别定位，是图像像素太小查找成功的几率大大降低，于是想到使用OCR文本识别的方法对其进行查找，结合在一起使用，大大提高了工作效率。   

OCR图像识别我试过Tessract-ocr和paddleocr，发现Tessract-ocr识别正确率太低了，实在不推荐使用。

有关paddleocr的信息可以去github上查看：https://github.com/PaddlePaddle/PaddleOCR

于是想要记录一下，也提供给大家参考学习。

使用以下命令进行安装：

PythonPIL（Python Image Library）是一款用来处理图像的开源库，可实现图像的读取、格式转换、简单编辑、保存等功能。在Python中使用PIL库可以很方便地对图像进行操作。

与 Pillow 相比，OpenCV 和 Scikit-image 的功能更为丰富，所以使用起来也更为复杂，主要应用于机器视觉、图像分析等领域，比如众所周知的“人脸识别”应用 。

在这里我们使用PIL对图像进行处理。

使用以下命令进行安装：

NumPy（Numerical Python）是Python的一种开源的数值计算扩展。这种工具可用来存储和处理大型矩阵，比Python自身的嵌套列表（nested list structure）结构要高效的多（该结构也可以用来表示矩阵（matrix）），支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。

我们使用numpy用来处理屏幕截图，把其转换为矩阵，再进行下一步处理。

使用以下命令进行安装：

pyautogui是一个Python模块，可以模拟用户在屏幕上的鼠标和键盘操作。它可以自动化鼠标和键盘输入，可以用于各种自动化任务，例如GUI测试、自动化数据输入、自动化游戏玩法等。pyautogui提供了一组函数来控制鼠标和键盘，例如移动鼠标、单击、双击、右键单击、按下和释放键等。它还提供了一些额外的功能，例如捕捉屏幕截图、识别颜色和图像等，以及其他一些实用工具，例如获取屏幕尺寸和鼠标位置。

使用以下命令进行安装：

安装好库之后，在脚本文件开头导入

在main中调用，不指定path路径，默认使用屏幕截图进行文本识别，设置输出识别结果到控制台，设置保存识别结果为图片，运行：

识别的屏幕截图为一篇博客：

等待3-10s输出结果，识别文本越多，速度越慢，运行结果如下：

信息比较多，我们提取一下，最终识别的结果如下，可以看出内容识别正确程度还是比较高的：

保存图片结果如下：

截取部分查看，可以看到识别的文字区域，识别文字，识别可信度：

 我们可以看到识别完成的图像已经把文字区域框出来了，并且让我们仔细看输出的结果：

我截取出“目录”的输出信息，发现输出的一个结果其实是由两个列表组成的，在这里为了方便我把这一个结果列表称为result，那么result[0]就是文字的四个角的位置，result[1]就是识别出的文字与confidence可信度。

那么要怎么样获取到某一个文字的位置呢？

可以看以下代码：

我们可以去通过输入想要寻找的文字，函数会返回文字的位置，关于图片的位置，我只取了一个点top去使用，如果有其他的需求可以取多个点自行修改。

跑一下：

 找到的位置已经输出了：

 对于有多个同样的文字，则会返回一个列表，存所有对应文字的信息：

获取到位置后就可以进行点击操作了！

如果要进行点击，pos的值其实需要一些偏移量：

结果如下：

 这样就操作成功了！