Adrian小哥教程:如何使用Tesseract和OpenCV执行OCR和文本识别

标签: adrian 小哥 tesseract | 发表时间:2018-10-16 00:29 | 作者:机器之心
出处:https://www.jiqizhixin.com/

近期,Adrian Rosebrock 发布一篇教程,介绍了如何使用 OpenCV、Python 和 Tesseract 执行文本检测和文本识别。从安装软件和环境、项目流程、review 代码、实验结果,到展示局限、提出建议,这篇教程可以说十分详细了。机器之心对该教程进行了摘要编译介绍。

本教程将介绍如何使用 OpenCV OCR。我们将使用 OpenCV、Python 和 Tesseract 执行文本检测和文本识别。

之前的教程展示了如何使用 OpenCV 的 EAST 深度学习模型执行文本检测(参见 https://www.pyimagesearch.com/2018/08/20/opencv-text-detection-east-text-detector/)。使用该模型能够检测和定位图像中文本的边界框坐标。

那么下一步就是使用 OpenCV 和 Tesseract 处理每一个包含文本的图像区域,识别这些文本并进行 OCR 处理。

本教程将介绍如何构建自己的 OpenCV OCR 和文本识别系统!

使用 Tesseract 进行 OpenCV OCR 和文本识别

为了执行 OpenCV OCR 和文本识别任务,我们首先需要安装 Tesseract v4,包括一个用于文本识别的高度准确的深度学习模型。

然后,我将展示如何写一个 Python 脚本,使其能够:

  1. 使用 OpenCV EAST 文本检测器执行文本检测,该模型是一个高度准确的深度学习文本检测器,可用于检测自然场景图像中的文本。

  2. 使用 OpenCV 检测出图像中的文本区域后,我们提取出每个文本 ROI 并将其输入 Tesseract,从而构建完整的 OpenCV OCR 流程!

最后,我将展示一些使用 OpenCV 应用文本识别的示例,并讨论该方法的缺陷。

下面就开始本教程的正式内容吧!

如何安装 Tesseract v4

图 1:Tesseract OCR 引擎于 20 世纪 80 年代出现,到 2018 年,它已经包括内置的深度学习模型,变成了更加稳健的 OCR 工具。Tesseract 和 OpenCV 的 EAST 检测器是一个很棒的组合。

Tesseract 是一个很流行的 OCR 引擎,20 世纪 80 年代由 Hewlett Packard 开发,2005 年开源,自 2006 年起由谷歌赞助开发。该工具在受控条件下也能很好地运行,但是如果存在大量噪声或者图像输入 Tesseract 前未经恰当处理,则性能较差。

深度学习计算机视觉的各个方面都产生了影响,字符识别和手写字体识别也不例外。基于深度学习的模型能够实现前所未有的文本识别准确率,远超传统的特征提取和机器学习方法。Tesseract 纳入深度学习模型来进一步提升 OCR 准确率只是时间问题,事实上,这个时间已经到来。

Tesseract (v4) 最新版本支持基于深度学习的 OCR,准确率显著提高。底层的 OCR 引擎使用的是一种循环神经网络(RNN)——LSTM 网络。

安装 OpenCV

要运行本教程的脚本,你需要先安装 3.4.2 或更高版本的 OpenCV。安装教程可参考 https://www.pyimagesearch.com/opencv-tutorials-resources-guides/,该教程可确保你下载合适的 OpenCVOpenCV-contrib 版本。

在 Ubuntu 上安装 Tesseract 4

在 Ubuntu 上安装 Tesseract 4 的具体命令因你使用的 Ubuntu 版本而异(Ubuntu 18.04、Ubuntu 17.04 或更早版本)。你可使用 lsb_release 命令检查 Ubuntu 版本:

如上所示,我的机器上运行的是 Ubuntu 18.04,不过你在继续操作之前需要先检查自己的 Ubuntu 版本。

对于 Ubuntu 18.04 版本的用户,Tesseract 4 是主 apt-get 库的一部分,这使得通过下列命令安装 Tesseract 非常容易:

如果你正在使用 Ubuntu 14、16 或 17 版本,那么由于依赖需求,你需要额外的命令行。

Alexander Pozdnyakov 创建了用于 Tesseract 的 Ubuntu PPA(https://launchpad.net/~alex-p/+archive/ubuntu/tesseract-ocr),大大简化了在 Ubuntu 旧版本上安装 Tesseract 4 的过程。

只需要向系统添加 alex-p/tesseract-ocr PPA 库,更新你的包定义,然后安装 Tesseract:

如果没有错误,那么你应该已经在自己的机器上成功安装了 Tesseract 4。

在 macOS 上安装 Tesseract 4

如果你的系统中安装有 Homebrew(macOS「非官方」包管理器),那么在 macOS 上安装 Tesseract 4 很简单。

只需要运行以下命令,确保指定 --HEAD,即可在 Mac 电脑上安装 Tesseract v4:

安装好之后,你可能想删除初始安装的链接:

接下来就可以运行安装命令了。

验证你的 Tesseract 版本

图 2:我的系统终端截图。我输入 tesseract -v 命令来检查 Tesseract 版本。

确保安装了 Tesseract 以后,你应该执行以下命令验证 Tesseract 版本:

只要输出中包含 tesseract 4,那么你就成功在系统中安装了 Tesseract 的最新版本。

安装 Tesseract + Python 捆绑

安装好 Tesseract 库之后,我们需要安装 Tesseract + Python 捆绑,这样我们的 Python 脚本就可以与 Tesseract 通信,并对 OpenCV 处理过的图像执行 OCR。

如果你使用的是 Python 虚拟环境(非常推荐,你可以拥有独立的 Python 环境),那么使用 workon 命令访问虚拟环境:

如上所示,我访问了一个叫做 cv 的 Python 虚拟环境(cv 是「计算机视觉」的缩写),你也可以用其他名字命名虚拟环境。

接下来,我们将使用 pip 来安装 Pillow(PIL 的 Python 版本),然后安装 pytesseract 和 imutils:

现在打开 Python shell,确认你导入了 OpenCV 和 pytesseract:

恭喜!如果没有出现导入错误,那么你的机器现在已经安装好,可以使用 OpenCV 执行 OCR 和文本识别任务了。

理解 OpenCV OCR 和 Tesseract 文本识别

图 3:OpenCV OCR 流程图。

现在我们已经在系统上成功安装了 OpenCV 和 Tesseract,下面我们来简单回顾一下流程和相关命令。

首先,我们使用 OpenCV 的 EAST 文本检测器来检测图像中的文本。EAST 文本检测器将提供文本 ROI 的边界框坐标。我们将提取每个文本 ROI,将其输入到 Tesseract v4 的 LSTM 深度学习文本识别算法。LSTM 的输出将提供实际 OCR 结果。最后,我们将在输出图像上绘制 OpenCV OCR 结果。

过程中使用到的 Tesseract 命令必须在 pytesseract 库下调用。在调用 tessarct 库时,我们需要提供大量 flag。最重要的三个 flag 是 -l、--oem 和 --ism。

-l flag 控制输入文本的语言,本教程示例中使用的是 eng(英语),在这里你可以看到 Tesseract 支持的所有语言:https://github.com/tesseract-ocr/tesseract/wiki/Data-Files

--oem(OCR 引擎模式)控制 Tesseract 使用的算法类型。执行以下命令即可看到可用的 OCR 引擎模式:

我们将使用--oem 1,这表明我们希望仅使用深度学习 LSTM 引擎。

最后一个重要的 flag --psm 控制 Tesseract 使用的自动页面分割模式:

对文本 ROI 执行 OCR,我发现模式 6 和 7 性能较好,但是如果你对大量文本执行 OCR,那么你可以试试 3(默认模式)。

如果你得到的 OCR 结果不正确,那么我强烈推荐调整 --psm,它可以对你的输出 OCR 结果产生极大的影响。

项目结构

你可以从本文「Downloads」部分下载 zip。然后解压缩,进入目录。下面的 tree 命令使得我们可以在终端阅览目录结构:

我们的项目包含一个目录和两个重要文件:

  • images/:该目录包含六个含有场景文本的测试图像。我们将使用这些图像进行 OpenCV OCR 操作。

  • frozen_east_text_detection.pb:EAST 文本检测器。该 CNN 已经经过预训练,可用于文本检测。它是由 OpenCV 提供的,你也可以在「Downloads」部分下载它。

  • text_recognition.py:我们的 OCR 脚本。我们将逐行 review 该脚本。它使用 EAST 文本检测器找到图像中的文本区域,然后利用 Tesseract v4 执行文本识别。

实现我们的 OpenCV OCR 算法

现在开始用 OpenCV 执行文本识别吧!

打开 text_recognition.py 文件,插入下列代码:

本教程中的 OCR 脚本需要五个导入,其中一个已经内置入 OpenCV

最显著的一点是,我们将使用 pytesseract 和 OpenCV。我的 imutils 包将用于非极大值抑制,因为 OpenCV 的 NMSBoxes 函数无法适配 Python API。我注意到 NumPy 是 OpenCV 的依赖项。

argparse 包被包含在 Python 中,用于处理命令行参数,这里无需安装。

现在已经处理好导入了,接下来就来实现 decode_predictions 函数:

decode_predictions 函数从第 8 行开始,在这篇文章中有详细介绍(https://www.pyimagesearch.com/2018/08/20/opencv-text-detection-east-text-detector/)。该函数:

  1. 使用基于深度学习的文本检测器来检测(不是识别)图像中的文本区域。

  2. 该文本检测器生成两个阵列,一个包括给定区域包含文本的概率,另一个阵列将该概率映射到输入图像中的边界框位置。

EAST 文本检测器生成两个变量:

  • scores:文本区域的概率。

  • geometry:文本区域的边界框位置。

两个变量都是 decode_predictions 函数的参数

该函数处理输入数据,得出一个包含文本边界框位置和该区域包含文本的相应概率的元组:

  • rects:该值基于 geometry,其格式更加紧凑,方便我们稍后将其应用于 NMS。

  • confidences:该列表中的置信度值对应 rects 中的每个矩形。

这两个值都由 decode_predictions 函数得出。

注意:完美情况下,旋转的边界框也在 rects 内,但是提取旋转边界框不利于解释本教程的概念。因此,我计算了水平的边界框矩形(把 angle 考虑在内)。如果你想提取文本的旋转边界框输入 Tesseract,你可以在第 41 行获取 angle。

关于上述代码块的更多细节,参见 https://www.pyimagesearch.com/2018/08/20/opencv-text-detection-east-text-detector/

下面我们来解析命令行参数

我们的脚本需要两个命令行参数

  • --image:输入图像的路径。

  • --east:预训练 EAST 文本检测器的路径。

下列命令行参数是可选的:

  • --min-confidence:检测到的文本区域的最小概率。

  • --width:图像输入 EAST 文本检测器之前需要重新调整的宽度,我们的检测器要求宽度是 32 的倍数。

  • --height:与宽度类似。检测器要求调整后的高度是 32 的倍数。

  • --padding:添加到每个 ROI 边框的(可选)填充数量。如果你发现 OCR 结果不正确,那么你可以尝试 0.05、0.10 等值。

下面,我们将加载和预处理图像,并初始化关键变量:

第 82 行和 83 行,将图像加载到内存中,并复制(这样稍后我们可以在上面绘制输出结果)。

获取原始宽度和高度(第 84 行),然后从 args 词典中提取新的宽度和高度(第 88 行)。我们使用原始和新的维度计算比率,用于稍后在脚本中扩展边界框坐标(第 89 和 90 行)。

然后调整图像大小,此处忽略长宽比(第 93 行)。

接下来,我们将使用 EAST 文本检测器:

第 99 到 101 行,将两个输出层名称转换成列表格式。然后,将预训练 EAST 神经网络加载到内存中(第 105 行)。

必须强调一点:你至少需要 OpenCV 3.4.2 版本,它有 cv2.dnn.readNet 实现。

接下来就是见证第一个「奇迹」的时刻:

为确定文本位置,我们:

  • 在第 109 和 110 行构建 blob。详情参见 https://www.pyimagesearch.com/2017/11/06/deep-learning-opencvs-blobfromimage-works/

  • 将 blob 输入 EAST 神经网络中,获取 scores 和 geometry(第 111 和 112 行)。

  • 使用之前定义的 decode_predictions 函数解码预测(第 116 行)。

  • 通过 imutils 方法进行非极大值抑制(第 117 行)。NMS 高效使用概率最高的文本区域,删除其他重叠区域。

现在我们知道文本区域的位置了,接下来需要识别文本。我们开始在边界框上循环,并处理结果,为实际的文本识别做准备:

我们初始化 results 列表,使其包含我们的 OCR 边界框和文本(第 120 行)。然后在 boxes 上进行循环(第 123 行),我们:

  • 基于之前计算的比率扩展边界框(第 126-129 行)。

  • 填充边界框(第 134-141 行)。

  • 最后,提取被填充的 roi(第 144 行)。

本文的 OpenCV OCR 流程可以使用一点 Tesseract v4「魔术」来完成:

第 151 行,我们设置 Tesseract config 参数(英语、LSTM 神经网络和单行文本)。

注:如果你获取了错误的 OCR 结果,那么你可能需要使用本教程开头的指令配置 --psm 值。

第 152 行,pytesseract 库进行剩下的操作,调用 pytesseract.image_to_string,将 roi 和 config string 输入其中。

只用两行代码,你就使用 Tesseract v4 识别了图像中的一个文本 ROI。记住,很多过程在底层发生。

我们的结果(边界框值和实际的 text 字符串)附加在 results 列表(第 156 行)中。

接下来,我们继续该流程,在循环的基础上处理其他 ROI。

现在,我们来打印出结果,查看它是否真正有效:

第 159 行基于边界框的 y 坐标按自上而下的顺序对结果进行了排序。

对结果进行循环,我们:

  • 将 OCR 处理过的文本打印到终端(第 164-166 行)。

  • 从文本中去掉非 ASCII 字符,因为 OpenCV 在 cv2.putText 函数中不支持非 ASCII 字符(第 171 行)。

  • 基于 ROI 绘制 ROI 周围的边界框和结果文本(第 173-176 行)。

  • 展示输出,等待即将按下的键(第 179、180 行)。

OpenCV 文本识别结果

现在我们已经实现了 OpenCV OCR 流程。

确保使用本教程「Downloads」部分下载源代码、OpenCV EAST 文本检测器模型和示例图像。

打开命令行,导航至下载和提取压缩包的位置,然后执行以下命令:

图 4:对 OpenCV OCR 的第一次尝试成功!

我们从一个简单示例开始。

注意我们的 OpenCV OCR 系统如何正确检测图像中的文本,然后识别文本。

下一个示例更具代表性,是一个现实世界图像:

图 5:更复杂的图像示例,我们使用 OpenCV 和 Tesseract 4 对这个白色背景的标志牌进行了 OCR 处理。

再次,注意我们的 OpenCV OCR 系统如何正确定位文本位置和识别文本。但是,在终端输出中,我们看到了一个注册商标 Unicode 符号,这里 Tesseract 可能被欺骗,因为 OpenCV EAST 文本检测器报告的边界框与标志牌后面的植物发生重叠。

下面我们来看另一个 OpenCV OCR 和文本识别示例:

图 6:使用 OpenCV、Python 和 Tesseract 对包含三个单词的大标志牌进行 OCR 处理。

该示例中有三个单独的文本区域。OpenCV 的文本检测器能够定位每一个文本区域,然后我们使用 OCR 准确识别每个文本区域。

下一个示例展示了在特定环境下添加填充的重要性:

 图 7:在这个烘培店场景图像中,我们的 OpenCV OCR 流程在处理 OpenCV EAST 文本检测器确定的文本区域时遇到了问题。记住,没有一个 OCR 系统完美适用于所有情况。那么我们能否通过更改参数来做得更好呢?

首先尝试对这家烘培店的店面进行 OCR,我们看到「SHOP」被正确识别,但是:

  1. 「CAPUTO」中的「U」被错误识别为「TI」。

  2. 「CAPUTO'S」中的「'S」被漏掉。

  3. 「BAKE」被错误识别为「|.」。

现在我们添加填充,从而扩展 ROI 的边界框坐标,准确识别文本:

图 8:通过向 EAST 文本检测器确定的文本区域添加额外的填充,我们能够使用 OpenCV 和 Tesseract 对烘培店招牌中的三个单词进行恰当的 OCR 处理。

仅仅在边界框的四角周围添加 5% 的填充,我们就能够准确识别出「BAKE」、「U」和「'S」。

当然,也有 OpenCV 的失败案例:

图 9:添加了 25% 的填充后,我们的 OpenCV OCR 系统能够识别招牌中的「Designer」,但是它无法识别较小的单词,因为它们的颜色与背景色太接近了。我们甚至无法检测到单词「SUIT」,「FACTORY」能够检测到,但无法使用 Tesseract 识别。我们的 OCR 系统离完美还很远。

下面介绍了该 OCR 系统的一些局限和不足,以及对改进 OpenCV 文本识别流程的建议。

局限和不足

记住,没有完美的 OCR 系统,尤其是在现实世界条件下。期望 100% 的 OCR 准确率也是不切实际的。

我们的 OpenCV OCR 系统可以很好地处理一些图像,但在处理另外一些图像时会失败。该文本识别流程失败存在两个主要原因:

  1. 文本被扭曲或旋转。

  2. 文本字体与 Tesseract 模型训练的字体相差太远。

即使 Tesseract v4 与 v3 相比更加强大、准确,但该深度学习模型仍然受限于训练数据。如果你的文本字体与训练数据字体相差太远,那么 Tesseract 很可能无法对该文本进行 OCR 处理。

其次,Tesseract 仍然假设输入图像/ROI 已经经过恰当清洁。而当我们在自然场景图像上执行文本识别时,该假设不总是准确。

总结

本教程介绍了如何使用 OpenCV OCR 系统执行文本检测和文本识别。

为了实现该任务,我们

  1. 利用 OpenCV EAST 文本检测器定位图像中的文本区域。

  2. 提取每个文本 ROI,然后使用 OpenCV 和 Tesseract v4 进行文本识别。

我们还查看了执行文本检测和文本识别的 Python 代码。

OpenCV OCR 流程在一些情况下效果很好,另一些情况下并不那么准确。要想获得最好的 OpenCV 文本识别结果,我建议你确保:

  1. 输入 ROI 尽量经过清理和预处理。在理想世界中,你的文本应该能够与图像的其他部分完美分割,但是在现实情况下,分割并不总是那么完美。

  2. 文本是在摄像机 90 度角的情况下拍摄的,类似于自上而下、鸟瞰的角度。如果不是,那么角度变换可以帮助你获得更好的结果。

以上就是这次的教程,希望对大家有所帮助!


原文链接:https://www.pyimagesearch.com/2018/09/17/opencv-ocr-and-text-recognition-with-tesseract/

相关 [adrian 小哥 tesseract] 推荐:

Adrian小哥教程:如何使用Tesseract和OpenCV执行OCR和文本识别

- - 机器之心
近期,Adrian Rosebrock 发布一篇教程,介绍了如何使用 OpenCV、Python 和 Tesseract 执行文本检测和文本识别. 从安装软件和环境、项目流程、review 代码、实验结果,到展示局限、提出建议,这篇教程可以说十分详细了. 机器之心对该教程进行了摘要编译介绍. 本教程将介绍如何使用 OpenCV OCR.

Adrian Stephens:预测2017 年移动通讯行业趋势分析

- - 199IT互联网数据中心
本文作者是 IEEE 802.11 无线局域网工作组主席 Adrian Stephens,在即将迈入全新的 2017 年之际,他对未来移动通讯行业进行了一些预测,包括 Wi-Fi 网络的发展对未来 5G、物联网等领域里所产生的影响和应用前景. 对于业内人士来说,预测行业趋势总是一件值得去做的事情,因为你可以据此判断自己是否足够了解所处的行业.

Java OCR tesseract 图像智能字符识别技术

- - CSDN博客互联网推荐文章
公司有需求啊,所以就得研究哈,最近公司需要读验证码,于是就研究起了图像识别,应该就是传说中的(OCR:光学字符识别OCR),下面把今天的收获整理一个给大家做个分享. 本人程序用的tesseract,官方地址:https://code.google.com/p/tesseract-ocr/,不为别的,谁让它支持我们的天朝的文字呢~哈.

android 端拍照并运用Tesseract OCR 识别图片中字符

- - 移动开发 - ITeye博客
我上传了一个android studio环境下的例子,可以拍照或者选择图库中图片进行识别. 这个链接()包括一份工程源代码和 两个压缩包(语言包),一个是中文汉字,一个是英文. 必须现在手机内部存储根目录. (在程序中获取这个字符串就明白这个目录是什么了Environment.getExternalStorageDirectory()).

Spring Cloud Alibaba:支持的几种服务消费方式(RestTemplate、WebClient、Feign)_饭团小哥哥iop的博客-CSDN博客

- -
关于消费者通过Nacos来消费注册的服务时可以使用RestTemplate、WebClient、Feign等方式,他们之间有什么不一样. 使用RestTemplate. RestTemplate来向服务的某个具体实例发起HTTP请求,但是具体的请求路径是通过拼接完成的,对于开发体验并不好. 但是,实际上,在Spring Cloud中对RestTemplate做了增强,只需要稍加配置,就能简化之前的调用方式.