使用 Tensorflow 构建属于自己的图片分类器

标签: dev | 发表时间:2018-05-21 00:00 | 作者:
出处:http://itindex.net/relian

近几年火热的AI领域吸引了众多有志之士加入,在一段时间的学习之后,不知道你是否有一个疑惑:我能够用AI来做点什么呢?

就拿AI最常见的应用而言,人脸识别已经相当成熟,由巨头把持,围棋AI也有好几个开源实现,都是重量级的玩家在玩,医疗领域涉及太广,不是个人能hold住的。还有我们能够想到的领域,如机器翻译、无人驾驶、搜索引擎、美颜…好像都被别人早早布局,现在进入是不是太晚了?

别着急,在机器学习领域,有一个重要的定理叫做 “没有免费的午餐”定理(No Free Lunch Theorem,简称 NFL定理)。 NFL定理是这样的,对于一个学习算法Ea,若它在某些问题上比学习算法Eb好,则必然存在另一些问题,在那里Eb比Ea好,这个结论对任何算法均成立。换而言之,机器学习领域,不存在一种算法,对所有问题都有效。

在面对具体的问题时,我们总需要选择算法、训练算法、针对具体问题进行调优,这也是大多数从事机器学习行业的人的工作。下面我就以一个图片分类器的构建为例,说明如何构建一个属于自己的AI模型。

说到图片分类器,有的同学可能又存在疑问?市面上不是已经有很多模型了吗?比如拍照识花、给猫狗图片分类等等。对的,本文就是在这些模型的基础上,训练出能够识别我常喝的两种牛奶的分类器(牛顿不是也说过,要站在巨人的肩膀上。。。)。我常喝的牛奶是长这样的:

要构建自己的图片分类器,首先需要数据,数据不能太少。在深度学习领域,数据往往比算法更重要(不是我说的,吴恩达说的。。。)。在本问题中,我们需要的数据就是有关这两种牛奶包装的图片。一种方法是编写脚本,从网络上抓取,还有一种笨办法,自己拿手机从各个不同角度拍摄。第三种办法是对着这两种牛奶录一段视频,然后通过软件将一帧帧的图像保存为图片,该方法也不是我想到的,你可以看这段视频了解一下。

我选择第三种录视频的方法来生成我的训练数据。

数据生成

首先使用手机拍一段视频,导入到电脑,然后通过软件保存图像。在ubuntu上可以使用ffmpeg软件来完成。

   sudo apt-get install ffmpeg

ffmpeg -i VID_20180520_162407.mp4 -r 1 milk_photos/arla/%03d.jpg

训练模型

我们基于ImageNet模型训练自己的模型,这是一个大型视觉识别挑战数据集上训练的模型,可以识别大约1000中物体的类别。

安装tensorflow

   pip install --upgrade "tensorflow==1.7.*"

克隆git仓库

   git clone https://github.com/googlecodelabs/tensorflow-for-poets-2

cd tensorflow-for-poets-2

训练数据集

将前面通过视频生成的图片集放到tf_files目录下,每一类图片单独建一个文件夹,文件夹可以如下所示:

   milk_photos
  |----yili
  |      |--001.png
  |      |--002.png
  |      ...
  |
  |----arla
  |      |--001.png
  |      |--002.png
  |      ...

再训练模型

   export IMAGE_SIZE=224
export ARCHITECTURE="mobilenet_0.50_${IMAGE_SIZE}"

python -m scripts.retrain \
  --bottleneck_dir=tf_files/bottlenecks \
  --how_many_training_steps=500 \
  --model_dir=tf_files/models/ \
  --summaries_dir=tf_files/training_summaries/"${ARCHITECTURE}" \
  --output_graph=tf_files/retrained_graph.pb \
  --output_labels=tf_files/retrained_labels.txt \
  --architecture="${ARCHITECTURE}" \
  --image_dir=tf_files/milk_photos

再训练脚本将生成以下两个文件:

  • tf_files/retrained_graph.pb,再训练的图文件。

  • tf_files/retrained_labels.txt,这是一个包含标签的文本文件。

使用再训练的模型

   python -m scripts.label_image \
    --graph=tf_files/retrained_graph.pb  \
    --image=tf_files/milk_photos/yili/008.jpg

结果:

   yili (score=0.99988)
arla (score=0.00012)

我们也可以再拍一张照片,试试效果。

至此,训练我们自己的分类器的任务就结束了,在下一篇文章中,我将带领大家探索如何在Android手机上使用我们的图片分类器。

注:本文主要参考了google codelab的教程:<>,这个题目还真不好翻译,TensorFlow之歌?原文的步骤更加详细,有兴趣可以参看原文。使用录制视频的方式生成数据集学的是这个视频: https://youtu.be/EnFyneRScQ8?t=4m17s


相关 [tensorflow 图片 分类] 推荐:

使用 Tensorflow 构建属于自己的图片分类器

- - IT瘾-dev
近几年火热的AI领域吸引了众多有志之士加入,在一段时间的学习之后,不知道你是否有一个疑惑:我能够用AI来做点什么呢. 就拿AI最常见的应用而言,人脸识别已经相当成熟,由巨头把持,围棋AI也有好几个开源实现,都是重量级的玩家在玩,医疗领域涉及太广,不是个人能hold住的. 还有我们能够想到的领域,如机器翻译、无人驾驶、搜索引擎、美颜…好像都被别人早早布局,现在进入是不是太晚了.

[转]Tensorflow实现的CNN文本分类

- - Soul Joy Hub
在这篇文章中,我们将实现一个类似于Kim Yoon的卷积神经网络语句分类的模型. 本文提出的模型在一系列文本分类任务(如情感分析)中实现了良好的分类性能,并已成为新的文本分类架构的标准基准. 本文假设你已经熟悉了应用于NLP的卷积神经网络的基础知识. 如果没有,建议先阅读Understanding Convolutional Neural Networks for NLP 以获得必要的背景.

使用 Spark, LSH 和 TensorFlow 检测图片相似性 | 雷锋网

- -
雷锋网(公众号:雷锋网)按:本文为 AI 研习社编译的技术博客,原标题 Detecting image similarity using Spark, LSH and TensorFlow,作者为 Andrey Gusev(Pinterest 工程师,内容质量分析师). 翻译 | 沈波  张天航    校对 |  余杭    整理 |  凡江.

如何基于TensorFlow使用LSTM和CNN实现时序分类任务

- - IT瘾-tuicool
时序数据经常出现在很多领域中,如金融、信号处理、语音识别和医药. 传统的时序问题通常首先需要人力进行特征工程,才能将预处理的数据输入到机器学习算法中. 并且这种特征工程通常需要一些特定领域内的专业知识,因此也就更进一步加大了预处理成本. 例如信号处理(即 EEG 信号分类),特征工程可能就涉及到各种频带的功率谱(power spectra)、Hjorth 参数和其他一些特定的统计学特征.

[Python] [不分词版]Chinese-Text-Classification: Tensorflow CNN 模型实现的中文文本分类器

- - V2EX
从现在的结果来看,分词的版本( https://www.v2ex.com/t/404977#reply6 )准确率稍微高一点. 项目地址: https://github.com/fendouai/Chinese-Text-Classification. jieba 分词的版本在 master 分支,不分词的版本在 dev 分支.

TensorFlow-dev-summit:那些 TensorFlow 上好玩的和黑科技

- - IT瘾-dev
本文属于介绍性文章,其中会介绍许多TensorFlow的新feature和summit上介绍的一些有意思的案例,文章比较长,可能会花费30分钟到一个小时. Google于2017年2月16日(北京时间)凌晨2点在美国加利福尼亚州山景城举办了首届TensorFlow开发者峰会. Google现场宣布全球领先的深度学习开源框架TensorFlow正式对外发布V1.0版本,并保证Google的本次发布版本的API接口满足生产环境稳定性要求.

TensorFlow、MXNet、PaddlePaddle 三个开源库对比

- - IT瘾-dev
【转载请注明出处】 chenrudan.github.io. 从深度学习开始流行,到深度学习框架的迭代,到各类实际应用的出现,不过短短几年时间. 其实发展到现在,各个框架对自己的定位都不相同,硬要说哪个框架最好没什么必要,结合自身需求找到合适的用就够了(实验室的服务器不太方便拿来折腾,本文就不比较运算速度了,可以参考[4][5]).

深度学习利器:TensorFlow实战

- - 孟飞阳的博客
深度学习及TensorFlow简介. 深度学习目前已经被应用到图像识别,语音识别,自然语言处理,机器翻译等场景并取得了很好的行业应用效果. 至今已有数种深度学习框架,如TensorFlow、Caffe、Theano、Torch、MXNet,这些框架都能够支持深度神经网络、卷积神经网络、深度信念网络和递归神经网络等模型.

如何将TensorFlow用作计算框架

- - 神刀安全网
摘要:如果你刚刚接触TensorFlow并想使用其来作为计算框架,那么本文是你的一个很好的选择,阅读它相信会对你有所帮助. Tensorflow可能是最受欢迎,增长最快的机器学习框架. 在 Github拥有超过70000个点赞,并得到Google的支持,不仅拥有比 Linux更多的点赞,还拥有大量的资源.

TensorFlow自动识别验证码(二)

- -
在 使用tensorflow自动识别验证码(一) 这篇文章中,对使用tensorflow自动识别验证码的过程做了简单的了解和编写. 那么今天这篇文章将对上篇文章中代码进行修改用于实现对主流的CMS进行验证码的破解. 先回顾一下 tensorflow 的自动识别验证码的步骤. 由于后面三步基本都是tensorflow自动完成.