Tensorflow实现的深度NLP模型集锦（附资源）
- - 机器之心本文收集整理了一批基于Tensorflow实现的深度学习/机器学习的深度NLP模型. 基于Tensorflow的自然语言处理模型，为自然语言处理问题收集机器学习和Tensorflow深度学习模型，100%Jupeyter NoteBooks且内部代码极为简洁. 原始的实现稍微有点复杂，对于初学者来说有点难.
Tensorflow实现的深度NLP模型集锦（附资源）
标签：
tensorflow
深度
nlp
| 发表时间：2019-04-29 13:28 | 作者：THU数据派
出处：https://www.jiqizhixin.com/
基于Tensorflow的自然语言处理模型，为自然语言处理问题收集机器学习和Tensorflow深度学习模型，100%Jupeyter NoteBooks且内部代码极为简洁。
资源整理自网络，源地址：
https://github.com/huseinzol05
目录
Text classification
Chatbot
Neural Machine Translation
Embedded
Entity-Tagging
POS-Tagging
Dependency-Parser
Question-Answers
Supervised Summarization
Unsupervised Summarization
Stemming
Generator
Language detection
OCR (optical character recognition)
Speech to Text
Text to Speech
Text Similarity
Miscellaneous
Attention
目标
原始的实现稍微有点复杂，对于初学者来说有点难。所以我尝试将其中大部分内容简化，同时，还有很多论文的内容亟待实现，一步一步来。
内容
文本分类：
链接：
https://github.com/huseinzol05/NLP-Models-Tensorflow/tree/master/text-classification
1. Basic cell RNN
2. Bidirectional RNN
3. LSTM cell RNN
4. GRU cell RNN
5. LSTM RNN + Conv2D
6. K-max Conv1d
7. LSTM RNN + Conv1D + Highway
8. LSTM RNN with Attention
9. Neural Turing Machine
10. Seq2Seq
11. Bidirectional Transformers
12. Dynamic Memory Network
13. Residual Network using Atrous CNN + Bahdanau Attention
14. Transformer-XL
完整列表包含(66 notebooks)
聊天机器人：
链接：
https://github.com/huseinzol05/NLP-Models-Tensorflow/tree/master/chatbot
1. Seq2Seq-manual
2. Seq2Seq-API Greedy
3. Bidirectional Seq2Seq-manual
4. Bidirectional Seq2Seq-API Greedy
5. Bidirectional Seq2Seq-manual + backward Bahdanau + forward Luong
6. Bidirectional Seq2Seq-API + backward Bahdanau + forward Luong + Stack Bahdanau Luong Attention + Beam Decoder
7. Bytenet
8. Capsule layers + LSTM Seq2Seq-API + Luong Attention + Beam Decoder
9. End-to-End Memory Network
10. Attention is All you need
11. Transformer-XL + LSTM
12. GPT-2 + LSTM
完整列表包含(51 notebooks)
机器翻译（英语到越南语）：
链接：
https://github.com/huseinzol05/NLP-ModelsTensorflow/tree/master/neural-machine-translation
1. Seq2Seq-manual
2. Seq2Seq-API Greedy
3. Bidirectional Seq2Seq-manual
4. Bidirectional Seq2Seq-API Greedy
5. Bidirectional Seq2Seq-manual + backward Bahdanau + forward Luong
6. Bidirectional Seq2Seq-API + backward Bahdanau + forward Luong + Stack Bahdanau Luong Attention + Beam Decoder
7. Bytenet
8. Capsule layers + LSTM Seq2Seq-API + Luong Attention + Beam Decoder
9. End-to-End Memory Network
10. Attention is All you need
完整列表包含(49 notebooks)
词向量：
链接：
https://github.com/huseinzol05/NLP-Models-Tensorflow/tree/master/embedded
1. Word Vector using CBOW sample softmax
2. Word Vector using CBOW noise contrastive estimation
3. Word Vector using skipgram sample softmax
4. Word Vector using skipgram noise contrastive estimation
5. Lda2Vec Tensorflow
6. Supervised Embedded
7. Triplet-loss + LSTM
8. LSTM Auto-Encoder
9. Batch-All Triplet-loss LSTM
10. Fast-text
11. ELMO (biLM)
词性标注：
链接：
https://github.com/huseinzol05/NLP-Models-Tensorflow/tree/master/pos-tagging
1. Bidirectional RNN + Bahdanau Attention + CRF
2. Bidirectional RNN + Luong Attention + CRF
3. Bidirectional RNN + CRF
实体识别：
链接：
https://github.com/huseinzol05/NLP-Models-Tensorflow/tree/master/entity-tagging
1. Bidirectional RNN + Bahdanau Attention + CRF
2. Bidirectional RNN + Luong Attention + CRF
3. Bidirectional RNN + CRF
4. Char Ngrams + Bidirectional RNN + Bahdanau Attention + CRF
5. Char Ngrams + Residual Network + Bahdanau Attention + CRF
依存分析：
链接：
https://github.com/huseinzol05/NLP-ModelsTensorflow/tree/master/dependency-parser
1. Bidirectional RNN + Bahdanau Attention + CRF
2. Bidirectional RNN + Luong Attention + CRF
3. Residual Network + Bahdanau Attention + CRF
4. Residual Network + Bahdanau Attention + Char Embedded + CRF
问答：
链接：
https://github.com/huseinzol05/NLP-Models-Tensorflow/tree/master/question-answer
1. End-to-End Memory Network + Basic cell
2. End-to-End Memory Network + GRU cell
3. End-to-End Memory Network + LSTM cell
词干抽取：
链接：
https://github.com/huseinzol05/NLP-Models-Tensorflow/tree/master/stemming
1. LSTM + Seq2Seq + Beam
2. GRU + Seq2Seq + Beam
3. LSTM + BiRNN + Seq2Seq + Beam
4. GRU + BiRNN + Seq2Seq + Beam
5. DNC + Seq2Seq + Greedy
有监督摘要抽取：
链接：
https://github.com/huseinzol05/NLP-Models-Tensorflow/tree/master/summarization
1. LSTM Seq2Seq using topic modelling
2. LSTM Seq2Seq + Luong Attention using topic modelling
3. LSTM Seq2Seq + Beam Decoder using topic modelling
4. LSTM Bidirectional + Luong Attention + Beam Decoder using topic modelling
5. LSTM Seq2Seq + Luong Attention + Pointer Generator
6. Bytenet
无监督摘要抽取:
链接：
https://github.com/huseinzol05/NLP-Models-Tensorflow/tree/master/unsupervised-summarization
1. Skip-thought Vector (unsupervised)
2. Residual Network using Atrous CNN (unsupervised)
3. Residual Network using Atrous CNN + Bahdanau Attention (unsupervised)
OCR (字符识别):
链接：
https://github.com/huseinzol05/NLP-Models-Tensorflow/tree/master/ocr
1. CNN + LSTM RNN
语音识别:
链接：
https://github.com/huseinzol05/NLP-Models-Tensorflow/tree/master/speech-to-text
1. Tacotron
2. Bidirectional RNN + Greedy CTC
3. Bidirectional RNN + Beam CTC
4. Seq2Seq + Bahdanau Attention + Beam CTC
5. Seq2Seq + Luong Attention + Beam CTC
6. Bidirectional RNN + Attention + Beam CTC
7. Wavenet
语音合成:
链接：
https://github.com/huseinzol05/NLP-Models-Tensorflow/tree/master/text-to-speech
1. Tacotron
2. Wavenet
3. Seq2Seq + Luong Attention
4. Seq2Seq + Bahdanau Attention
生成器:
链接：
https://github.com/huseinzol05/NLP-Models-Tensorflow/tree/master/generator
1. Character-wise RNN + LSTM
2. Character-wise RNN + Beam search
3. Character-wise RNN + LSTM + Embedding
4. Word-wise RNN + LSTM
5. Word-wise RNN + LSTM + Embedding
6. Character-wise + Seq2Seq + GRU
7. Word-wise + Seq2Seq + GRU
8. Character-wise RNN + LSTM + Bahdanau Attention
9. Character-wise RNN + LSTM + Luong Attention
语言检测:
链接：
https://github.com/huseinzol05/NLP-Models-Tensorflow/tree/master/language-detection
1. Fast-text Char N-Grams
文本相似性:
链接：
https://github.com/huseinzol05/NLP-Models-Tensorflow/tree/master/text-similarity
1. Character wise similarity + LSTM + Bidirectional
2. Word wise similarity + LSTM + Bidirectional
3. Character wise similarity Triplet loss + LSTM
4. Word wise similarity Triplet loss + LSTM
注意力机制:
链接：
https://github.com/huseinzol05/NLP-Models-Tensorflow/tree/master/attention
1. Bahdanau
2. Luong
3. Hierarchical
4. Additive
5. Soft
6. Attention-over-Attention
7. Bahdanau API
8. Luong API
其他:
链接：
https://github.com/huseinzol05/NLP-Models-Tensorflow/tree/master/misc
1. Attention heatmap on Bahdanau Attention
2. Attention heatmap on Luong Attention
非深度学习：
链接：
https://github.com/huseinzol05/NLP-Models-Tensorflow/tree/master/not-deep-learning
1. Markov chatbot
2. Decomposition summarization (3 notebooks)
相关 [tensorflow 深度 nlp] 推荐：
深度学习利器：TensorFlow实战
- - 孟飞阳的博客深度学习及TensorFlow简介. 深度学习目前已经被应用到图像识别，语音识别，自然语言处理，机器翻译等场景并取得了很好的行业应用效果. 至今已有数种深度学习框架，如TensorFlow、Caffe、Theano、Torch、MXNet，这些框架都能够支持深度神经网络、卷积神经网络、深度信念网络和递归神经网络等模型.
Keras:基于Theano和TensorFlow的深度学习库
- -Keras:基于Theano和TensorFlow的深度学习库. Keras是一个高层神经网络API，Keras由纯Python编写而成并基Tensorflow或Theano. Keras
为支持快速实验而生，能够把你的idea迅速转换为结果，如果你有如下需求，请选择Keras：. 简易和快速的原型设计（keras具有高度模块化，极简，和可扩充特性）.
基于TensorFlow Serving的深度学习在线预估
- - 美团点评技术团队随着深度学习在图像、语言、广告点击率预估等各个领域不断发展，很多团队开始探索深度学习技术在业务层面的实践与应用. 而在广告CTR预估方面，新模型也是层出不穷： Wide and Deep[1]、DeepCross Network[2]、DeepFM[3]、xDeepFM[4]，美团很多篇深度学习博客也做了详细的介绍.
基于 TensorFlow Serving 的深度学习在线预估
- - IT瘾-dev随着深度学习在图像、语言、广告点击率预估等各个领域不断发展，很多团队开始探索深度学习技术在业务层面的实践与应用. 而在广告CTR预估方面，新模型也是层出不穷： Wide and Deep[1]、DeepCross Network[2]、DeepFM[3]、xDeepFM[4]，美团很多篇深度学习博客也做了详细的介绍.
深度学习在花椒直播的应用（Tensorflow 原理篇）
- - IT瘾-dev殷雅俊，2018年北京邮电大学硕士毕业，自2017年下半年来一直在花椒实习，随后进入花椒直播智能工程组担任算法工程师，主要负责花椒直播个性化推荐算法研发，花椒图像识别算法研发等工作. 1.花椒直播的深度学习使用. 使用Spark进行数据清洗，构建用户画像和物品画像，挖掘数据特征，形成数据集存储在HDFS.
阿里妈妈基于 TensorFlow 做了哪些深度优化？TensorFlowRS 架构解析
- - 机器之心深度学习比传统的逻辑回归有着更强的模型刻画能力，同时也带来了计算力百倍提升的需求. 相比图像、语音、视频等领域，搜索、广告、推荐等场景有着独特的场景特点: 样本规模和特征空间通常非常巨大，千亿样本、百亿特征并不罕见，同时存在大量的稀疏特征作为 Embedding 输入. 这就要求我们针对此场景下的计算特点对深度学习框架进行设计和优化.
Facebook开源移动端深度学习加速框架，比TensorFlow Lite快一倍
- - IT瘾-geek方栗子 发自 凹非寺. 量子位 出品 | 公众号 QbitAI. Facebook发布了一个开源框架，叫 QNNPACK，是手机端神经网络计算的加速包. 官方表示，它可以 成倍提升神经网络的推理效率，几乎比 TensorFlow Lite快一倍. 这个框架，能够为很多运算加速，比如 DW卷积 (Depthwise Convolution) ，许多先进的架构里面都用得到.
深度 | 对比深度学习十大框架：TensorFlow最流行但并不是最好
- - IT瘾-geek2016 年已经过去，BEEVA Labs 数据分析师 Ricardo Guerrero Gomez-Ol 近日在 Medium 上发表了一篇文章，盘点了目前最流行的深度学习框架. 他写道：「我常听到人们谈论深度学习——我该从哪里开始呢. TensorFlow 是现在最流行的吧. 我听说 Caffe 很常用，但会不会太难了.
NLP入门之语音模型原理
- - IT瘾-bigdata这一篇文章其实是参考了很多篇文章之后写出的一篇对于语言模型的一篇科普文,目的是希望大家可以对于语言模型有着更好地理解,从而在接下来的NLP学习中可以更顺利的学习.. 1:传统的语音识别方法:. 这里我们讲解一下是如何将声音变成文字,如果有兴趣的同学,我们可以深入的研究.. 首先我们知道声音其实是一种波,常见的MP3等都是压缩的格式,必须要转化成非压缩的纯波形的文件来处理,下面以WAV的波形文件来示例:.