深度神经网络推理引擎MNN开源
- -MNN是一个轻量级的深度神经网络推理引擎，在端侧加载深度神经网络模型进行推理预测. 目前，MNN已经在阿里巴巴的手机淘宝、手机天猫、优酷等20多个App中使用，覆盖直播、短视频、搜索推荐、商品图像搜索、互动营销、权益发放、安全风控等场景. 此外，IoT等场景下也有若干应用. 针对端侧设备特点深度定制和裁剪，无任何依赖，可以方便地部署到移动设备和各种嵌入式设备中.
深度神经网络推理引擎MNN开源
标签：
| 发表时间：2019-05-07 09:59 | 作者：
出处：https://github.com
简介
MNN是一个轻量级的深度神经网络推理引擎，在端侧加载深度神经网络模型进行推理预测。目前，MNN已经在阿里巴巴的手机淘宝、手机天猫、优酷等20多个App中使用，覆盖直播、短视频、搜索推荐、商品图像搜索、互动营销、权益发放、安全风控等场景。此外，IoT等场景下也有若干应用。
整体特点
轻量性
- 针对端侧设备特点深度定制和裁剪，无任何依赖，可以方便地部署到移动设备和各种嵌入式设备中。
- iOS平台：armv7+arm64静态库大小5MB左右，链接生成可执行文件增加大小620KB左右，metallib文件600KB左右。
- Android平台：so大小400KB左右，OpenCL库400KB左右，Vulkan库400KB左右。
通用性
- 支持
Tensorflow、Caffe、ONNX等主流模型文件格式，支持CNN、RNN、GAN等常用网络。 - 支持86个
TensorflowOp、34个CaffeOp；各计算设备支持的MNN Op数：CPU 71个，Metal 55个，OpenCL 29个，Vulkan 31个。 - 支持iOS 8.0+、Android 4.3+和具有POSIX接口的嵌入式设备。
- 支持异构设备混合计算，目前支持CPU和GPU，可以动态导入GPU Op插件，替代CPU Op的实现。
高性能
- 不依赖任何第三方计算库，依靠大量手写汇编实现核心运算，充分发挥ARM CPU的算力。
- iOS设备上可以开启GPU加速（Metal），常用模型上快于苹果原生的CoreML。
- Android上提供了
OpenCL、Vulkan、OpenGL三套方案，尽可能多地满足设备需求，针对主流GPU（Adreno和Mali）做了深度调优。 - 卷积、转置卷积算法高效稳定，对于任意形状的卷积均能高效运行，广泛运用了 Winograd 卷积算法，对3x3 -> 7x7之类的对称卷积有高效的实现。
- 针对ARM v8.2的新架构额外作了优化，新设备可利用半精度计算的特性进一步提速。
易用性
- 有高效的图像处理模块，覆盖常见的形变、转换等需求，一般情况下，无需额外引入libyuv或opencv库处理图像。
- 支持回调机制，可以在网络运行中插入回调，提取数据或者控制运行走向。
- 支持只运行网络中的一部分，或者指定CPU和GPU间并行运行。
架构设计
MNN可以分为Converter和Interpreter两部分。
Converter由Frontends和Graph Optimize构成。前者负责支持不同的训练框架，MNN当前支持Tensorflow(Lite)、Caffe和ONNX(PyTorch/MXNet的模型可先转为ONNX模型再转到MNN)；后者通过算子融合、算子替代、布局调整等方式优化图。
Interpreter由Engine和Backends构成。前者负责模型的加载、计算图的调度；后者包含各计算设备下的内存分配、Op实现。在Engine和Backends中，MNN应用了多种优化方案，包括在卷积和反卷积中应用Winograd算法、在矩阵乘法中应用Strassen算法、低精度计算、Neon优化、手写汇编、多线程优化、内存复用、异构计算等。
开始使用
性能评测
如何扩展
交流与反馈
扫描二维码加入钉钉讨论群。
License
Apache 2.0
致谢
MNN参与人员：淘宝技术部、搜索工程团队、达摩院团队、优酷等集团员工。
MNN参考、借鉴了下列项目：
相关 [深度 神经网络 推理] 推荐：
CPU 算法训练深度神经网络比 GPU 快 15 倍
- - 奇客Solidot–传递最新科技情报AI 的一大瓶颈是训练成本，深度神经网络（DNN）的训练通常是一系列矩阵乘法操作，这是 GPU 非常擅长的工作，但 GPU 尤其是专业级显卡要比 CPU 昂贵得多. Rice 大学的计算机科学家和英特尔的研究人员从 2019 年就开始探讨使用 CPU 训练深度神经网络，他们采取的方法是将 DNN 训练转变成能用哈希表解决的搜索问题，他们的 "sub-linear deep learning engine" (SLIDE) 设计运行在商业 CPU 上.
python使用深度神经网络实现识别暹罗与英短
- - Cobub先来上两张图看看那种猫是暹罗. 你以后是不是可以识别了暹罗和英短了. 这是因为素材太少了，我们看这两张图能分别提取出来短特征太少了. 那如果我们暹罗短放100张图，英短放100张图给大家参考，再给一张暹罗或者英短短照片是不是就能识别出来是那种猫了，即使不能完全认出来，是不是也有90%可能是可以猜猜对.
零基础入门深度学习(5) - 循环神经网络 - 作业部落 Cmd Markdown 编辑阅读器
- -零基础入门深度学习(5) - 循环神经网络. 无论即将到来的是大数据时代还是人工智能时代，亦或是传统行业使用人工智能在云上处理大数据的时代，作为一个有理想有追求的程序员，不懂深度学习（Deep Learning）这个超热的技术，会不会感觉马上就out了. 现在救命稻草来了，《零基础入门深度学习》系列文章旨在讲帮助爱编程的你从零基础达到入门级水平.
基于深度卷积神经网络进行人脸识别的原理是什么？ - 知乎
- -OpenFace中实现人脸识别的pipeline. ，这个pipeline可以看做是使用深度卷积网络处理人脸问题的一个基本框架，很有学习价值，它的结构如下图所示：. 输入：原始的可能含有人脸的图像. 输出：人脸位置的bounding box. 这一步一般我们称之为“人脸检测”（Face Detection），在OpenFace中，使用的是dlib、OpenCV现有的人脸检测方法.
轻量的神经网络
- - Just for Life.很久之前我觉得移动端应用几百兆的模型不切实际，在不考虑蒸馏、量化等压缩方法下，发现了 MobileNet 设计的很神奇，大小只有几 MB，可以说是一股清流了. 就整理发布了一下，然后今天发现找不到了，神奇. （于是顺手和 ShuffleNet 一并整理到轻量化的神经网络中）. 基本上可以说这个版本是后面几个版本的出发点.
BP神经网络的Java实现
- - ITeye博客课程作业要求实现一个BPNN. 此前只用Matlab实现过，这次尝试使用Java实现了一个. 关于BPNN的原理，就不赘述了. 为了验证正确性，我写了一个测试用例，目的是对于任意的整数（int型），BPNN在经过训练之后，能够准确地判断出它是奇数还是偶数，正数还是负数. System.out.println("训练完毕，下面请输入一个任意数字，神经网络将自动判断它是正数还是复数，奇数还是偶数.
神经网络与用户行为
- - 博客园_新闻英文原文： Neurology & User Behavior: What We Know. 流量和转化率是我们衡量一个网站是否成功的两个重要指标. 网站转化率就是指用户进行了相应目标行动的访问次数（成交人数）与总访问次数的比率. 这里所指的相应的行动可以是用户登录、用户注册、用户订阅、用户下载、用户购买等一些列用户行为，因此网站转化率是一个广义的概念.
[译] 调试神经网络的清单
- - IT瘾-dev训练深度学习模型是非常耗时的工作，没有什么比花费了好几天训练而最终结果效果不佳更让人沮丧的了. 因此翻译了这篇文章: Checklist for debugging neural networks，希望能给你一点启发，尽早发现模型中的问题. 原文地址：https://towardsdatascience.com/checklist-for-debugging-neural-networks-d8b2a9434f21 ，略有删减.
研究人员首次用DNA构造人工神经网络
- Robi - Solidot加州理工研究人员首次用DNA构造出人工神经网络，类似一个简化的大脑. 此前他们曾研制过一个能计算平方根的DNA逻辑门. 研究人员112种不同的DNA链组成四个相互联系的人工神经元，它会玩一个猜心术的游戏. 研究人员和这个试管中的神经网络玩了27次游戏，每次提供的线索都不相同，而它每次都猜对了. 研究人员表示，具有人工智能的生化系统，可以在医药，化学以及生物领域带来不可估量的应用.