主流移动端深度学习框架大盘点 AI开发者看过来 (移动端最强设备)

简书作者 dangbo 在《移动端深度学习展望》一文中对现阶段的移动端深度学习做了相关展望。作者认为,现阶段的移动端 APP 主要通过以下两种模式来使用深度学习:

AI开发者看过来,主流移动端深度学习框架大盘点

当前移动端的三大框架(Caffe2、TensorFlow Lite、Core ML)均使用 offline 方式,该方式可在无需网络连接的情况下确保用户数据的私密性。

各主流移动端深度学习框架诞生时间如下:

接下来,雷锋网 AI 研习社将介绍当前主流的移动端深度学习框架,其中包括移动端三大框架——Facebook、谷歌、苹果三大巨头发布的 Caffe2、TensorFlow Lite、Core ML,新秀 Bender,国产百度 MDL 以及支持移动端的 MXNet,以便刚刚入坑的开发者们对这些框架有初步的了解和认识。

Facebook 开源 Caffe2,最终将其并入 PyTorch

AI开发者看过来,主流移动端深度学习框架大盘点

2017 年 4 月 19 日的 F8 年度开发者大会上,Facebook 发布了一款全新的开源深度学习框架——Caffe2,按照 Caffe2 官网介绍,它最大的特点就是轻量、模块化和可扩展性,即一次编码,到处运行(和 Java 的宣传语类似)。说得更直白一点,就是 Caffe2 可以方便地为手机等移动终端设备带来 AI 加持,让 AI 从云端走向终端。

Caffe2 在此前流行的开源框架 Caffe 基础上进行了重构和升级,一方面集成了诸多新出现的算法和模型,另一方面在保证运算性能和可扩展性的基础上,重点加强了框架在轻量级硬件平台的部署能力。它可以部署在包括 iOS,Android,英伟达 Tegra X1 和树莓派(Raspberry Pi)等在内的各种移动平台上。用户只需要加载 Caffe2 框架,然后通过几行简单的 API 接口调用(Python 或 C++),就能在手机 APP 上实现图像识别、自然语言处理和计算机视觉等各种 AI 功能。此外,Caffe2 还对 Caffe 平台的另一项核心竞争力:Model Zoo 社区方面提供了完整的支持。

除了框架自身,Caffe2 还获得了一系列的云平台支持,例如亚马逊 AWS 旗下的 Deep Learning AMI和微软 Azure 旗下>

GitHub 地址:

Caffe2go 移动端项目 Github 链接:

谷歌移动端深度学习框架 TensorFlow Lite,有望成为移动端模型部署推荐解决方案

AI开发者看过来,主流移动端深度学习框架大盘点

谷歌于美国时间 2017 年 11 月 14 日正式发布 TensorFlow Lite 预览版,这一框架主要用于移动端和嵌入式设备,顾名思义,相较于 TensorFlow,TensorFlow Lite 是一个轻量化版本。这个开发框架专门为机器学习模型的低延迟推理做了优化,专注于更少的内存占用以及更快的运行速度。

TensorFlow Lite 具备以下三个重要功能:

轻量级(Lightweight):支持机器学习模型的推理在较小二进制数下进行,能快速初始化/启动

跨平台(Cross-platform):可以在许多不同的平台上运行,现在支持 Android 和 iOS

快速(Fast):针对移动设备进行了优化,包括大大减少了模型加载时间、支持硬件加速

结构

下图是 TensorFlow Lite 的结构设计:

AI开发者看过来,主流移动端深度学习框架大盘点

模块如下:

模型

TensorFlow Lite 目前支持很多针对移动端训练和优化好的模型。

TensorFlow Lite 发布一个月后,谷歌即宣布与苹果达成合作——TensorFlow Lite 将支持 Core ML。TensorFlow Lite 为 Core ML 提供支持后,iOS 开发者就可以利用 Core ML 的优势来部署模型。

目前,该框架还在不断更新与升级中,随着 TensorFlow 的用户群体越来越多,同时得益于谷歌的背书,假以时日,TensorFlow Lite 极大可能会成为在移动端和嵌入式设备上部署模型的推荐解决方案。

TensorFlow Lite 文档页面:

Core ML 转化器页面:

pypi pip 安装包地址:

苹果 Core ML:离线状态下,隐私与 AI 可兼得

AI开发者看过来,主流移动端深度学习框架大盘点

苹果在 2017WWDC 大会更新 iOS 11 时一并推出了面向开发者的全新机器学习框架——Core ML,声称能让本地数据处理愈加方便快捷。据介绍,Core ML 提供支持人脸追踪、人脸检测、地标、文本检测、条码识别、物体追踪、图像匹配等任务的 API。

据雷锋网 AI 研习社了解,Core ML 是一个基础机器学习框架,能用于众多苹果的产品,包括 Siri、相机和 QuickType。据官方介绍,Core ML 带来了极速的性能提升和机器学习模型的轻松整合,能将众多机器学习模型集成到 APP 中。它不但有 30 多种层来支持广泛的深度学习,而且还支持诸如树集成、SVM 和广义线性模型等标准模型。

苹果在 Core ML 开发文档中如此介绍:

AI开发者看过来,主流移动端深度学习框架大盘点

Core ML 在设备上严格运行,确保了用户隐私数据,在无网络连接的情况下依然能够响应用户操作。

CORE ML 相关技术

可以在 iPhone 内置应用中利用 Core ML 的优势,提升或实现如 Siri 语音识别、相机应用中识别人脸、QuickType 打字联想等新特性。Core ML+Vision 应用场景如下所示:

AI开发者看过来,主流移动端深度学习框架大盘点

另外,还可以使用 Vision 驱动 Core ML,即在使用 Core ML 进行机器学习时,用 Vision 框架进行一些数据预处理。

Core ML 文档地址:

Bender:基于 Metal 的机器学习框架

AI开发者看过来,主流移动端深度学习框架大盘点

2017 年 3 月份左右,XMART LABS 在 GitHub 上开源了 Bender,它是一个基于 Metal 的机器学习框架,它允许你在 IOS APP 上轻松地定义和运行神经网络,该框架在底层使用了苹果的 Metal Performance Shaders。

XMART LABS 在 Github 上对 Bender 进行了这样的描述:

优势

使用 Bender 开发 APP 的示例如下。

AI开发者看过来,主流移动端深度学习框架大盘点

Bender 页面网址:

Github 地址:

百度开源移动端深度学习框架 MDL,可在苹果安卓系统自由切换

AI开发者看过来,主流移动端深度学习框架大盘点

2017 年 9 月,百度在 GitHub 上开源了移动端深度学习框架 mobile-deep-learning(MDL)的全部代码以及脚本,这项研究旨在让卷积神经网络(CNNC)能更简单和高速的部署在移动端,支持 iOS GPU,目前已经在百度 APP 上有所使用。

MDL 具有体积小和速度快的特点。

特征

GitHub 地址:

MXNet: AWS 官方深度学习框架,支持移动端开发

AI开发者看过来,主流移动端深度学习框架大盘点

MXNet 是一款开源的、轻量级、可移植的、灵活的深度学习库,它让用户可以混合使用符号编程模式和指令式编程模式来最大化效率和灵活性,目前已经是 AWS 官方推荐的深度学习框架。

MXNet 的核心是一个动态的依赖调度器,支持自动将计算任务并行化到多个 GPU 或分布式集群(支持 AWS、Azure、Yarn 等)。它上层的计算图优化算法可以让符号计算执行得非常快,而且节约内存,开启 mirror 模式会更加省内存,甚至可以在某些小内存 GPU 上训练其他框架因显存不够而训练不了的深度学习模型。

MXNet 支持在移动设备(Android、iOS)上运行基于深度学习的图像识别等任务,它的性能如下:

此外,MXNet 的一个很大的优点是支持多语言封装,比如 C++、Python、R、Julia、SCAla、Go、MATLAB 和 JavaScript。在 MXNet 中构建一个网络需要的时间可能比 Keras、Torch 这类高度封装的框架要长,但是比直接用 Theano 等要快。MXNet 的各级系统架构(下面为硬件及操作系统底层,逐层向上为越来越抽象的接口)如下图所示。

AI开发者看过来,主流移动端深度学习框架大盘点

Apache MXNet 官方网站:

(完)

原创文章,未经授权禁止转载。详情见 转载须知 。

AI开发者看过来,主流移动端深度学习框架大盘点

全局中部横幅
【天猫转让

【股权上市-易店无忧】专业网店转让平台,主要提供天猫转让,淘宝网店转让,京店商城转让,tmall商城转让出售,天猫入驻,京店入驻等服务,拥有可售店铺资源3万余家,买卖天猫商城淘宝网店就上易店无忧。

四川云上派格科技有限公司

四川云上派格科技有限公司位于中国科技城绵阳,成立于2017年,并同时在成都设立了技术研发中心(人南大厦B座六楼),是国家高新技术企业和国家科技型中小企业,绵阳市生态环境保护协会副会长单位。服务热线:0816-5083333

沙画台

沧州新世纪教学设备有限公司是一家生产、销售沙画设备生产厂家。产品分四大系列十多种规格型号,能满足幼儿园、中小学、成人表演等需求。产品通过光生物安全辐射检测,甲醛24小时危害物检测、以及沙画沙的重金属危害物检测。得到广大师生的认可。欢迎来电咨询合作!

管理软件定制开发

根据贵公司的需求定制开发各类管理软件提供ERP快速定制开发CRM定制开发OA定制开发等服务 以及各行各业多种成品管理软件(ERP、CRM、OA等等),稳定0错误,交活快,经验丰富,沟通方便

防爆手机

锐安中仪公司致力于化工和矿用环境防爆终端设备的研发和制造,产品涵盖:智能防爆手机、防爆照相机、防爆数码摄像机、防爆记录仪、平板电脑、红外热成像仪等本安型防爆终端产品。为客户提供不同危险气体环境下的无线通讯及摄影等定制解决方案。

ZNDS

ZNDS智能之家收藏网址,智能大屏必备网站,智能电视网、当贝市场、投影网、4K123等等。

1717游戏网

1717游戏网,汇聚海量热门手游与网游资讯,提供最新游戏下载、攻略、软件下载。涵盖仙侠、冒险、MMO、卡牌等多种类型,致力于为玩家打造极致游戏体验。专业团队每日更新,让您快人一步掌握游戏动态!

沈阳天电防雷科技有限公司

本公司从事:防雷常规定期检测;专项防雷检测;新建防雷检测;防雷跟踪检测;防雷设施检测;防静电检测;防雷技术咨询;防雷工程设计、施工;

热台

上海绘统光学仪器厂是专业的生物显微镜,偏光显微镜,相称显微镜,金相显微镜供应商,主营产品有:生物显微镜,偏光显微镜,相称显微镜,金相显微镜等,上海绘统光学仪器厂不仅具有专业的技术水平,更有良好的售后服务和优质的解决方案,欢迎来电洽谈

智考在线

河南智考教育科技有限公司是一家专注于职业教育培训领域的一站式平台,是洛阳职业技术培训协会副会长单位,是中国建工和职业技术专业精英人才的考培基地。旗下业务集学历教育、建工消防、医学教育、网络教育、职业技能资格培训等为一体的综合性教育培训机构。

全局底部横幅