您的位置:主页 > 四川报讯网 > 四川资讯 > 正文
欢迎光临《四川报讯网》

EasyEdge—AI模型边缘部署的救星

四川报讯网 2019-09-04 来源:未知 可分享

眼下是AI大爆发的时代,各行各业争相在AI领域投入大量人力、财力,希望在AI时代到来之际能走在别人的前面,抢占行业步入AI时代的先机,进而获取丰厚的利润;然而AI产业落地之际也面临着技术门槛高、人才稀缺、硬件成本高等严峻问题;而百度AI开放平台重磅推出的EasyEdge端计算模型生成平台(http://ai.baidu.com/easyedge)正是为了降低AI技术门槛,旨在让更多用户实现AI能力的全端集成部署,让AI无处不在。

通常将一个深度学习模型离线部署在应用端是相当复杂有难度的,因此如何将深度学习模型简单、成功的集成显得极为重要。通过百度EasyEdge,用户不需具备机器学习知识背景便可以将模型集成在各个应用场景,并能自动针对不同操作系统和硬件环境对模型进行优化和加速。下图即为百度EasyEdge生成SDK离线的基本流程,整个过程都是图形化界面操作,从上传深度学习模型到生成离线SDK整个过程最快只需1分钟即可完成。此外,平台配备的技术文档(http://ai.baidu.com/docs#/EasyEdge_INTRO/top)对 EasyEdge离线SDK在各个端上的集成、使用都有详细的描述,整个操作过程十分简单。

 

 

此外,提到EasyEdge就不得不提的另一款产品则是EasyDL(http://ai.baidu.com/easydl——EasyDL是百度AI开放平台的推出定制化AI训练和服务平台,支持根据业务定制的图像分类、物体检测等服务,用户只需上传标注、分类好的图像,经过EasyDL云端训练即可获得一个具有定制能力的深度学习模型。随后,用户只需选择需要模型部署的指定端环境,EasyEdge即可生成能在端上离线使用的SDK。

EasyEdge适用于把已经训练好的网络模型部署到目标平台上进行推理计算,在这其中并不涉及任何模型训练的内容。目前平台支持用户上传使用常见深度学习框架,如PaddlePaddle、TensorFlow、Caffe、PyTorch,训练生成的模型作为输入,EasyEdge会将其生成可在Windows、Linux、iOS、Android操作系统中使用的离线SDK,并能够根据目标平台的硬件环境自动优化、加速,相比普通CPU,识别速度最高可提升10倍。自2018年11月份上线以来,已有累计过万的用户在使用EasyEdge,在气象、安防、智能楼宇、工业质检等数十个行业中都已有应用落地,为企业的智能化AI转型赋能,助力各行各业提升生产效率。

EasyEdge的主要优势在于支持市面常见的深度学习模型,并能够实现全端在线或离线的集成部署。用户上传的深度学习模型通过Convert Workflow转换成一种中间模型描述语言IR Code,它定义了一种可扩展的神经网络描述语言、一系列通用标准算子OP和标准数据类型。每一个神经网络都定义为由很多OP节点组成的有向无环图,每一个节点都有一个或多个输入与输出,形成一种通用的神经网络描述语言,任何深度学习框架的网络都能用IR Code描述,构成网络拓扑结构;IR Code再经过模型优化器分析、量化、剪枝生成更优的网络模型;最后根据用户选择的目标平台生成目标模型,打包生成离线SDK供用户下载使用。

 

 

EasyEdge平台会对稀疏度较高的模型采用不同精度的压缩,对于稀疏度80%以上的模型采用INT8量化,使优化后的模型尺寸仅为原来的1/4;对于稀疏度50%以上的模型采用Float16量化,优化后的模型尺寸为原来的一半,通过这种策略保证了模型尺寸减少的同时模型进度损失在0.05以内。此外,EasyEdge平台还采用了多种剪枝策略,减少模型中无用的计算分支,如Dropout层仅在训练过程中起到降低过拟合的作用,在推理过程中并没有用处,类似的在推理过程中无用的Layer都会从IR Code中去除,以提升计算速度。

EasyEdge是如何做到可以在全端部署呢?是因为EasyEdge不仅基于百度PaddlePaddle还集成了如CoreML、DDK、Openvino、TensorRT等开源推理引擎。对于ARM Linux平台,EasyEdge可生成基于Paddle Mobile的离线SDK,可运行在任何ARM架构的CPU上;对于Linux、Windows X86平台,EasyEdge可生成基于PaddlePaddle的离线SDK,同时支持CPU计算;对于IOS移动平台,EasyEdge生成CoreML离线SDK,识别速度仅需几十毫秒;对于Android移动平台,EasyEdge生成的离线SDK可根据手机的硬件环境自动选择性能最优的方式运行(如在华为支持DDK的手机上智能调用HiAI引擎进行推理,在支持高通NPE的手机上智能调用DSP进行推理);此外,EasyEdge也提供了支持使用Openvino进行CPU加速、使用TensorRT进行GPU加速的模型,以及使用Intel Movidius的计算棒。

 


EasyEdge还推出了多种AI计算软硬一体化解决方案,发布了小型化低功耗的计算机视觉计算模块X-eye计算卡,具有价格低廉、体积小、低功耗、应用灵活、嵌入简单等特点,可以应用在城市安防、人流统计、动线分析、工业检测等场景。用户上传深度学习模型,发布模型时选择十目开发套件+专用SDK即可下载获取部署在X-eye上的离线SDK。

 

 

如果对于性能有很高的要求,可以选择购买EdgeBoard高性能计算卡,能将原始模型性能提升4倍以上,高性能的加速引擎提供2.4Tops的强大AI算力,完整的嵌入式参考设计便于硬件产品的结构设计及二次开发。AI硬件产品通过集成EdgeBoard,可大大提升终端设备AI推理能力。用户上传深度学习模型,发布模型时选择EdgeBoard+专用SDK即可下载获取部署在EdgeBoard上的离线SDK。

 

 

 

感谢您阅读: EasyEdge—AI模型边缘部署的救星
如有违反您的权益或有争意的文章请联系管理员删除
[责任编辑:无 ]