谷歌、寒武纪早早入局!边缘AI仍面临这些落地难题!

描述

电子发烧友网报道(文/李弯弯)所谓边缘AI,是指在端侧设备本身,而不是在云端或大型数据中心服务器上运行推理。因为对算力的要求很高,最初AI基本都在云端进行训练和推理。然而因为数据必须上传至云端,这就带来了数据隐私等多方面的问题。
 
因此边缘AI的应用需求越来越强劲,在边缘端进行AI推理,处理数据的过程就不必上传至云端,这样能够很好地保障数据隐私和数据安全,还能避免系统受到恶意网络攻击,而且还能够消除处理延迟,减少数据传输量和带宽。 

边缘AI芯片市场规模在提升
 
边缘AI涉及的应用范围非常广泛,包括智慧家居中的家庭安全监控、老人儿童监护、智能锁可视门铃、扫地机器人避障等,智慧零售中智慧门店的客流和客层分析、新老客户及会员识别、操作人员穿戴检测、异常行为检测,以及无人售货柜的人脸识别开柜、识别商品并自动结算等,还有智慧农业、机器人、智慧教育等诸多领域各种场景中的应用等等。
 
这其中对AI芯片的需求巨大,数据显示,预计到2025年,边缘AI芯片市场的收入将达到122亿美元,云端AI芯片市场的收入达119亿美元,边缘AI芯片市场将超过云端。
 
因此过去几年,一些传统的芯片企业及初创企业都加入到边缘AI芯片行列,包括AMD、英特尔、英伟达、NXP、ST、谷歌,以及国内的寒武纪、地平线、鲲云科技等。
 
因为看好边缘端的应用市场,谷歌早2018年就发布了用于边缘计算的微型AI加速芯片Edge TPU,用于在边缘设备上运行TensorFlow Lite ML模型进行推理。它在较小的物理和功耗范围内提供高性能,并在边缘部署高精度AI,能够使用户以高效率的方式在高分辨率视频上以每秒30帧的速度同时执行多帧最先进的AI模型。
 
Edge TPU结合了定制硬件、开放软件和先进的AI算法,为边缘提供高质量、易于部署的AI解决方案。该芯片具有较高的每瓦性能和较小的占地面积,用于预测性维护、异常检测、机器视觉、机器人、语音识别等,可应用于制造、医疗保健、零售、智能空间、运输等领域。
 
英伟达过去几年也推出了多款边缘AI产品。2019年英伟达就推出了Jetson Nano,专为支持入门级边缘AI应用程序和设备设计,能够同时并行运行多个神经网络应用,例如图像分类、目标检测、物体分割和自然语言处理等,其运行功耗仅为5瓦。
 
英伟达推出的基于 Jetbot Jetson Nano(含2GB)的智能无人车教学系统,在 NVIDIA GTC 2019 年大会上,这个项目现场演示了避障 、循路与遇障停止等功能。
 
2019年英伟达还发布了Jetson Xavier NX,这是一个用于在无人机、汽车和机器人等边缘设备上的AI系统模块,可以为AI工作负载提供21 TOPS的算力,功耗最高仅为15瓦,Jetson Xavier NX的应用场景主要是小型商用机器人、无人机、高分辨率传感器、光学检测、网络录像机、便携式医疗设备以及其他工业物联网系统。
 
在2021年11月份的GTC大会上,英伟达又发布了一款体积小、功能强的人工智能超级计算机NVIDIA Jetson AGX Orin,专为机器人、自主机器、医疗器材及嵌入式边缘运算场景设计。Jetson AGX Orin采用NVIDIA Ampere架构GPU和 Arm Cortex-A78AE CPU以及新一代深度学习和视觉加速器。其AI性能达到200 TOPS,功耗最低可达到15W,最高为50W,这使其成为下一代自主机器(如交付和物流机器人、工厂系统和大型工业无人机)的首选解决方案。
 
寒武纪在2019年也推出了其首款边缘AI芯片思元220(MLU220)芯片。这是一款专门用于深度学习的SOC边缘加速芯片,采用TSMC 16nm工艺,采用寒武纪在处理器架构领域的一系列创新性技术。其架构为寒武纪最新一代智能处理器MLUv02,实现最大32TOPS(INT4)算力,而功耗仅10瓦。此外,基于思元220,寒武纪面向市场还推出小尺寸的M.2加速卡。
 
思元220芯片可提供16/8/4位可配置的定点运算,客户可根据应用灵活选择运算类型来获得卓越的人工智能推理性能。在软件方面,通过端云一体的软件平台,思元220支持寒武纪Neuware软件工具链,支持各主流编程框架,包括Tensorflow,Caffe,mxnet,及pytorch等。
 
在自动驾驶这类边缘场景上,近几年AI芯片的发展也在加速,主要的厂商包括英伟达、高通、英特尔、地平线等。地平线是国内入局较早的企业,2019年地平线就发布了国内首款已量产车规级边缘AI视觉芯片征程2.0,该芯片等效算力超过4TOPS,典型功耗仅为2W,采用地平线二代BPU架构,能实现多类AI任务处理,并对多类目标实时监测和精准识别。
 
如今地平线第三代车规级自动驾驶芯片征程5即将量产,征程5搭载地平线最新一代BPU贝叶斯深度学习加速引擎,单颗芯片AI算力高达128TOPS。凭借高算力的征程5的正式推出,地平线成为了国内少有的能够覆盖从L2到L4智能驾驶芯片方案的提供商。
 
边缘AI落地面临哪些难题

虽然边缘AI 应用场景丰富,过去几年边缘AI芯片市场规模也在快速提升,不过从目前的情况来看,边缘AI在落地方面还面临一些问题。
 
在此前某论坛上,齐感科技市场营销副总裁刁勇就谈到了AI边缘视觉应用落地的几个挑战。他说现在AI视觉应用在边缘侧的落地场景非常多,比如智能摄像机、智能门锁、边缘分析盒子等都是非常常见的应用场景,如今的市场规模也相当大,这些场景对AI视觉也提出了很高的要求,比如需要较高的集成度,对满足算力下的功耗的要求也很高。
 
齐感科技的AI视觉SOC为了满足这些场景的要求,也在不断提高集成度,比如其第一代的AI视觉SOC芯片,在片上ARM内核的基础上,集成了丰富的视觉相关的IP,包括视频处理单元ISP、AI加速器NPU,视觉编解码等,以及各种以太网、DDR等接口。
 
整体来说,齐感科技边缘侧视觉SOC,相对来说集成度、复杂度相当高。刁勇表示,即使如此,在与客户接触交流的时候发现,客户用这样的芯片,快速开发相对应的AI视觉边缘侧最终的产品,还是存在蛮大的挑战。
 
根据客户的痛点,可以总结出三点:一是复杂的边缘侧SOC和复杂的硬件系统设计,对于客户来说是非常大的挑战;二是AI算法,因为边缘侧应用场景比较多,算法相对来说要求比较多;三是边缘侧的应用场景非常多元化、碎片化,怎么利用之前的经验来应对不同的场景的需求,也是一个很大的挑战。
 
对于现在边缘AI在落地方面的困难,有行业人士也向电子发烧友表示,主要体现在几个方面:其一,当前边缘AI还缺乏整体的解决方案,大量供应商的算力、算法和应用是割裂的,最终用户能看到的满足落地需求的选择不多。我们知道,现在很多情况,算力和算法由不同的厂商提供,而且提供算力和算法的厂商,对一些行业的应用场景不熟悉,理解不够。
 
其二,边缘端也缺乏针对性的AI算力,现在很多情况,是在原来SOC的基础上增加AI引擎,这种方式很难满足边缘AI算力的需求。一般来说,目前SOC的AI算力普遍在4T以下,现在也有一些能够达到6T,这确实能够满足一些场景的应用,不过很多边缘端场景对算力的需求普遍在8T到20T,可见合适算力的边缘AI芯片还处于缺乏状态。
 
总结来说,边缘AI应用场景比较多元、长尾化,行业属性比较明显。在算法方面,不同场景对算法的需求不同,要求比较高;在算力方面,很多情况由SOC添加AI引擎的方式提供算力,一些场景对SOC算力集成度、功耗的要求高,同时非常多场景SOC的算力不足以支持应用,而对于客户来说,有针对性的边缘算力芯片还不够;另外算法、算力割裂的情况,以及对应用场景累积不够的情况,也是当前边缘AI落地过程中遇到的难点。
 
小结
 
从目前的情况来看,边缘AI的应用场景越来越丰富,并且在诸多方面已经形成规模。不过整体而言,边缘AI应用场景碎片化明显,对算法要求高,目前还存在针对性算力缺乏,整体解决方案缺乏等问题,对于芯片、算法厂商来说,还需要继续投入研发,边缘AI供应商们也需要有足够耐心,需要足够下沉,去真正理解不同行业的切实需求。
 

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分