文章

如何选择合适的边缘计算机

2023-01-06Ethan Chen

1837阅
在物联网(IoT)基础设施上使用人工智能(AI)的软件应用,被称为“AIoT”。构建AIoT应用程序的3个阶段包括:数据收集、训练和推理。
       工业物联网(IIoT)应用正在产生比以往任何时候都多的数据。在很多工业应用中,尤其是位于偏远地区的高度分散的系统中,定期向中央服务器发送大量原始数据可能无法实现。为了减少延迟、降低数据通信和存储成本,同时提高网络可用性,企业正在将人工智能(AI)和机器学习(ML)转移到边缘,以便在现场进行实时决策和行动。

       这些在物联网基础设施上部署AI功能的应用,被称为人工智能物联网(AIoT)。尽管AI模型仍在云端进行训练,但可以在边缘计算机上部署经过训练的AI模型,从而在现场实现数据收集和推理。那么,如何为工业AIoT应用选择合适的边缘计算机呢?

大多数IIoT数据未经分析

       连接到互联网的工业设备近年来增长迅速,预计到2025年将达到416亿个终端。更令人难以置信的是每台设备产生的惊人数据量。手动分析制造装配线上传感器生成的所有信息,可能需要花费毕生的精力。在《哈佛商业评论》的一篇关于数据策略的文章中指出,在制定决策的过程中,组织的结构化数据往往只有不到一半得到有效的利用,不到1%的非结构化数据被分析或应用。

       IP摄像机每天生成的视频数据将近1.6EB,其中只有10%得到分析。尽管有能力收集更多信息,但这些数字表明,数据分析存在惊人的差距。靠人力是无法分析产生的所有数据的,这就是企业尝试将AI和ML融入到IIoT应用的原因。

       设想一下,仅靠人工目视,在制造装配线上,每周5天每天8小时手动检查高尔夫球上微小缺陷的应用场景。即使有一大批检查人员,每个人仍然会容易疲劳,犯人因错误。同样,人工目视检查铁路轨道紧固件,只能在列车停运后的半夜进行,不仅耗时,而且做起来很困难。人工检查高压电力线和变电站设备,还会使工作人员面临额外的风险。

将AI与IIoT相结合

       在前面讨论的每个工业应用中,“AIoT”都可以提供降低劳动力成本、减少人为错误和优化预防性维护的能力。AIoT是指在物联网(IoT)应用中采用人工智能技术,以提高运营效率、人机交互以及数据分析和管理。那么我们所说的人工智能到底是什么,它将如何融入工业物联网?

       AI是研究如何构建智能程序和机器,来解决传统上由人解决的问题的一般科学领域。AI包括ML,ML是AI的一个特定子集,它使系统能够通过经验自主学习和改进,而无需进行编程,例如通过各种算法和神经网络。另一个相关术语是“深度学习”(DL),它是ML的一个子集,其中多层神经网络从大量数据中学习。

       由于AI是一门覆盖面非常广的学科,本文主要讨论的重点是计算机视觉或AI驱动的视频分析。AI的其它子领域,通常与ML结合使用,实现工业应用中的分类和识别。

       从远程监控和预防性维护中获取的的数据,到智能交通系统中控制交通信号的车辆识别,到农业无人机和户外巡逻机器人,再到工业产品的微小缺陷自动光学检测等,计算机视觉和视频分析正在为工业应用释放更大的生产力和效率。

将AI转移到IIoT边缘

       IIoT系统的激增正在产生大量的数据。例如,在大型炼油厂内,大量传感器和设备每天都会生成1TB的原始数据。将所有这些原始数据,发送回公共云或私有服务器进行存储或处理,需要相当大的带宽、可用性和功耗。在很多工业应用中,尤其是位于偏远地区的高度分散的系统中,不间断向中央服务器发送大量数据是不可能的。

       即使企业拥有带宽和足够的基础设施,部署和维护成本也非常高,数据传输和分析还存在大量延迟的情况。关键任务的工业应用必须能够尽快分析原始数据。

       为了减少延迟、降低数据通信和存储成本,并提高网络可用性,IIoT应用正将AI和ML功能部署到网络边缘,以直接在现场启用更强大的预处理功能。更具体地说,边缘计算处理能力的进步,使IIoT应用能利用边远位置的AI决策能力。

       通过将现场设备连接到边缘计算机,该计算机配置了强大的本地处理器和人工智能,这样就无需将所有数据发送到云端进行分析。事实上,预计到2025年,在远端和近端站点创建和处理的数据将从10%增加到75%,预计到2024年,整个边缘AI硬件市场将实现20.64%的复合年增长率(CAGR)。

为工业AIoT选择合适的边缘计算机

       在将人工智能引入工业物联网应用时,有几个关键问题需要考虑。尽管与训练AI模型有关的大部分工作仍然在云中进行,但最终企业还是需要在现场部署经过训练的推理模型。AIoT边缘计算本质上是在现场进行AI推理,而不是将原始数据发送到云端进行处理和分析。为了有效运行AI模型和算法,工业AIoT应用需要可靠的边缘硬件平台。要为工业AIoT应用选择合适的边缘计算机时,请考虑以下因素:

       1.人工智能不同实施阶段的处理要求;

       2.边缘计算水平;

       3.开发工具;

       4.环境问题。

       “对于关键任务的工业应用,必须能够尽快分析原始数据。”

构建AIoT应用的3个阶段

       一般来说,AIoT计算的处理要求与应用需要的计算能力以及是否需要中央处理单元(CPU)或加速器有关。由于在构建AI边缘计算应用的3个阶段中,每个阶段都使用不同的算法来执行不同的任务,因此每个阶段都有自己的处理要求。

       1 数据收集

       这一阶段的目标是获取大量信息来训练AI模型。未经处理的原始数据本身帮助不大,因为信息可能包含重复、错误和异常值。在初始阶段对收集的数据进行预处理以识别模式、异常值和缺失的信息,允许用户纠正错误和偏差。根据收集数据的复杂程度,用于数据收集的计算平台通常基于Arm Cortex或英特尔Atom/Core处理器。一般来说,输入/输出(I/O)和CPU的规格,而不是图形处理单元(GPU),对于执行数据收集任务更为重要。

       2 训练

       AI模型需要在高级神经网络和资源匮乏的ML或DL算法上进行训练,这些算法需要更强大的处理能力,例如强大的GPU,以支持并行计算来分析所收集的、经预处理的大量训练数据。训练AI模型涉及选择ML模型,并根据所收集、经预处理的数据对其进行训练。在此过程中,需要评估和调整参数以确保准确性。有很多训练模型和工具可供选择,包括现成的DL设计框架,例如PyTorch、Tensor Flow和Caffe。训练通常在指定的AI训练机或云计算服务上而不是在现场进行,例如亚马逊的AWS Deep Learning AMIs、谷歌Cloud AI或微软Azure Machine Learning等。

       3 推理

       最后阶段涉及在边缘计算机上部署经过训练的AI模型,以便它可以根据新收集和预处理的数据快速有效地进行推理和预测。由于推理阶段通常比训练消耗更少的计算资源,因此CPU或轻量级加速器就足以满足AIoT应用的需求。尽管如此,仍需要一个转换工具,来将训练好的模型转换为可以在专用边缘处理器/加速器上运行的模型,例如英特尔Open VINO或NVIDIA CUDA。推理还包括几个不同的边缘计算水平和要求。

边缘计算水平和架构

       尽管AI训练仍在云端或本地服务器上进行,但数据收集和推理仍然需要在网络边缘进行。此外,由于训练有素的AI模型应完成的目标(例如根据新收集的现场数据做出决策或执行操作)的大部分工作是在推理中实现的,因此需要根据以下边缘计算的不同水平来选择合适的处理器。

       低水平的边缘计算:在边缘和云之间传输数据既昂贵又耗时,并导致延迟。采用低水平的边缘计算,只需将少量有用数据发送到云端,从而减少延迟时间、带宽、数据传输费用、功耗和硬件成本。可以在IIoT设备上使用没有加速器的、基于Arm的平台来收集和分析数据,以便快速做出推断或决策。

       中等水平的边缘计算:此级别的推理可以以足够的帧速率,处理用于计算机视觉或视频分析的各种IP摄像机流。中等水平的边缘计算,包括基于AI模型和性能要求的复杂数据,例如安装在办公室入口的大型公共监控网络的面部识别应用程序。大多数工业边缘计算应用,还需要考虑有限的功率预算或无风扇设计来散热。在这个级别上,可以使用高性能CPU、入门级GPU或视觉处理单元(VPU)。例如,英特尔Core i7系列CPU通过OpenVINO工具包和基于软件的AI/ML加速器提供了一个高效的计算机视觉解决方案,可以在边缘执行推理任务。

       高水平的边缘计算:该层级的边缘计算,可以为使用更复杂模式识别的AI专家系统处理大量数据负载,例如公共安全系统中自动视频监控的行为分析,以检测安全事件或潜在威胁事件。高水平的边缘计算推理通常使用加速器,包括高端GPU、VPU、谷歌张量处理单元(TPU)或现场可编程门阵列(FPGA),它们消耗更多功率(200W或更多)并产生过多热量。由于必要的功耗和产生的热量可能会超出网络远端(例如在行驶中的火车上)的限制,因此高水平边缘计算系统通常部署在近边缘站点(例如火车站)以执行任务。

       有种工具可用于各种硬件平台,以帮助加快应用程序开发过程或提高AI算法和ML的整体性能。

       “选择最适合的边缘计算机,来执行现场工业AI推理任务。”

深度学习框架

       考虑使用DL框架,它是一种接口、库或工具,可让用户更轻松、更快速地构建深度学习模型,而无需深入了解底层算法的细节。深度学习框架提供了一种清晰简洁的方法,使用一组预先构建和优化的组件来定义模型。最受欢迎的3个工具包括:

       PyTorch:主要由Facebook的人工智能研究实验室开发,PyTorch是一个基于Torch库的开源机器学习库。它用于计算机视觉和自然语言处理等应用,是在升级版BSD许可下发布的免费开源软件。

       TensorFlow:使用TensorFlow用户友好的基于Keras的API,实现快速原型设计、研究和生产,这些API用于定义和训练神经网络。

       Caffe:提供了一个功能强大的架构,允许用户在没有硬编码的情况下,定义和配置模型和优化。设置单个标志以在GPU机器上训练模型,然后部署到商品集群或移动设备上。

基于硬件的加速器工具包 

       硬件供应商提供的AI加速器工具包,专门用于在其平台上加速AI应用,例如ML和计算机视觉。 

       英特尔Open VINO:英特尔的开放视觉推理和神经网络优化(Open VINO)工具包,旨在帮助开发人员在英特尔平台上构建强大的计算机视觉应用。Open VINO还支持对DL模型进行更快的推理。

       NVIDIA CUDA:CUDA工具包可为嵌入式系统、数据中心、云平台和基于NVIDIA统一计算设备架构的超级计算机上的GPU加速应用,提供高性能并行计算。

实施应用的位置和环境考虑 

       最后需要考虑的,但并不意味着它最不重要,是实施应用的物理位置。部署在户外或恶劣环境中的工业应用(如智慧城市、石油和天然气、采矿、电力或户外巡逻机器人应用),应具有较宽的工作温度范围和适当的散热机制,以确保在酷热或严寒天气环境下的可靠性。某些应用还需要行业特定的认证或批准,例如无风扇设计、防爆结构和抗振性。由于很多实际应用部署在空间有限的机柜中并受到尺寸限制,因此首选小型边缘计算机。

       远程站点中高度分散的的工业应用,也可能需要通过可靠的蜂窝或Wi-Fi连接进行通信。例如,具有集成蜂窝LTE连接的工业边缘计算机,消除了对额外蜂窝网关的需求,并节省了宝贵的机柜空间和部署成本。另一个需要考虑的因素是可能需要支持双SIM卡的冗余无线连接,以确保在一个蜂窝网络信号弱或下降时仍可以传输数据。 

       在边缘端启用AI功能,使企业能够提高工业应用的运营效率,降低风险和成本。为工业AIoT应用选择合适的计算平台,应认真考量数据收集、训练和推理三个实施阶段的具体处理要求,并根据不同的边缘计算水平(低、中或高),选择最合适的处理器类型。通过仔细评估AIoT应用在每个阶段的具体要求,选择最适合的边缘计算机来执行现场工业AI推理任务。
责任编辑:程玥
本文为授权转载文章,任何人未经原授权方同意,不得复制、转载、摘编等任何方式进行使用,e-works不承担由此而产生的任何法律责任! 如有异议请及时告之,以便进行及时处理。联系方式:editor@e-works.net.cn tel:027-87592219/20/21。
读者评论 (0)
请您登录/注册后再评论