嵌入式开发的转变将如何影响未来计算

作者：Arm高级副总裁兼物联网事业部总经理Paul Williamson

当前，开发者正在利用安全且性能增强的技术实现小型低功耗嵌入式系统的开发，赋能过往无法想象的语音、视觉和振动等AI应用，而这些应用正在改变着世界。

嵌入式领域正经历一场深刻的变革。连接设备正逐渐演变为可根据所收集的数据自行做出决策的系统。相较于在物联网网关或云端进行数据处理而言，在更接近采集源之处完成数据处理的方式，将有望加快决策速度、减少延迟、解决数据隐私问题、降低成本并提高能效。

很多应用领域都在推升边缘计算在性能和功能方面的需求，诸如工业自动化、机器人、智慧城市和家居自动化等。在过去，这类系统中的传感器要简单得多且互不相连，然而，现在人工智能(AI)和机器学习(ML)提升了本地智能化水平，在端侧即可完成决策的制定，这在过去使用的简单控制算法是无法实现的。

AI时代通用处理器的演进

多年以前，开发者专注于把逻辑和控制算法作为软件开发的核心，然而，随着数字信号处理(DSP)算法的出现，为诸多功能增强的语音、视觉和音频应用提供了支持。

这种应用开发的转变进入到了全新时代，且正在影响计算架构的设计。我们现已发展到以推理作为算法开发的主要核心，这一阶段带来了对计算性能、能效、延迟、实时处理和可扩展性等方面新的或更高的要求。

行业的需求不仅在新处理器加速器方面，也包括通用处理能力的提升，以便能为开发者提供必要的平衡，并支持直播视频中的特征检查或人物检测等应用。

几年前，开发者在创建噪声消除应用时还只能依赖基于频率的滤波器。而如今，开发者可以通过将滤波与ML/AI模型和推理相结合来提高应用的性能和功能。为了使这些开发任务更加高效，并尽可能无缝地为用户服务，对处理器和工具的需求也与日俱增。

促进边缘侧和端侧设备的智能化

这项演进与革新是由ML所驱动，但同时也面临着诸多技术的挑战。经过多年的尝试，试图打造一套普适于物联网及嵌入式设备的开发方法，已促使着行业转变物联网开发的方式，以释放规模化扩展的无限可能性。

当前，开发者正在利用安全且性能增强的技术实现小型低功耗嵌入式系统的开发，赋能过往无法想象的语音、视觉和振动等应用，而这些应用正在改变着世界。各种版本的编程语言和Transformer模型将很快在具有全新计算功能的物联网边缘设备中占据一席之地。这无疑为开发者带来梦寐以求的更多可能性。

在开发演进与革新的过程中，为了满足开发者对硬件的需求，几年前Arm在Armv8.1-M架构中引入了Arm®Helium™矢量处理技术。Helium为小型低功耗嵌入式设备的ML和DSP应用带来了显著的性能提升。此外，它还提供单指令多数据(SIMD)功能，由此将ArmCortex®-M设备的性能提升到全新水平，并支持预测性维护和环境监控等应用。

Helium提高了DSP和ML性能，加快了信号调节（例如滤波、噪声消除和回声消除）和特征提取（音频或像素数据）的速度，继而能将之传输到采用神经网络处理器的分类中。

实现智能边缘侧的功能

我们可以看到，很多Arm的合作伙伴都在他们最新的产品中引入了Helium技术，由此助力开发者在网络最远端的受限设备上发挥ML功能的优势。2020年二月，Arm推出了采用Helium技术的Cortex-M55处理器，Alif Semiconductor于2021年九月推出了首款基于Cortex-M55的芯片，并在其Ensemble和Crescendo产品系列中部署了搭载Helium的Cortex-M55处理器。此外，奇景光电(Himax)也采用了配备Helium的Cortex-M55于其下一代WE2 AI处理器，并以由电池供电的物联网设备中的计算机视觉系统为目标应用领域。

2022年四月，Arm推出了第二款支持Helium的CPU——Arm Cortex-M85。瑞萨电子在embedded world 2022和embedded world 2023上曾就Cortex-M85进行过技术演示。演示中，Plumerai通过瑞萨电子RA MCU技术大大加快了其推理引擎速度。作为一家开发基于摄像头实现人物检测的完整软件解决方案的公司，Plumerai相信，性能的提升将确保该公司的客户可充分利用更庞大、更准确的Plumerai人物检测AI版本，同时提供更多的产品功能并延长电池续航时间。2023年十一月，Arm推出了第三款采用Helium技术的CPU——Cortex-M52，这是一款专为人工智能物联网(AIoT)应用而设计的处理器，可为小型低功耗嵌入式设备的DSP和ML应用带来显著的性能提升，无需专用NPU即可在端点中部署更多计算密集型ML推理算法。

随着硬件的发展，开发者所面临的软件复杂性也日益增加，因而需要新的开发流程来创建结合高效设备驱动程序的优化ML模型。为生态系统提供的软件开发平台和工具也必须紧跟硬件而演进，这一点至关重要。

如今由Arm和第三方提供的多种工具可用于支持终端用户创建AI算法。数据科学家在离线环境中创建好模型后，即可使用相应的工具来优化模型，以便在基于Arm Ethos™-U的NPU上运行模型，或在基于Cortex-M的处理器上使用Helium指令。

Qeexo是第一家为边缘设备实现端到端ML自动化的公司，其AutoML平台提供了直观的用户界面(UI)，允许用户对传感器数据进行收集、清理和可视化呈现，并使用不同的算法来自动构建ML模型。Keil微控制器开发套件(Keil MDK)等传统嵌入式工具是对MLOps工具的有益补充，并有助于建立用于验证复杂软件工作负载的DevOps流程。由此，嵌入式、物联网和AI应用程序最终汇聚于软件开发者都熟知的单一开发流程中。

边缘的潜能正在逐步被发掘。当前对提升微控制器性能的需求还在不断增长，特别是诸如声控门锁、人物检测识别、带有预测性维护的联网电机控制，以及数不胜数的其他高端AI和ML应用等任务。

我们相信，在正确技术的加持下，开发者可以重新构想边缘和端侧设备，并在性能、成本、能效与隐私等这些受限设备中的关键要素之间取得适当平衡，让未来的嵌入式开发实现AI计算的应用。