快速部署强大而高效的机器学习
发表时间：2024-04-10 09:18:31 浏览：168
边缘AI和ML的要求
从楼宇自动化、工业设备到家用电器，边缘物联网应用对人工智能和机器学习的需求不断增加。 即使是相对较小的低功耗嵌入式系统现在也承担着关键字识别、语音命令控制和音频/图像处理等工作负载。 目标应用包括传感器集线器、无人机导航和控制、增强现实 (AR)、虚拟现实 (VR) 和通信设备。
为了最大限度地减少能源使用、开销和延迟，同时确保隐私，通常首选在边缘处理数据，而不是将其发送到云端。 这对设计人员来说是一个挑战，因为边缘设备通常资源有限，特别是在电池供电时。
用于边缘计算的增强型 MCU
AI 和 ML 工作负载通常涉及在大型数据集中重复执行相同的数学运算。 这些工作负载可以使用单指令、多数据 (SIMD) 处理进行加速。 SIMD 并行执行多项数学运算，与传统处理相比，可提供更高的吞吐量和更高的能效。
由于传统 MCU 缺乏 SIMD 功能，因此它们需要帮助执行 AI 和 ML 工作负载。 一种解决方案是与 MCU 一起使用数字信号处理器 (DSP) 或其他 SIMD 加速器。 然而，这种多处理器方法使系统设计变得复杂。
另一种选择是改用配备 SIMD 功能的更高性能微处理器单元 (MPU)。 这可以在单处理器设置中提供必要的性能，但 MPU 在功耗和功能集方面需要权衡。 例如，并非所有 MPU 都旨在提供面向 MCU 的应用程序所需的确定性、低延迟计算。
从楼宇自动化、工业设备到家用电器，边缘物联网应用对人工智能和机器学习的需求不断增加。 即使是相对较小的低功耗嵌入式系统现在也承担着关键字识别、语音命令控制和音频/图像处理等工作负载。 目标应用包括传感器集线器、无人机导航和控制、增强现实 (AR)、虚拟现实 (VR) 和通信设备。
为了最大限度地减少能源使用、开销和延迟，同时确保隐私，通常首选在边缘处理数据，而不是将其发送到云端。 这对设计人员来说是一个挑战，因为边缘设备通常资源有限，特别是在电池供电时。
用于边缘计算的增强型 MCU
AI 和 ML 工作负载通常涉及在大型数据集中重复执行相同的数学运算。 这些工作负载可以使用单指令、多数据 (SIMD) 处理进行加速。 SIMD 并行执行多项数学运算，与传统处理相比，可提供更高的吞吐量和更高的能效。
由于传统 MCU 缺乏 SIMD 功能，因此它们需要帮助执行 AI 和 ML 工作负载。 一种解决方案是与 MCU 一起使用数字信号处理器 (DSP) 或其他 SIMD 加速器。 然而，这种多处理器方法使系统设计变得复杂。
另一种选择是改用配备 SIMD 功能的更高性能微处理器单元 (MPU)。 这可以在单处理器设置中提供必要的性能，但 MPU 在功耗和功能集方面需要权衡。 例如，并非所有 MPU 都旨在提供面向 MCU 的应用程序所需的确定性、低延迟计算。