将ISP和机器学习加速添加到I.MX 8M系列

beplay体育app 苹果云计算、边缘计算和基于视觉的系统已经占领了越来越多的工业和消费系统。此外，许多现代系统采用机器学习和人工智能来增强用户体验。这种方法通常需要嵌入式系统设计人员利用各种不同的soc和专门的处理器来完成所有这些任务。

然而，恩智浦决定采取不同的方法，并且它们已经组合了一个图像信号处理器（ISP），用于机器学习加速的神经处理单元（NPU），以及一个设备中的MPU：高级I.MX 8M Plus应用处理器。

图1所示。i.MX 8M Plus应用程序处理器。

beplay体育app 苹果云计算与边缘计算

需要一些上下文来理解为什么i.MX 8M Plus应用程序处理器为边缘计算提供强大的解决方案。

beplay体育app 苹果云计算是指计算机系统资源在用户网络范围之外的按需可用性。这些资源可以是任何一种。然而，它们通常用于执行要求很高的任务和用于数据存储。

通常，基于云的数据中心并不仅限于单个用户或组织。相反，资源在所有用户之间共享。通常，公共云服务使用现收现付模型，这意味着如果上传不必要或嘈杂的数据在云中处理，成本可能会迅速增加。

这就是边缘计算可以派上用场的地方。边缘计算将一些资源放在用户和网络范围内的云之间。然而，通常情况下，并不是所有的计算都在边缘执行。相反，边缘资源被用来过滤数据，并在数据上传到云端之前丢弃不需要的元素，从而产生不必要的成本。通常，机器学习和人工智能被用来自动分类结果，只上传相关信息到云。

但是，也可以完全省略云，并在边缘处理器上本地运行所有机器学习推断 - 例如，i.mx 8M加应用处理器，具有一些优点。

使用边缘计算相对于云计算的潜在好处beplay体育app 苹果

边缘计算(例如由i.MX 8M Plus提供的边缘计算)提供了许多可能优于云计算的优点，值得仔细考虑。beplay体育app 苹果

除了成本因素之外，上传到云的数据还将减少整体网络流量，可以加快依赖网络的其他应用程序。这不仅提高了处理器专门专用的任务的效率，而且还可以为其他，辅助活动和优先事项释放关键资源。

接下来，在本地运行推断意味着，即使云服务离线或网络连接中断，应用程序也可以继续运行。这可能是一个重要的因素，特别是对于安全关键的用例，但对于其他连接的应用程序，如家庭安全设备，也是如此。

此外，与使用云服务相比，此解决方案提供了更好的延迟和更短的响应时间。低延迟非常重要，例如，在执行工厂现场目视检查和其他时间紧迫的应用程序时。

最后，用户隐私是另一个要考虑的因素。在处理机密数据时，每个外部服务都是潜在的安全风险。因此，在用户网络的范围内保持重要信息可以提高整个应用程序的安全性。这对工业用户来说不仅重要，而且对于私人用户和客户来说也是至关重要的，例如，使用语音助理或使用个人视频和图像文件时。

需要多少机器学习性能?

在云计算中beplay体育app 苹果，机器学习性能通常不是问题或限制因素。然而，当在边缘执行这些操作时，问题变成了需要多少能量。衡量机器学习性能的一种流行方法是TOPS，它是每秒万亿(tera)操作的缩写，顾名思义，它指的是每秒的操作数(通常是8位整数相乘或累加)。然而，整个系统的性能将取决于更多的因素。然而，TOPS仍然经常被用来快速比较机器学习系统的性能。

边缘处的完整语音识别（不仅关键字拍摄）才能要求大约一到两个顶部的系统性能。真正的要求大量取决于所采用的算法，以及是否对理解用户说的是至关重要的。当使用诸如YOLOV3的算法时，每秒60帧的对象检测为每秒60帧。

因为处理和机器学习在变得越来越相关,NXP添加了一个机器学习加速器性能的约2.3顶部i.MX 8 m +应用程序处理器,这使得它为各种工业装备精良的任务和许多其他应用程序,而不需要使用外部云服务。

图2。i.MX 8M Plus应用程序处理器为各种利用外部云服务的工业任务配备了良好的设备。

i.MX 8M Plus已经为嵌入式视觉系统做好了准备

到目前为止，本文提到了需要摄像机才能正常工作的各种应用程序示例。其中之一是一个基于视觉的系统，它可以在生产线末端经过自动光学检测后丢弃有缺陷的部件。所有这些系统都需要视觉输入，例如，来自摄像机的图像。ISP功能存在于每个基于摄像头的系统中。通常，图像信号处理器存在于外部设备中，比如相机本身，并对用户隐藏起来。这样的isp通常会处理一些不同的图像优化和过滤任务。

在很多情况下，你可以不使用专门的ISP，例如，当使用一个简单的USB网络摄像头。然后，ISP通常已经内置到摄像头中，摄像头将在用户不注意的情况下执行所有必要的转换。

然而，这类isp也有其局限性，它们通常在200万像素以下的分辨率下都能很好地工作。此外，缺少对ISP的控制、增加的复杂性和增加的功耗在某些情况下可能会造成问题。

当需要更高的图像分辨率（1080p）时，嵌入式系统设计器可以利用外部ISP，这反过来会增加系统的整体复杂性和功耗。或者，设计者可以使用具有内置ISP的应用处理器，例如i.mx 8m plus。该方法提供优化的成像解决方案，特别是在2百万像素和更高的分辨率下，而不会增加系统的复杂性。

总结

与云计算相比，边缘计算有一些吸引人的优点，而且它有可能改变我们未来的工作、生活和休闲方式。beplay体育app 苹果一些好处包括提高可靠性、可伸缩性和安全性，以及减少延迟。

使用i.MX 8M Plus应用处理器，NXP组合了两个因素，使得在边缘能够实现现代应用。这种新的MPU将鼓励开发众多创新的工业设备和消费级产品。它包括用于构建现代基于视觉的系统的ISP，需要高分辨率输入数据。

来自ISP的图像信息可以直接输入到内置的NPU，使高速应用程序能够依赖图像数据，同时保持CPU空闲用于其他任务。此外，i.MX 8M Plus应用程序处理器还提供了一些值得一看的其他特性，例如，具有时间敏感网络的以太网控制器，支持ECC的DRAM控制器，以及适用于各种应用程序的各种不同内核。

有了i.MX 8M Plus应用处理器，无论是智能家居中心、智能建筑控制，还是工业应用，基于高功率视觉的应用几乎是无限的可能性。

行业文章是一种内容的形式，允许行业合作伙伴分享有用的新闻，消息和技术，所有关于电路读者的行为编辑内容并不适合。所有行业文章都受到严格的编辑准则，目的是提供读者有用的新闻，技术专业知识或故事。在行业文章中表达的观点和意见是合作伙伴的观点，不一定是关于电路或其作家的所有人。