端侧AI推理，高效部署PyTorch模子：民间新工具开源，Meta已经用上了

ExecuTorch 是端侧一个端到真个处置妄想 ，可能在挪移以及边缘配置装备部署（搜罗可衣着配置装备部署、推理手机等）上实现推理功能。高效

在 2023 年 PyTorch 大会上，部署一个深受巨匠体贴的模民间推理下场患上到了很好的处置，会上宣告了一个用于在边缘以及挪移配置装备部署上实现 AI 推理的新工处置妄想
：ExecuTorch，而且仍是具开经用开源的，而增长这一钻研的源Ma已，正是端侧 Meta AI 与 PyTorch 基金会 
。

ExecuTorch 地址：https://github.com/pytorch/executorch

学习文档：https://pytorch.org/executorch/stable/index.html

随着 ExecuTorch 的推理开源，预示着 AI 运用挨次在配置装备部署受骗地运行 、高效而需衔接到效率器或者云成为可能  。部署咱们可能将 ExecuTorch 清晰成一个 PyTorch 平台，模民间其能提供根基配置装备部署来运行 PyTorch 挨次 ，新工从 AR/VR 可衣着配置装备部署到尺度的具开经用 iOS 以及 Android 配置装备部署的挪移部署 。

ExecuTorch 最大优势是可移植性，可能在挪移以及嵌入式配置装备部署上运行 。不光如斯，ExecuTorch 还可能后退开拓职员的使命功能。

据清晰，Meta 曾经履历证了这项技术，并将其用于最新一代的雷朋智能眼镜 ，而这款眼镜也是 Meta 最近宣告的 Quest 3 VR 头显的一部份。Meta 展现，作为开源 PyTorch 名目的一部份 ，他们旨在进一步增长该技术的钻研，从而迈入在配置装备部署上实现 AI 推理的新时期。

Facebook 独创人、Meta 董事长兼首席实施官扎克伯格展现：「作为开源 AI 使命的一部份，咱们与 PyTorch 基金会及其行业相助过错一起开源了 ExecuTorch。这一变更预示着将 PyTorch 引入了手机以及可衣着配置装备部署等边缘合计平台。ExecuTorch 使 AI 模子可能直接在配置装备部署上运行，而无需衔接到效率器 。」

Meta 软件工程师 Mergen Nachin 指出，「明天的 AI 模子正在从效率器扩展到边缘配置装备部署，如挪移配置装备部署、AR、VR 以及 AR 头显、可衣着配置装备部署 、嵌入式零星等。ExecuTorch 经由提供端到真个使命流来优化当地挨次
，从而处置边缘配置装备部署碰着的挑战。」

ExecuTorch 关键组件

ExecuTorch 提供了松散的运行时以及轻量级操作注册表，以拆穿困绕 PyTorch 模子生态零星，以及在边缘配置装备部署上实施 PyTorch 挨次的简化道路。此外，ExecuTorch 还附带 SDK 以及工具链
 ，为 ML 开拓职员提供了更好的用户体验 。

作为 PyTorch Edge 生态零星的一部份，ExecuTorch 可能实用地将 PyTorch 模子部署到边缘配置装备部署 。ExecuTorch 的短处搜罗：

• 可移植性：与种种合计平台兼容，从高端挪入手机到高度受限的嵌入式零星以及微操作器。

• 后退花难题
  ：开拓职员可能运用相同的工具链以及 SDK ，从而后退花难题。

• 后退功能：由于轻量级运行时以及短缺运用 CPU、NPU 以及 DSP 等硬件功能，为最终用户提供了无缝以及高功能的体验。

由于 ExecuTorch 严正依赖 PyTorch 相关知识，因此，想要熟练把握 ExecuTorch ，还需延迟填补相关知识  。民间文档已经提供了入门级教程。好比，在构建 ExecuTorch Android 演示运用挨次示例之中 ，巨匠可能追寻教育教程，从而熟习若何运用 ExecuTorch。

最后 ，需要揭示巨匠的一点是
，本次宣告的 ExecuTorch 是一个预览版本，在测试以及评估中可能运用，可是不建议在破费情景中运用。PyTorch 团队招待来自社区的任何反映、倡讲以及过错陈说
，以辅助他们改善技术。