英特尔将其NPU加速库作为开源资产使开发人员能够优化人工智能应用

2024-03-04 16:07:54 来源：用户：

英特尔终于“开源”了其NPU加速库，允许开发人员和爱好者调整他们的应用程序，以最好地与英特尔的人工智能引擎配合使用。

英特尔NPU库开源表明专用AI引擎前景广阔

这一消息来自英特尔技术传播者TonyMongkolsmai，他首先披露了该公司新的开源库。

相关报道IntelCorei9-14900KSCPU已在买家手中，6.2GHz@1.5V和直接冷却

通过这一步，NPU加速库将帮助开发者受益于MeteorLake“CoreUltra”系列等CPU阵容中现有的NPU。它基于Python，通过提供高级接口简化了开发，并支持TensorFlow和PyTorch等流行框架，使开发人员能够利用该库的功能来提高AI相关任务的效率。

Tony一直在配备IntelCoreUltraCPU的MSIPrestige16AIEvo笔记本电脑上运行NPU加速库。他可以在机器上运行TinyLlama和Gemma-2b-itLLM模型而不会造成性能中断，这表明英特尔NPU的潜力以及它们如何为开发人员促进边缘AI环境。以下是英特尔开发团队自己对该库的描述：

英特尔NPU加速库是一个Python库，旨在利用英特尔神经处理单元(NPU)的强大功能在兼容硬件上执行高速计算，从而提高应用程序的效率。

为了显着提高图书馆的性能，我们正在努力实现一系列关键功能，包括：

8位量化

4位量化和GPTQ

NPU-Native混合精度推理

Float16支持

BFloat16(大脑浮点格式)

torch.compile支持

LLMMLP水平融合实现

静态形状推断

MHANPU推理

NPU/GPU异构计算

纸

通过Github英特尔

很高兴看到NPU加速库的开源，因为它最终将增强在英特尔专用AI引擎上运行的AI应用程序的实现。看看我们在此类引擎上看到什么样的发展将会很有趣，因为正如托尼本人所说，对于消费者和开发人员来说，有很多东西。

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。如有侵权请联系删除！