首页 要闻 > 内容

谷歌宣布推出用于AI工作负载的CloudTPU虚拟机

时间:2022-11-30 15:52:38 来源:
导读 一般可用性版本包括一个新的TPU嵌入API,谷歌云声称可以加速大规模、基于ML的排名和推荐工作负载谷歌云表示,通过CloudTPU嵌入加速可以帮助

一般可用性版本包括一个新的TPU嵌入API,谷歌云声称可以加速大规模、基于ML的排名和推荐工作负载谷歌云表示,通过CloudTPU嵌入加速可以帮助企业降低与排名和推荐用例相关的成本,这些用例通常依赖于运行成本高昂的深度神经网络算法。

“他们倾向于使用大量数据,使用传统的ML基础设施进行训练和部署可能既困难又昂贵,”谷歌云在一篇博文中表示。

“使用CloudTPU嵌入加速可以以较低的成本解决这个问题。嵌入API可以有效地处理大量数据,例如嵌入表,通过自动分片到pod中的数百个CloudTPU芯片,所有芯片都通过定制互连。”

同时,TPUVM旨在支持三个主要框架——TensorFlow、PyTorch和JAX——它们通过三个环境提供,以便于使用相应框架进行设置。

谷歌云补充说,TPU虚拟机使输入数据管道能够直接在TPU主机上执行。通过此功能,用户可以构建自己的客户操作,例如TensorFlowText,从而不再受限于TensorFlow运行时发布版本。

使用加速器在主机上本地执行还支持分布式强化学习等用例。

“使用CloudTPUVM,您可以在连接物理TPU硬件的同一主机上以交互方式工作,”GoogleCloud表示。

“我们快速增长的TPU用户社区热情地采用了这种访问机制,因为它不仅可以提供更好的调试体验,而且还可以实现某些训练设置,例如分布式强化学习,这在TPUNode中是不可行的(网络访问)建筑学。”

标签:
最新文章