跳到主要内容
博客计算Akamai云上的人工智能推理:帮助开发人员加速边缘原生应用

Akamai云上的人工智能推理:帮助开发人员加速边缘原生应用

云上的人工智能推理_Akamai_Cloud_使开发人员能够加速边缘原生应用程序

围绕人工智能(AI)的讨论持续升温,随之而来的关键需求是,不仅要训练强大的模型,还要有效地将其部署到现实世界的应用中。这就是人工智能推理发挥作用的地方--使用训练有素的人工智能模型生成预测和见解的过程。在Akamai,我们一直在战略性地建设未来的人工智能推理,在未来,人工智能推理不仅可以轻松访问,而且性能卓越、可扩展、经济高效--一直延伸到边缘。

随着 Akamai云推理的推出,我们进一步实现了成为世界上分布最广的云的愿景,为人工智能及其他领域实现了高吞吐量、低延迟的工作负载。Akamai Cloud Inference是我们最近采取的几个关键步骤的结合,使开发人员能够构建和分发边缘本地应用程序和人工智能解决方案。我们认识到,虽然集中式云模型可以处理大规模的人工智能培训,但它们往往难以满足在全球范围内有效实现超低延迟连续按需推理所需的规模和分布。 

我们在为人工智能推理提供更快、更具成本效益的云计算服务的过程中深思熟虑,并以云原生技术为坚实基础。Akamai云是世界上分布最广的公共云,通过Akamai庞大的全球网络提供全面的云产品套件,为人工智能推断提供独一无二的支持。Akamai云推理建立在云原生、可扩展的Kubernetes架构--Linode Kubernetes引擎(LKE)和Akamai应用平台--的强大骨干之上,能够快速部署人工智能应用和推理用例。

  • Akamai的新解决方案为平台工程师和开发人员提供了工具,使他们能够更贴近终端用户构建和运行人工智能应用和数据密集型工作负载,将吞吐量提高3倍,同时将延迟降低2.5倍。
  • 与传统的hyperscaler基础架构相比,使用Akamai的解决方案,企业可以在人工智能推理和代理人工智能工作负载上节省高达86%的成本。
  • 从用于轻量级微调的最新 AMD CPU,到采用NVIDIA ™(NVIDIA®)图形处理器和NETINT 视频处理单元(VPU)的强大加速计算选项,我们都能提供合适的马力,满足您独特的人工智能推理需求。 
  • 我们与VAST Data 的合作简化了对实时数据的访问,这对加速推理相关任务至关重要。此外,我们还提供高度可扩展的对象存储,并与Aiven和Milvus等领先的矢量数据库供应商集成,以实现检索增强生成(RAG)。 
  • 利用我们的云原生 Kubernetes 平台(包括新的 LKE-Enterprise 和 App Platform),我们实现了高度可扩展和可移植的人工智能应用容器,消除了供应商锁定和复杂性,优化了速度、成本和安全性。 
  • 通过与Fermyon等领先的WebAssembly(WASM)合作,Akamai使开发人员能够直接从边缘的无服务器应用程序执行LLM的轻量级推理,为延迟敏感型应用提供动力。 

我们的大规模分布式网络在全球拥有 4100 多个存在点,可确保从云到边缘低延迟访问计算资源。这种强大的组合使我们能够在任何地方大规模提供最佳的低延迟、高吞吐量人工智能推断。 

这不仅仅是技术问题,而是通过实用的人工智能解决方案为企业赋能的问题。试想一下,通过实时物体检测和识别,加快流程并减少错误,从而改变零售结账体验。或者考虑一下人工智能驱动的车载语音辅助,为联网汽车功能和高级路线优化提供即时、相关的响应。这些只是Akamai云推理如何推动真正商业价值的几个例子。 

展望未来,我们的愿景非常明确:打造企业如何在其业务和客户中提供快速、高性能人工智能推理的未来--尽可能提供最高的吞吐量和最短的响应时间。我们相信,随着越来越多的企业认识到集中式架构对于以边缘为中心的人工智能工作负载的局限性,我们的发展势头将会越来越好。Akamai在帮助客户扩展其人工智能计划方面有着得天独厚的优势,能够将数据转化为更接近数字接触点的行动。欢迎来到由Akamai云提供支持的人工智能推理的未来。

注释

留下回复

您的电子邮件地址将不会被公布。 必须填写的字段被标记为*