Akamai estrena Cloud Inference, solución para disminuir la latencia de servicios basados en IA

Akamai Cloud Inference nace con el objetivo de marcar el comienzo de una” era de innovación más rápida y eficiente” para las organizaciones que buscan convertir los modelos predictivos y de grandes lenguajes (LLMs) basados en IA en una realidad.

La nueva solución de Akamai proporciona herramientas para que los ingenieros y desarrolladores de plataformas construyan y ejecuten aplicaciones de IA 和 cargas de trabajo con grandes volúmenes de datos de forma más cercana a los usuarios finales, proporcionando un rendimiento “3 veces mejor y reduciendo la latencia hasta 2,5 veces”. Con la nueva solución, las empresas pueden ahorrar hasta un 86% en inferencias de IA 和 cargas de trabajo de IA de agentes en comparación con la infraestructura tradicional a hiperescala.

Akamai Cloud Inference abarca un amplio conjunto de computación, con CPUs clásicas y VPU ASIC personalizadas, así como una profunda integración con el ecosistema empresarial de inteligencia artificial de Nvidia, beneficiándose de Triton, Tao Toolkit, TensorRT y NvFlare. En materia de gestión de datos, Akamai se ha asociado con VAST Data para proporcionar un acceso optimizado a datos en tiempo real para acelerar las tareas relacionadas con la inferencia, esenciales para ofrecer resultados relevantes y una experiencia receptiva. De esta forma, la compañía puede almacenar de forma segura datos de modelos ajustados y elementos de formación para ofrecer inferencia de IA de baja latencia a escala global.

Otro elemento clave para este sistema es la contenedorización de las cargas de trabajo de IA permite el autoescalado en función de la demanda, la mejora de la resiliencia de las aplicaciones y la portabilidad híbrida-multicloud, optimizando al mismo tiempo el rendimiento y el coste. Con Kubernetes, Akamai puede ofrecer una inferencia de IA “más rápida, barata y segura con un rendimiento a escala de petabytes”. Adicionalmente, para simplificar el método de creación de aplicaciones basadas en IA por parte de los desarrolladores, Akamai AI Inference incluye capacidades WebAssembly (WASM) que permiten que los desarrolladores ejecuten inferencias para LLM directamente desde aplicaciones sin servidor, de modo que los clientes puedan ejecutar código ligero en el extremo para habilitar aplicaciones sensibles a la latencia.

Juntas, estas herramientas crean una plataforma para aplicaciones de baja latencia e impulsadas por IA que permite a las empresas ofrecer la experiencia que demandan sus usuarios. Akamai Cloud Inference se ejecuta en la red distribuida masivamente de la empresa, capaz de entregar de forma consistente más de un petabyte por segundo de rendimiento para cargas de trabajo intensivas en datos.

Francisco Arnau, vicepresidente de Akamai para España y Portugal, explica los conceptos claves de esta nueva solución: “Crear un LLM es como elaborar un mapa: requiere recopilar datos, analizar el terreno y trazar rutas. Es lento y consume muchos recursos, pero una vez construido es muy útil. La inferencia de IA es como utilizar un GPS: aplica instantáneamente esos conocimientos, recalcula en tiempo real y se adapta a los cambios para situarte donde necesites. La inferencia es la próxima frontera de la IA”.

其他文章 Akamai