Red Hat habilita IAGen para cualquier entorno híbrido con Red Hat AI Inference Server

Esta solución facilita que las organizaciones aprovechen la IA generativa al ofrecer experiencias de usuario más eficaces y una libertad para elegir aceleradores, modelos y entornos de TI.

Joe Fernandes, vice president and general manager, AI Business Unit, Red Hat. Foto: Red Hat. Portal ERP LATAM.

Red Hat, anunció Red Hat AI Inference Server, que constituye un avance hacia la democratización de la IA generativa (gen AI) en la nube híbrida. Este servidor de inferencia para la empresa es una nueva oferta dentro de Red Hat AI, que nace a partir del proyecto comunitario vLLM y está optimizado por la integración de las tecnologías Neural Magic de Red Hat.

Esto hace posible ejecutar cualquier modelo de IA generativa en cualquier acelerador de IA, en cualquier entorno de nube, más rápido. Ya sea que se la implemente de forma autónoma o como componente integrado de Red Hat Enterprise Linux AI (RHEL AI) y Red Hat OpenShift AI, esta plataforma permite a las organizaciones implementar y escalar la IA generativa en modo de producción con mayor confianza.

Red Hat AI Inference Server está diseñado para satisfacer la demanda de inferencia de alto rendimiento y capacidad de respuesta a gran escala, al mismo tiempo que mantiene una demanda de recursos baja, proporciona una capa de inferencia común compatible con cualquier modelo y se ejecuta en cualquier acelerador en cualquier entorno.

“La inferencia es el motor de ejecución crítico de la IA, en el que los modelos preentrenados traducen los datos en un impacto tangible. Es el punto clave de la interacción con el usuario, que exige respuestas rápidas y precisas. A medida que los modelos de IA generativa se vuelven cada vez más complejos y las implementaciones de producción aumentan, la inferencia puede convertirse en un importante cuello de botella que acapara recursos de hardware y amenaza con reducir la capacidad de respuesta e inflar los costos operativos. Para liberar el verdadero potencial de la IA a gran escala, los servidores de inferencia potentes ya no son un lujo, sino una necesidad, dado que sortean las complejidades subyacentes con mayor facilidad”, comentó Joe Fernandes, vice president and general manager, AI Business Unit, Red Hat.

Red Hat AI Inference Server se basa en el proyecto vLLM, iniciado por UC Berkeley a mediados de 2023. Este proyecto comunitario ofrece una inferencia de IA generativa de alto rendimiento, admite contextos de entrada de gran tamaño, aceleración de modelos de múltiples GPU y compatibilidad con el procesamiento continuo por lotes, entre muchas otras características.

Red Hat AI Inference Server proporciona a los usuarios una distribución de vLLM compatible, además de:

• Herramientas de compresión de LLM, que reducen el tamaño de los modelos de IA, tanto los de base como los ajustados, lo cual minimiza el consumo de recursos informáticos y preserva y mejora la precisión del modelo.
• Repositorio optimizado de modelos, alojado en Hugging Face, dentro de la organización de Red Hat AI, que ofrece acceso a una colección validada de modelos de IA listos para la implementación de inferencia, lo que ayuda a duplicar o cuadruplicar la aceleración sin comprometer la precisión del modelo.
• Soporte empresarial de Red Hat y décadas de experiencia en llevar proyectos comunitarios a entornos de producción.
• Soporte de terceros, para una mayor flexibilidad de implementación, lo que permite implementar Red Hat AI Inference Server en plataformas que no sean Red Hat Linux y Kubernetes de conformidad con la Política de soporte de componentes de terceros de Red Hat.

El futuro de la IA debe definirse por oportunidades ilimitadas, sin silos de infraestructura que la restrinjan. Red Hat visualiza un horizonte en el que las empresas puedan implementar cualquier modelo, en cualquier acelerador y en cualquier nube, al mismo tiempo que ofrecen una experiencia de usuario original y más uniforme.

Para aprovechar al máximo el verdadero potencial de las inversiones en IA generativa, las empresas necesitan una plataforma de inferencia universal, un estándar para lograr una innovación en IA más fluida y de alto rendimiento, tanto hoy como en el futuro.