MosaicML entrena modelos de IA generativa más rápido con Oracle

MosaicML añade Oracle Cloud Infrastructure a su plataforma gestionada, lo que acelera el entrenamiento de modelos de IA para empresas

MosaicML, un proveedor de desarrollo de software que ofrece infraestructura y herramientas para desarrollar modelos de aprendizaje automático a gran escala, seleccionó a Oracle Cloud Infrastructure (OCI) como su infraestructura en la nube preferida para ayudar a las empresas a extraer más valor de sus datos.

Gracias a la infraestructura de IA de alto desempeño de OCI, MosaicML afirma que ha observado un desempeño hasta un 50% más rápido y un ahorro de costos de hasta el 80% en comparación con otros proveedores en la nube.

"Cientos de organizaciones confían en la plataforma de MosaicML para desarrollar y entrenar grandes y complejos modelos de IA generativa. Ofrecemos los sistemas y el hardware para que nuestros clientes puedan centrarse en crear e implementar sus propios modelos personalizados, afirma Naveen Rao, CEO y cofundador de MosaicML. "Elegimos a OCI porque creemos que es la mejor base para MosaicML. Al entrenar modelos con enormes cantidades de datos en la nube, cada minuto cuenta, y con OCI pagamos menos que con otros proveedores de nube y podemos escalar casi linealmente gracias a la forma en que Oracle configuró sus interconexiones."

MosaicML ayuda a que el entrenamiento y la inferencia de modelos de IA sean más eficientes y accesibles gracias a sus funciones de entrenamiento de modelos. A fin de ampliar su negocio y satisfacer la creciente demanda de servicios de inteligencia artificial, ha elegido a OCI. Gracias a ella ha podido acceder a las últimas GPU NVIDIA, una interconexión de gran ancho de banda entre nodos y bloques de cálculo de gran tamaño para escalar a miles de GPUs. Ello le ha permitido ayudar a empresas y startups a poner en funcionamiento modelos de IA como es el caso de Twelve Labs.

Twelve Labs es una empresa de IA que crea modelos básicos para la comprensión multimodal de videos. Al aprovechar la plataforma de MosaicML que se ejecuta en OCI y la infraestructura de IA de OCI, Twelve Labs fue capaz de escalar e implementar sus modelos de IA para ayudar a los usuarios a buscar, clasificar y utilizar con eficacia sus datos de video en diversas aplicaciones.

"La combinación de MosaicML y Oracle nos ha ayudado enormemente a gestionar grandes capacidades a altas velocidades y a acompañar nuestro crecimiento a largo plazo", afirma Jae Lee, fundador y CEO de Twelve Labs. "MosaicML nos permite gestionar de forma eficiente nuestros clústeres de IA, mientras que la infraestructura de IA de OCI garantiza que no tengamos que comprometer la velocidad, lo que nos ha ahorrado miles de horas y decenas de miles de dólares en eficiencia."

OCI ofrece varias funcionalidades, como la Infraestructura de IA. Las máquinas virtuales y las instancias GPU de OCI Compute potencian aplicaciones de visión computarizada, procesamiento del lenguaje natural, sistemas de recomendación, etc. Para entrenar modelos grandes y complejos, como los modelos grandes de lenguaje (LLM) a escala, OCI Supercluster ofrece redes de clúster de latencia ultra baja, almacenamiento HPC e instancias OCI Compute con hardware dedicado respaldadas por GPU NVIDIA. Las instancias de OCI Compute están conectadas por una red Ethernet de alto desempeño que utiliza RoCE v2 (RDMA sobre Ethernet convergente v2). El ancho de banda en GPU A100 proporcionado por OCI supera el de AWS y GCP entrre4 y 16 veces, lo que a su vez reduce el tiempo y el costo del entrenamiento de aprendizaje automático.

"Observamos a diario una afluencia de empresas de IA que acuden a OCI para ejecutar modelos de IA generativa, porque podemos ejecutarlos de forma más rápida y económica que otros proveedores de nube". No es raro entrenar un modelo de 10.000 millones de parámetros en pocas horas con OCI, frente a otros que tardan días con otras plataformas", afirma Greg Pavlik, vicepresidente senior de Oracle. "La arquitectura de OCI y su diseño de red no bloqueante y de baja latencia es fundamentalmente diferente a todo lo que hay en el mercado".