Es difícil reducir una ventaja de billones de dólares a un solo elemento, pero eso es precisamente lo que están haciendo los competidores de Nvidia. Su mejor oportunidad de conseguirlo parece estar en la «inferencia», el paso posterior al entrenamiento de una máquina de inteligencia artificial. Cuanto mejor entrenado y más afinado esté un modelo, mejores serán sus inferencias.
Una vez que se entrena un modelo, los chips de inferencia de IA generan los resultados y completan tareas basadas en ese entrenamiento, ya sea generar una imagen o redactar respuestas a una solicitud.
Rodrigo Liang cofundó SambaNova Systems en 2017 con el objetivo de desafiar el liderazgo de Nvidia en ese terreno. Pero en aquel entonces, el ecosistema de inteligencia artificial era incipiente y las cargas de inferencia eran insignificantes. Con los modelos de base avanzando en tamaño y precisión, el paso del entrenamiento al uso se está haciendo más evidente.
El mes pasado, la directora financiera de Nvidia, Colette Kress, afirmó que el 40% de los ingresos de la compañía en el segmento de centros de datos proviene de la inferencia. Liang explica a Business Insider que espera que el 90% de las cargas de trabajo de la IA se concentren en la inferencia en un futuro no muy lejano.
Esa es la razón por la que varias startups están entrando agresivamente en el mercado de la inferencia, subrayando dónde pueden superar al gigante del sector.
SambaNova utiliza una unidad de flujo de datos reconfigurable (RDU) en lugar de las unidades de procesamiento gráfico (GPU) de Nvidia y AMD. Liang afirma que su arquitectura está mejor adaptada a los modelos de aprendizaje automático, ya que fue diseñada específicamente para eso y no para renderizar gráficos. Es un argumento que también utiliza Andrew Feldman, director ejecutivo de Cerebras, otro rival de Nvidia.
Nvidia coincide en que la inferencia es el mercado más grande, según los analistas de Bernstein que se reunieron con Kress la semana pasada.
Kress cree que la «oferta de Nvidia es la mejor para la inferencia, dado su fuerte desarrollo en redes, su sistema de refrigeración líquida y su CPU ARM, todos esenciales para una inferencia óptima». Kress sostiene que la mayor parte de los ingresos de Nvidia en inferencia proviene actualmente de motores de recomendación y búsqueda. Nvidia ha declinado hacer comentarios sobre este artículo.
Liang señala que el mercado de la inferencia comenzará a madurar en aproximadamente seis meses.
Las startups apuestan por la velocidad en la computación
Para atraer clientes que actualmente utilizan Nvidia, nuevos actores como Groq, Cerebras y SambaNova están promoviendo la velocidad. De hecho, Cerebras y SambaNova dicen que ofrecen la computación de inferencia más rápida del mundo. Y ninguno utiliza GPUs, el tipo de chip que promocionan los líderes Nvidia y AMD.
Según SambaNova, sus RDUs son ideales para la IA autónoma, capaz de completar funciones con poca instrucción. La velocidad es un factor crucial cuando múltiples modelos de IA interactúan entre sí, ya que esperar una respuesta puede restar eficacia a la IA generativa.
Sin embargo, no hay una única medida de la velocidad de inferencia. Las especificaciones de cada modelo, como Llama de Meta, Claude de Anthropic o o1 de OpenAI, determinan la rapidez con que se generan los resultados.
La velocidad en la computación de IA resulta de varios factores de ingeniería que van más allá del chip en sí. Además, la forma en que los chips están interconectados puede afectar su rendimiento, lo que significa que los chips de Nvidia en un centro de datos pueden funcionar de manera diferente que los mismos chips en otro centro.
El número de «tokens» por segundo que se pueden procesar (cuando entra una solicitud) y generar (cuando sale una respuesta) es una métrica común de velocidad en la computación de IA. Los tokens son una unidad básica de datos, que puede ser desde píxeles hasta palabras o audio. Sin embargo, los tokens por segundo no consideran la latencia, que puede deberse a varios factores.
También es complicado hacer una comparación exacta entre hardware, ya que el rendimiento depende de cómo esté configurado el equipo y el software que lo ejecute. Además, los propios modelos están en constante mejora.
Con el objetivo de acelerar el mercado de la inferencia y ganar terreno en un mercado dominado por Nvidia, varias empresas emergentes están probando diferentes modelos de negocio para evitar la competencia directa y dirigirse directamente a las empresas que desarrollan IA.
SambaNova ofrece el modelo de base de código abierto Llama de Meta a través de su servicio en la nube, mientras que Cerebras y Groq han lanzado servicios similares. Por tanto, estas empresas están compitiendo tanto con los diseñadores de chips como Nvidia como con las compañías que desarrollan modelos de base, como OpenAI.
Artificialanalysis.ai proporciona información pública comparando modelos que ofrecen inferencia como servicio a través de API. El miércoles, la web mostró que Cerebras, SambaNova y Groq eran efectivamente las tres APIs más rápidas para los modelos Llama 3.1 70B y 8B de Meta.
Nvidia no está incluida en esta comparación porque no ofrece inferencia como servicio. MLPerf comparte puntos de referencia sobre el rendimiento en inferencia para medir la velocidad del hardware. Nvidia está entre los mejores en esta categoría, pero sus competidores emergentes no están incluidos.
«Creo que veremos cómo este juego de la inferencia se abrirá para todas estas alternativas de una manera mucho más amplia que el mercado del preentrenamiento», argumenta Liang. «Dado que estaba tan concentrado en unos pocos jugadores, Jensen (Huang, CEO de Nvidia) podía negociar personalmente esos acuerdos, algo que para las startups es difícil de lograr», añade.
¿Cuál es el truco?
Dylan Patel, analista jefe de Semianalysis, dice que los compradores de chips deben considerar no solo el rendimiento, sino también todas las ventajas y gastos que influyen en la vida útil de un chip. Desde su perspectiva, los chips de estas startups tienen limitaciones.
Patel explica a BI que «las GPUs ofrecen un costo total de propiedad superior por token».
SambaNova y Cerebras no están de acuerdo con esta afirmación.
«Por lo general, hay una compensación entre la velocidad y el coste. Una mayor velocidad de inferencia puede significar un mayor tamaño del hardware, lo que a su vez implica mayores costes», razona Liang, añadiendo que SambaNova compensa este inconveniente al ofrecer velocidad y capacidad con menos chips y, por lo tanto, menores costos.
El CEO de Cerebras, Andrew Feldman, rechaza la idea de que las GPUs tengan un menor coste total de propiedad, afirmando que «aunque los fabricantes de GPUs pueden proclamar liderazgo en el costo total de propiedad, esto no se debe a la tecnología, sino al gran altavoz que tienen».