{"id":813,"date":"2024-09-30T11:17:29","date_gmt":"2024-09-30T09:17:29","guid":{"rendered":"https:\/\/bitacoraenlared.es\/navegantes\/?p=813"},"modified":"2024-09-29T11:23:52","modified_gmt":"2024-09-29T09:23:52","slug":"los-dias-de-dominacion-absoluta-de-nvidia-en-ia-podrian-estar-a-punto-de-terminar-esta-es-la-razon","status":"publish","type":"post","link":"https:\/\/bitacoraenlared.es\/navegantes\/los-dias-de-dominacion-absoluta-de-nvidia-en-ia-podrian-estar-a-punto-de-terminar-esta-es-la-razon\/","title":{"rendered":"Los d\u00edas de dominaci\u00f3n absoluta de Nvidia en IA podr\u00edan estar a punto de terminar: esta es la raz\u00f3n"},"content":{"rendered":"

Es dif\u00edcil reducir una ventaja de billones de d\u00f3lares a un solo elemento, pero eso es precisamente lo que est\u00e1n haciendo los competidores de Nvidia.\u00a0Su mejor oportunidad de conseguirlo parece estar en la \u00abinferencia\u00bb<\/a>, el paso posterior al entrenamiento de una m\u00e1quina de inteligencia artificial. Cuanto mejor entrenado y m\u00e1s afinado est\u00e9 un modelo, mejores ser\u00e1n sus inferencias.<\/p>\n

Una vez que se entrena un modelo,\u00a0los chips de inferencia de IA generan los resultados<\/strong>\u00a0y completan tareas basadas en ese entrenamiento, ya sea generar una imagen o redactar respuestas a una solicitud.<\/p>\n

Rodrigo Liang cofund\u00f3 SambaNova Systems en 2017 con el objetivo de desafiar el liderazgo de Nvidia en ese terreno.<\/strong>\u00a0Pero en aquel entonces, el ecosistema de inteligencia artificial era incipiente y las cargas de inferencia eran insignificantes. Con los modelos de base avanzando en tama\u00f1o y precisi\u00f3n, el paso del entrenamiento al uso se est\u00e1 haciendo m\u00e1s evidente.<\/p>\n

El mes pasado,\u00a0la directora financiera de Nvidia, Colette Kress,<\/a>\u00a0afirm\u00f3 que\u00a0el 40% de los ingresos de la compa\u00f1\u00eda en el segmento de centros de datos proviene de la inferencia<\/strong>. Liang explica a\u00a0Business Insider<\/em>\u00a0que espera que el 90% de las cargas de trabajo de la IA se concentren en la inferencia en un futuro no muy lejano.<\/p>\n

Esa es la raz\u00f3n por la que varias startups est\u00e1n entrando agresivamente en el mercado de la inferencia, subrayando d\u00f3nde pueden superar al gigante del sector.<\/p>\n

SambaNova utiliza una unidad de flujo de datos reconfigurable (RDU)\u00a0en lugar de las unidades de procesamiento gr\u00e1fico (GPU) de Nvidia<\/a>\u00a0y AMD. Liang afirma que su arquitectura est\u00e1 mejor adaptada a los modelos de aprendizaje autom\u00e1tico, ya que fue dise\u00f1ada espec\u00edficamente para eso y no para renderizar gr\u00e1ficos. Es un argumento que tambi\u00e9n utiliza Andrew Feldman, director ejecutivo de Cerebras, otro rival de Nvidia.<\/p>\n

Nvidia coincide en que la inferencia es el mercado m\u00e1s grande, seg\u00fan los analistas de Bernstein que se reunieron con Kress la semana pasada.<\/p>\n

Kress cree que la \u00aboferta de Nvidia es la mejor para la inferencia, dado su fuerte desarrollo en redes, su sistema de refrigeraci\u00f3n l\u00edquida y su CPU ARM, todos esenciales para una inferencia \u00f3ptima\u00bb<\/strong>. Kress sostiene que la mayor parte de los ingresos de Nvidia en inferencia proviene actualmente de motores de recomendaci\u00f3n y b\u00fasqueda. Nvidia ha declinado hacer comentarios sobre este art\u00edculo.<\/p>\n

Liang se\u00f1ala que el mercado de la inferencia comenzar\u00e1 a madurar en aproximadamente seis meses.<\/p>\n

Las startups apuestan por la velocidad en la computaci\u00f3n<\/h2>\n

Para atraer clientes que actualmente utilizan Nvidia,\u00a0nuevos actores como Groq, Cerebras y SambaNova<\/a>\u00a0est\u00e1n promoviendo la velocidad. De hecho, Cerebras y SambaNova dicen que ofrecen la computaci\u00f3n de inferencia m\u00e1s r\u00e1pida del mundo. Y ninguno utiliza GPUs, el tipo de chip que promocionan los l\u00edderes Nvidia y AMD.<\/p>\n

Seg\u00fan SambaNova, sus RDUs son ideales para la IA aut\u00f3noma, capaz de completar funciones con poca instrucci\u00f3n. La velocidad es un factor crucial cuando m\u00faltiples modelos de IA interact\u00faan entre s\u00ed, ya que esperar una respuesta puede restar eficacia a la IA generativa.<\/p>\n

Sin embargo, no hay una \u00fanica medida de la velocidad de inferencia.<\/strong>\u00a0Las especificaciones de cada modelo, como Llama de Meta, Claude de Anthropic o o1 de OpenAI, determinan la rapidez con que se generan los resultados.<\/p>\n

La velocidad en la computaci\u00f3n de IA resulta de varios factores de ingenier\u00eda que van m\u00e1s all\u00e1 del chip en s\u00ed. Adem\u00e1s, la forma en que los chips est\u00e1n interconectados puede afectar su rendimiento, lo que significa que\u00a0los chips de Nvidia<\/a>\u00a0en un centro de datos pueden funcionar de manera diferente que los mismos chips en otro centro.<\/p>\n

El n\u00famero de \u00abtokens\u00bb por segundo que se pueden procesar (cuando entra una solicitud) y generar (cuando sale una respuesta) es una m\u00e9trica com\u00fan de velocidad en la computaci\u00f3n de IA. Los tokens son una unidad b\u00e1sica de datos, que puede ser desde p\u00edxeles hasta palabras o audio. Sin embargo, los tokens por segundo no consideran la latencia, que puede deberse a varios factores.<\/p>\n

Tambi\u00e9n es complicado hacer una comparaci\u00f3n exacta entre hardware, ya que el rendimiento depende de c\u00f3mo est\u00e9 configurado el equipo y el software que lo ejecute.\u00a0<\/strong>Adem\u00e1s, los propios modelos est\u00e1n en constante mejora.<\/p>\n

Con el objetivo de acelerar el mercado de la inferencia y ganar terreno\u00a0en un mercado dominado por Nvidia<\/a>, varias empresas emergentes est\u00e1n probando diferentes modelos de negocio para evitar la competencia directa y dirigirse directamente a las empresas que desarrollan IA.<\/p>\n

SambaNova ofrece el modelo de base de c\u00f3digo abierto Llama de Meta a trav\u00e9s de su servicio en la nube, mientras que Cerebras y Groq han lanzado servicios similares. Por tanto, estas empresas est\u00e1n compitiendo tanto con los dise\u00f1adores de chips como Nvidia como con las compa\u00f1\u00edas que desarrollan modelos de base, como OpenAI.<\/p>\n

Artificialanalysis.ai proporciona informaci\u00f3n p\u00fablica comparando modelos que ofrecen inferencia como servicio a trav\u00e9s de API.\u00a0El mi\u00e9rcoles, la web mostr\u00f3 que Cerebras, SambaNova y Groq eran efectivamente las tres APIs m\u00e1s r\u00e1pidas para los modelos Llama 3.1 70B y 8B de Meta.<\/strong><\/p>\n

Nvidia no est\u00e1 incluida en esta comparaci\u00f3n porque no ofrece inferencia como servicio. MLPerf comparte puntos de referencia sobre el rendimiento en inferencia para medir la velocidad del hardware. Nvidia est\u00e1 entre los mejores en esta categor\u00eda, pero sus competidores emergentes no est\u00e1n incluidos.<\/p>\n

\u00abCreo que veremos c\u00f3mo este juego de la inferencia se abrir\u00e1 para todas estas alternativas de una manera mucho m\u00e1s amplia que el mercado del preentrenamiento\u00bb, argumenta Liang. \u00abDado que estaba tan concentrado en unos pocos jugadores, Jensen (Huang, CEO de Nvidia) pod\u00eda negociar personalmente esos acuerdos, algo que para las startups es dif\u00edcil de lograr\u00bb, a\u00f1ade.<\/p>\n

\u00bfCu\u00e1l es el truco?<\/h2>\n

Dylan Patel, analista jefe de Semianalysis, dice que los compradores de chips deben considerar no solo el rendimiento,\u00a0sino tambi\u00e9n todas las ventajas y gastos que influyen en la vida \u00fatil de un chip. Desde su perspectiva, los chips de estas startups tienen limitaciones.<\/strong><\/p>\n

Patel explica a\u00a0BI<\/em>\u00a0que \u00ablas GPUs ofrecen un costo total de propiedad superior por token\u00bb.<\/p>\n

SambaNova y Cerebras no est\u00e1n de acuerdo con esta afirmaci\u00f3n.<\/p>\n

\u00abPor lo general,\u00a0hay una compensaci\u00f3n entre la velocidad y el coste<\/strong>. Una mayor velocidad de inferencia puede significar un mayor tama\u00f1o del hardware, lo que a su vez implica mayores costes\u00bb, razona Liang, a\u00f1adiendo que SambaNova compensa este inconveniente al ofrecer velocidad y capacidad con menos chips y, por lo tanto, menores costos.<\/p>\n

El CEO de Cerebras, Andrew Feldman, rechaza la idea de que las GPUs tengan un menor coste total de propiedad, afirmando que \u00abaunque los fabricantes de GPUs pueden proclamar liderazgo en el costo total de propiedad, esto no se debe a la tecnolog\u00eda, sino al gran altavoz que tienen\u00bb.<\/p>\n

Daniel Alonso Vi\u00f1a<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"

Es dif\u00edcil reducir una ventaja de billones de d\u00f3lares a un solo elemento, pero eso es precisamente lo que est\u00e1n haciendo los competidores de Nvidia.\u00a0Su mejor oportunidad de conseguirlo parece estar en la \u00abinferencia\u00bb, el paso posterior al entrenamiento de una m\u00e1quina de inteligencia artificial. Cuanto mejor entrenado y m\u00e1s afinado est\u00e9 un modelo, mejores…<\/span><\/p>\n

Leer m\u00e1s<\/a><\/p>\n","protected":false},"author":1,"featured_media":814,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":"","_links_to":"","_links_to_target":""},"categories":[1],"tags":[14,13],"class_list":["post-813","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-internet","tag-fuprisa","tag-jose-manuel-fuentes-prieto"],"nelio_content":{"autoShareEndMode":"never","automationSources":{"useCustomSentences":false,"customSentences":[]},"efiAlt":"","efiUrl":"","followers":[1],"highlights":[],"isAutoShareEnabled":true,"networkImageIds":[],"permalinkQueryArgs":[],"series":[],"suggestedReferences":[]},"_links":{"self":[{"href":"https:\/\/bitacoraenlared.es\/navegantes\/wp-json\/wp\/v2\/posts\/813","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/bitacoraenlared.es\/navegantes\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/bitacoraenlared.es\/navegantes\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/bitacoraenlared.es\/navegantes\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/bitacoraenlared.es\/navegantes\/wp-json\/wp\/v2\/comments?post=813"}],"version-history":[{"count":1,"href":"https:\/\/bitacoraenlared.es\/navegantes\/wp-json\/wp\/v2\/posts\/813\/revisions"}],"predecessor-version":[{"id":815,"href":"https:\/\/bitacoraenlared.es\/navegantes\/wp-json\/wp\/v2\/posts\/813\/revisions\/815"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/bitacoraenlared.es\/navegantes\/wp-json\/wp\/v2\/media\/814"}],"wp:attachment":[{"href":"https:\/\/bitacoraenlared.es\/navegantes\/wp-json\/wp\/v2\/media?parent=813"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/bitacoraenlared.es\/navegantes\/wp-json\/wp\/v2\/categories?post=813"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/bitacoraenlared.es\/navegantes\/wp-json\/wp\/v2\/tags?post=813"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}