Mi Blog

November 15, 2023

Technology
Adriana P

La respuesta de un ejecutivo de Meta a cuánto consume la IA: “solo harían falta dos reactores nucleares para cubrirlo”

La respuesta de un ejecutivo de Meta a cuánto consume la IA:

Podemos regularla e intentar frenarla, pero a estas alturas queda claro que el desarrollo de la inteligencia artificial generativa es imparable. Por encima de todas las implicaciones, hay un problema energético: hace falta una enorme capacidad de cómputo para procesar las respuestas y, sobre todo, entrenar grandes modelos de IA, una posibilidad al alcance de muy pocas empresas.

Cuánta energía consume la IA generativa. El ingeniero jefe de inteligencia artificial generativa de Meta, Sergey Edunov, tiene una respuesta sorprendente: “solo hacen falta dos reactores nucleares” para cubrir la demanda.

Es una visión optimista de un problema que lleva preocupándonos varios años: la IA supercontaminante. Entrenar modelos de inteligencia artificial no incrementaría las emisiones de carbono si construyéramos una central nuclear con dos reactores exclusivamente para alimentarlas.

Energía nuclear para alimentar a la bestia. Meta no es la primera empresa que vincula energía nuclear con inteligencia artificial. Microsoft reveló en septiembre sus planes de desarrollar reactores de fisión nuclear para “para alimentar los centros de datos en los que residen Microsoft Cloud y su inteligencia artificial”.

Microsoft también ha invertido en fusión nuclear. A principios de año, la empresa dirigida por Satya Nadella acordó comprar energía de fusión a Helion Energy, startup liderada por Sam Altman, si lograba arrancar sus ingeniosos reactores de fusión de aquí a 2028. Un trato más entre Nadella y Altman, pero tiene sentido. Al fin y al cabo, la propia IA nos está ayudando a superar los mayores desafíos de la fusión nuclear.

De dónde sale el cálculo de Meta. Sergey Edunov lidera el entrenamiento de Llama 2, el modelo de lenguaje de Meta que se ha convertido en uno de los más usados por su enfoque de código abierto. En una mesa redonda moderada por VentureBeat en Silicon Valley, Edunov puso sobre la mesa unas cuantas cifras:

“Nvidia lanzará entre un millón y dos millones de GPUs H100 el próximo año. Si todas esas GPUs se usaran para generar ‘tokens’ para modelos de lenguaje de tamaño razonable, sumarían alrededor de 100.000 tokens por persona al día en todo el planeta. Cada H100 consume unos 700 vatios; sumando refrigeración de los centros de datos, alrededor de 1 kW. No es tanto a escala humana, solo harían falta dos reactores nucleares para alimentar todas esas H100”.

Entrenamiento de modelos vs. ‘inferencia’. Edunov hizo varias matizaciones. Su estimación no tiene en cuenta el entrenamiento de modelos, sino su ‘inferencia’, al proceso mediante el cual un modelo de IA ya entrenado aplica lo que ha aprendido para responder preguntas y peticiones.

El entrenamiento es mucho más costoso energéticamente que la inferencia, por lo que todos los grandes modelos tienen un corte de información (el último corte de ChatGPT es de abril de 2023, pero antes estuvo meses funcionando con información de 2021). Su cálculo por ‘tokens’ (unidades del lenguaje que los modelos de lenguaje son capaces de procesar) solo tiene en cuenta la capacidad de inferencia de IA generativa que Nvidia planea vender en 2024.

Un cálculo alternativo. “La inteligencia artificial necesitará próximamente tanta electricidad como un país entero”, titulaba hace un mes el New York Times. El artículo se refería a un estudio que estima un consumo de 85 a 134 teravatios para 2027. Tanto como Argentina, Países Bajos o Suiza.

Un reactor nuclear tiene una capacidad de producción de unos 1000 megavatios hora. Menos de 9 teravatios-hora anuales, si funcionara sin parar.

La huella de carbono de la IA. De momento, el mundo no funciona como plantea Edunov. Las tarjetas gráficas que funcionan a destajo para que podamos charlar con una máquina o crear memes de Pixar no se alimentan exclusivamente de fuentes libres de carbono. Los centros de datos son los responsables directos del 1% de las emisiones de gases de efecto invernadero, y la situación se está agravando por culpa de la IA

Más regulación puede acelerar el cambio hacia el uso de energías sin emisiones. Una nueva ley del gobierno de California obliga a las grandes empresas tecnológicas, incluidas OpenAI y Google, a revelar su huella de carbono y la de su cadena de suministro antes de 2026. En Europa, la Comisión Europea plantea que los centros de datos sean neutros en carbono para 2030.

Imagen | Gérald Buthaud (Sunset/GTRES),  Sergey Edunov (X)

En Xataka | “Ya estamos en el último escalón”: cómo España se ha hecho con la llave para hacer realidad la fusión nuclear


La noticia La respuesta de un ejecutivo de Meta a cuánto consume la IA: “solo harían falta dos reactores nucleares para cubrirlo” fue publicada originalmente en Xataka por Matías S. Zavia .

Technology
Adriana P

OpenAI “pausa” las nuevas suscripciones a ChatGPT Plus. La razón es contundente: no dan abasto

OpenAI

ChatGPT sigue arrasando, y lo demuestra una noticia de última hora: los responsables de OpenAI han anunciado que han tenido que “pausar” las nuevas suscripciones a su servicio premium, ChatGPT Plus, por el exceso de demanda que se ha generado en el servicio.

Sam Altman, CEO de OpenAI, explicaba en un tuit que “el aumento del uso tras el DevDay ha superado nuestra capacidad y queremos asegurarnos de que todo el mundo disfrute de una gran experiencia”.

Aún así, explicaba, es posible inscribirse en una lista de correo para que en cuanto las suscripciones vuelvan a activarse sea posible registrarse en el servicio de pago.

Hace unos días OpenAI celebró su primer gran evento para desarrolladores, el OpenAI DevDay, y en él presentó mejoras importantes entre las que destacaron GPT-4 Turbo y su nueva y prometedora “tienda de apps”, la GPT Store.

Este último desarrollo es especialmente potente porque permite crear GPTs personalizados para aprovecharlos de forma específica en una gran variedad de campos. 

Así, es posible crear fácilmente —y sin saber programar— un GPT para que nos planifique viajes, uno para que haga de profesor particular de matemáticas para nuestros hijos u otro que por ejemplo analice nuestra página web y nos ayude con el SEO. En plataformas como Twitter ya es posible comprobar como muchos usuarios han creado ya todo tipo de GPTs para todo tipo de propósitos.

Acceder a esa capacidad se ha convertido por tanto en el nuevo fenómeno dentro del fenómeno que ya era ChatGPT, y la demanda parece haber sido tan grande que en OpenAI han preferido pausar esas nuevas suscripciones para garantizar que los suscriptores actuales no se ven perjudicados por esa gran demanda. Esta decisión se produce días después de que ChatGPT quedara temporalmente fuera de servicio debido tanto a la alta demanda como a una serie de ataques DDoS.

En Xataka | OpenAI está de rebajas: su API es ahora mucho más barata, pero ChatGPT Plus seguirá costando lo mismo


La noticia OpenAI “pausa” las nuevas suscripciones a ChatGPT Plus. La razón es contundente: no dan abasto fue publicada originalmente en Xataka por Javier Pastor .