miércoles, 4 de septiembre de 2024

Otra visión de la IA: su consumo

                                                             Imagen generada por IA.

Hace un tiempo pensé en escribir un libro sobre IA, pero es una materia que avanza muy rápido y bastante incierta, no sabemos donde va a llegar esto. Si a esto le sumamos que no pretendo ser un experto en la materia, pues creo que no voy a escribir ese libro.

He recopilado mucha información y una bastante interesante, ya que no se habla mucho de ello, es:
Un estudio de la Universidad de Massachusetts Amherst estimó que el entrenamiento de un modelo de lenguaje grande puede consumir tanta energía como cinco coches a lo largo de toda su vida útil.
Me imaginaba que entrenar a una IA podía ser costoso, pero no tanto. Quizás esto suponga un freno y sea una explicación a por qué no tenemos nuestra propia IA en casa o en el trabajo.

Además, el costo energético de la IA no se limita al consumo directo de electricidad, sino que también incluye la fabricación y el mantenimiento del hardware.

La IA es muy potente, entre otras cosas, porque usa el hardware de un servidor muy potente que se comunica con nuestro dispositivo (que puede ser potente, pero no a esos niveles). Esto al final es un gasto en infraestructura y de energía de miles de millones para las tecnológicas y lo deben de rentabilizar, no son ONG’s.

La IA generativa abre su brecha entre quien la enfoca en local y quien la enfoca en la nube. Hay sitio para ambas
  • La vía local aumenta la privacidad y no depende de la conectividad, pero dispara los recursos necesarios.
  • La vía online externaliza la potencia, pero supone un gasto continuo que alguien tiene que pagar.
  • Google o Apple están apostando por modelos combinados. Tienen incentivos para ello.
Xataka.com en mayo de 2024

No hay comentarios: