La arquitectura BitNet revoluciona la IA compatible con CPU
Un grupo de investigadores ha logrado ejecutar un potente modelo de lenguaje de inteligencia artificial en una máquina con Windows 98. El equipo detrás del experimento es EXO Labs, formado por investigadores y ingenieros de la Universidad de Oxford.
EXO Labs ha demostrado que es posible ejecutar modelos de IA avanzados en hardware limitado, con la ayuda de la arquitectura BitNet. Esto apunta hacia un futuro donde la tecnología de IA será aún más accesible.
El experimento en detalle
En un video compartido en X, EXO Labs puso en marcha una antigua sistema Elonex Pentium II 350MHz con Windows 98. En lugar de usarlo para tareas simples, lo utilizaron para correr un modelo de IA basado en el código de Llama2.c de Andrej Karpathy.
La computadora logró generar una historia coherente a una velocidad notable, lo cual es difícil de conseguir con modelos de IA ejecutados localmente.
Desafíos técnicos
Además de la velocidad, el equipo tuvo que sortear otro obstáculo: hacer que el código moderno compile y funcione en un sistema operativo de 1998. A pesar de esto, consiguieron una performance sostenida de 39.31 tokens por segundo corriendo un modelo LLM basado en Llama con 260,000 parámetros.
Sin embargo, aumentar el tamaño del modelo redujo considerablemente el rendimiento. Por ejemplo, el modelo Llama 3.2 de 1 billón de parámetros apenas logró 0.0093 tokens por segundo en el hardware antiguo.
Objetivos y misión de EXO Labs
EXO Labs tiene la misión de desarrollar modelos de IA que puedan ejecutarse en dispositivos modestos, para democratizar el acceso a la IA y evitar el monopolio de unas pocas empresas de tecnología. Para esto, están desarrollando la arquitectura ‘BitNet’, que utiliza pesos ternarios para reducir drásticamente el tamaño del modelo.
BitNet: una arquitectura innovadora
La arquitectura BitNet permite que un modelo de 7 billones de parámetros necesite solo 1.38GB de almacenamiento, haciéndolo viable para ejecutarse en la mayoría de hardware económico. Además, BitNet está diseñada para ser CPU-first, evitando la necesidad de GPUs costosas.
Impresionantemente, puede aprovechar un modelo de 100 billones de parámetros en una sola CPU, manteniendo velocidades de lectura humana de 5-7 tokens por segundo.
Únete a la revolución de modelos locales
Si estás interesado en unirte a la revolución de modelos ejecutados localmente, EXO Labs está buscando colaboradores. Consulta el blog completo para obtener más detalles sobre la misión.
Resumen de la noticia en formato de voz
Escucha este resumen narrado de la noticia, creado automáticamente por AYR Creations para brindarte una experiencia informativa clara, práctica y rápida.
Rebajas
Amazon Fire TV Stick HD (Última generación) | con TV en directo gratuita, mando por voz Alexa, controles de Hogar digital y reproducción en streaming HD
- Reproducción en streaming HD: disfruta de contenido en streaming en Full HD y usa el mando por voz Alexa para controlar la…
- Ideal para iniciarse en el mundo de Fire TV: acceder a contenido en streaming nunca había sido tan fácil, con miles de…
- Pulsa el botón de voz y pídeselo a Alexa: usa la voz para buscar contenido e iniciar la reproducción en múltiples apps.
Más noticias:
- Rumores sobre el iPhone SE 4: ¿iPhone 16E o iPhone 16 SE?
- El Año de la IA en Historias: Otoño 2024
- YouTube te sorprenderá con una nueva función para reproducir vídeos aleatorios
¡Qué logro increíble! Es fascinante ver cómo la IA se adapta a hardware antiguo y abre posibilidades para su uso más amplio.
🤔 Si bien es genial ver cómo la IA se adapta a hardware antiguo, ¿cómo se traducirá esto en un uso práctico a largo plazo? ¿Sería viable ejecutar modelos grandes en dispositivos con esas especificaciones?
¡Increíble! Ejecutar IA en Windows 98 es algo fuera de lo común. 🤯 El futuro de la IA es muy prometedor. 💫
Aunque es interesante ver IA funcionar en hardware antiguo, se debe considerar la escalabilidad. ¿Cómo se adaptará este enfoque a modelos más complejos y grandes conjuntos de datos?
Es interesante ver cómo la arquitectura BitNet reduce el tamaño de los modelos, pero sería útil conocer más detalles sobre su impacto en la precisión y la capacidad de aprendizaje. 🧐
Ejecutar IA en Windows 98 es como usar un ladrillo para construir un rascacielos.
Si bien la ejecución de modelos de IA en hardware antiguo es un logro notable, se necesitan más detalles sobre la aplicabilidad de este enfoque a modelos más complejos.
Ejecutar IA en hardware antiguo abre nuevas posibilidades para la accesibilidad, pero es necesario evaluar su escalabilidad para modelos más complejos. 🤔
Es admirable el trabajo de EXO Labs por demostrar que la IA puede funcionar en hardware antiguo.