Si tienes una Raspberry Pi 5 y quieres correr modelos de IA de forma local y sin conectarte a internet, estás de suerte. Raspberry Pi presentó la AI HAT+ 2, una nueva placa que puede ejecutar modelos de IA como Llama 3.2 directamente en el hardware. Este componente incluye un nuevo chip y el doble de memoria RAM que su antecesor, los cuales le permiten lograr un rendimiento similar a las NPU que encontramos en los Copilot+ PC de Microsoft.
Según recoge una publicación de su web, la Raspberry Pi AI HAT+ 2 integra el chip Hailo-10H. Este acelerador de redes neuronales ofrece 40 TOPS de rendimiento de inferencia, lo que permite ejecutar modelos de IA generativa. El procesamiento de la IA se lleva a cabo de forma local directamente en el coprocesador y sin necesidad de conectarte a la nube, lo cual garantiza mayor seguridad y no sacrifica el desempeño del Raspberry Pi 5.
Si bien la versión anterior lanzada en 2024 ya podía ejecutar IA, el chip Hailo-8 solo ofrecía 26 TOPS de rendimiento, lo cual limitaba su uso a los modelos basados en visión. Hailo también lanzó una segunda variante, aunque esta solo era capaz de levantar hasta 13 TOPS que servían principalmente para reconocimiento de objetos estáticos o en movimiento.
Tu Raspberry Pi 5 ya puede chatear con la IA, traducir texto y escribir código
A juzgar por la información oficial, el AI HAT+ 2 puede manejar LLM de forma eficiente y con baja latencia. Entre la lista de modelos compatibles con la nueva placa se encuentran DeepSeek-R1-Distill, Llama3.2, Qwen2.5-Coder, Qwen2.5-Instruct y Qwen2. Todos ellos se caracterizan por contar con 1.500 millones de parámetros, excepto Llama3.2, que apenas alcanza los 1.000 millones.
El fabricante confirmó que todos los modelos anteriores se ejecutan en el hardware de la Raspberry Pi 5 a través de AI HAT+ 2. Para mostrar su funcionamiento, la compañía efectuó una serie de preguntas sencillas en Qwen2, así como una traducción del francés al inglés. Los resultados fueron notables, con una latencia mínima y haciendo uso de la placa para la Raspberry Pi 5.
Un punto a destacar es que el AI HAT+ 2 no puede correr ChatGPT, Claude y otros modelos populares de forma local. Esto se debe a que las IA de OpenAI, Meta y Claude cuentan con un número de parámetros que oscila entre los 500.000 millones y los 2 billones. Aun así, la nueva placa puede llevar a cabo tareas como chat, generación de código o descripción de escenas con modelos multimodales.
El Raspberry Pi AI HAT+ 2 estará disponible por 130 dólares a partir de hoy y es compatible con la Raspberry Pi 5. Aquellos que lo compren podrán acceder al repositorio de GitHub de HAilo, el cual ofrece ejemplos y frameworks para aplicaciones basadas en IA generativa y visión.
