N.º 2.797 – Mes de la IA: Código Hiena


N.º 2.797 – Mes de la IA: Código Hiena

Justo cuando termino de decir que ImageBind de Meta podría ser la tecnología de inteligencia artificial más impresionante de la historia, hay algo más que podría hacer estallar ChatGPT y todo: Hyena Code.

ZDNet lo explica mejor:

“A pesar de todo el entusiasmo en torno al programa de chatbot de IA conocido como ChatGPT de OpenAI, y su tecnología sucesora, GPT-4, los programas son, al final, solo aplicaciones de software. Y como todas las aplicaciones, tienen limitaciones técnicas que pueden hacer que su rendimiento sea subóptimo.

En un artículo publicado en marzo, científicos de inteligencia artificial (IA) de la Universidad de Stanford y el MILA Institute for AI de Canadá propusieron una tecnología que podría ser mucho más eficiente que GPT-4, o algo así, para engullir grandes cantidades de datos y transformar él. en una respuesta

Conocida como Hyena, la tecnología puede lograr una precisión equivalente en las pruebas de referencia, como responder preguntas, mientras usa una fracción de la potencia informática. En algunos casos, el código Hyena puede manejar cantidades de texto que hacen que la tecnología similar a GPT simplemente se quede sin memoria y falle.

“Nuestros resultados prometedores en la escala de parámetros de menos de mil millones sugieren que la atención puede no ser todo lo que necesitamos”, escriben los autores. Este comentario hace referencia al título de un informe histórico de IA de 2017, “Todo lo que necesita es atención”. En este artículo, el científico de Google Ashish Vaswani y sus colegas presentaron al mundo el programa Transformer AI de Google. El transformador se ha convertido en la base de todos los principales modelos lingüísticos recientes.

Pero el Transformer tiene un gran defecto. Il utilise quelque chose appelé “attention”, où le programme informatique prend les informations dans un groupe de symboles, tels que des mots, et déplace ces informations vers un nouveau groupe de symboles, tels que la réponse que vous voyez de ChatGPT, qui est salida.

Esta operación de atención, la herramienta esencial de todos los principales programas de lenguaje, incluidos ChatGPT y GPT-4, tiene una complejidad computacional “cuadrática” (Wiki “complejidad temporal” de la computación). Esta complejidad significa que el tiempo que tarda ChatGPT en producir una respuesta aumenta a medida que aumenta el cuadrado de la cantidad de datos que recibe como entrada.

En algún momento, si hay demasiados datos (demasiadas palabras en el mensaje o demasiadas cadenas de conversación para horas y horas de hablar con el programa), entonces el programa se atasca al proporcionar una respuesta o se le debe dar más y más. Los chips GPU funcionan cada vez más rápido, lo que aumenta las necesidades informáticas.

En el nuevo artículo, “Hyena Hierarchy: Towards Larger Convolutional Language Models”, publicado en el servidor de preimpresión arXiv, el autor principal Michael Poli de Stanford y sus colegas proponen reemplazar la función de atención del transformador con algo menos cuadrático, a saber, Hyena.

Los autores no explican el nombre, pero uno puede imaginar varias razones para un programa ‘Hyena’. Las hienas son animales que viven en África y pueden cazar por millas y millas. En cierto sentido, un patrón de lenguaje muy poderoso podría ser como una hiena, cazando kilómetros y kilómetros en busca de comida.

Pero los autores están realmente preocupados por la “jerarquía”, como sugiere el título, y las familias de hienas tienen una jerarquía estricta en la que los miembros de un clan local de hienas tienen diferentes niveles de rango que establecen el dominio. . Análogamente, el programa Hyena aplica un montón de operaciones muy simples, como verá una y otra vez, de modo que se combinan para formar una especie de jerarquía de procesamiento de datos. Es este elemento combinatorio el que le da al programa su nombre Hyena.

Tiene sentido que la atención es todo lo que necesita. Después de todo, la atención también es un factor clave para los humanos, en lo que elegimos enfocarnos, a lo que elegimos prestar atención, determina qué tan felices somos. Tal vez a la larga sea Hyena y no ChatGPT el que gane.

¿Es Code Hyena la mejor idea de todos los tiempos?

Así:

Me gusta cargar…

Contenido original en Inglés


Leave a Reply

Your email address will not be published. Required fields are marked *