OpenAI ha emprendido una misión ambiciosa para desentrañar el misterioso funcionamiento interno de sus modelos de inteligencia artificial, especialmente el GPT-4. Aunque la IA ha demostrado ser invaluable en múltiples aplicaciones, desde sistemas de asistencia al conductor hasta chatbots conversacionales como ChatGPT, su funcionamiento interno sigue siendo en gran parte desconocido. Este desconocimiento plantea desafíos significativos para mejorar la seguridad y la eficacia de estos modelos.
Para abordar este problema, OpenAI está utilizando una técnica llamada «codificadores dispersos» (Sparse Autoencoders) que permite identificar y analizar características internas del modelo. Hasta ahora, han identificado 16 millones de características, con la expectativa de que este número aumente. Los codificadores dispersos prometen arrojar luz sobre los patrones y comportamientos dentro del modelo, facilitando una mejor comprensión y manejo de la IA.
En el ámbito de la IA, aunque se tienen conceptos claros y se utilizan enormes conjuntos de datos para entrenar redes neuronales, el funcionamiento interno de estos modelos sigue siendo un misterio. Se conocen las entradas y las salidas de los modelos, pero el proceso intermedio dentro de la llamada “caja negra” permanece en gran parte inexplorado. Los modelos multimodales y técnicas como Mixture of Experts (MoE) permiten una funcionalidad avanzada, pero no desvelan los misterios internos de la IA.
OpenAI espera que los codificadores dispersos no solo ayuden a entender mejor sus modelos, sino que también mejoren la seguridad y la calidad de estos. Aunque la investigación está en sus primeras etapas, los resultados iniciales son prometedores. Además de OpenAI, otras empresas como Anthropic también están investigando estas técnicas, subrayando la importancia y el interés creciente en hacer más transparentes y comprensibles los modelos de inteligencia artificial.
