OpenAI prepara el lanzamiento de Astra, un modelo que incorporará una técnica de razonamiento que permitirá operar fuera del pensamiento secuencial que caracteriza a la mayoría de los modelos de razonamiento actuales, según informó The Information.
El mecanismo, también conocido como “recurrencia opaca”, complicaría el seguimiento de la cadena de pensamiento del sistema, un aspecto que ya generó inquietud entre especialistas en seguridad de la inteligencia artificial.
En un modelo de razonamiento convencional, la cadena de pensamiento exhibe los pasos secuenciales que sigue el sistema para resolver un problema. Aunque esa representación es imperfecta, funciona como una herramienta valiosa para detectar comportamientos indebidos o desalineados.
La recurrencia opaca funciona de forma distinta: el modelo procesa la misma consulta varias veces dentro de un bucle, en lugar de avanzar de forma lineal. Ese proceso deja menos rastros legibles y esquiva el registro tradicional de la cadena de pensamiento.
La noticia provocó reacciones inmediatas en la comunidad de seguridad de inteligencia artificial.
Buck Shlegeris, director ejecutivo de Redwood Research, expresó su preocupación en una publicación tras conocerse la información. “Estoy extremadamente preocupado por los reportes de que Astra usa recurrencia opaca”, escribió Shlegeris en su cuenta de X.
“No sé si Astra es mucho menos monitoreable en su cadena de pensamiento que los modelos anteriores. Pero si OpenAI avanza más con esta técnica, tendrán la opción de aumentar masivamente la recurrencia y destruir por completo la capacidad de monitoreo de la cadena de pensamiento”, agregó.
