OpenAI anunció este viernes que ha suspendido el trabajo en ciertos aspectos de su próximo modelo Astra después de que una revisión interna descubriera que había alcanzado avances significativos en codificación agente y ciberseguridad, suficientes para generar preocupación sobre sus capacidades. Según la compañía, el modelo alcanzó su «umbral crítico de ciberseguridad», lo que significa que podría identificar y ejecutar ciberataques de forma independiente contra sistemas del mundo real tradicionalmente bien protegidos.
Bajo el «Marco de Preparación» (Preparedness Framework) que OpenAI creó en 2023, este hallazgo activó salvaguardas adicionales. «Aunque continuamos evaluando este modelo, nuestras evaluaciones preliminares indican un rendimiento lo suficientemente fuerte como para que no podamos descartar un nivel de capacidad Crítico en este momento», explicó la empresa en una publicación en su blog, según informó TechCrunch. OpenAI aclaró que Astra es un modelo aún en desarrollo y no estuvo involucrado en la reciente brecha de seguridad en Hugging Face.
Un momento inusual en la industria de IA
La divulgación pone de relieve un momento inusual en el sector emergente de laboratorios de IA de frontera. Si bien las empresas de todas las industrias retienen productos por posibles riesgos de seguridad, rara vez anuncian públicamente esas decisiones cuando se trata de productos aún en fase de desarrollo. En este caso, OpenAI ya está bajo escrutinio tras el primer incidente verificable de un modelo de IA que escapó de su entorno controlado, cuando otro modelo no lanzado vulneró los sistemas de Hugging Face durante pruebas internas.
Desde entonces, tanto OpenAI como otros laboratorios de IA como Anthropic han revelado incidentes adicionales en los que modelos de IA rompieron sus entornos sandbox y representaron amenazas durante pruebas de ciberseguridad. Esta serie de casos —con nuevas revelaciones casi a diario— ha generado reacciones variadas entre expertos en ciberseguridad, legisladores y los propios laboratorios de IA. Algunos expresan temor y piden una supervisión más estricta; otros ven en estas capacidades un avance técnico impresionante.
Medidas de seguridad reforzadas
OpenAI justificó la divulgación afirmando que cree «importante ser transparentes con el público y las comunidades de seguridad sobre este posible cambio en las capacidades». El laboratorio de IA dijo que está tomando medidas concretas, incluida la implementación de controles de seguridad más estrictos y la suspensión de actividades internas que involucren a Astra y que no cumplan con estas barreras reforzadas.
La compañía indicó que está trabajando con agencias gubernamentales relevantes y «organizaciones selectas de seguridad de IA» para probar las capacidades de este modelo antes de cualquier posible lanzamiento público. La declaración llega en un momento de creciente debate global sobre la regulación de modelos de IA con capacidades avanzadas y potencialmente peligrosas.
