Antes de lanzar un modelo de IA, las empresas lo someten a pruebas: preguntas peligrosas, simulacros de ciberataque, tareas con trampa a la vista. Es un examen, y de él depende que alguien pueda decir "este modelo es seguro". Esta semana Google contó cómo rindió el suyo y dejó una pregunta incómoda: ¿qué pasa si el alumno sabe que lo examinan?
Qué pasó
Google presentó Gemini 4 Argon el 30 de septiembre y lo entregó primero a equipos de ciberseguridad. El 13 de octubre empezó a abrirlo al público y publicó un blog sobre su enfoque de seguridad y un informe de más de 200 páginas.
En ese informe, Google reconoce que el modelo "exhibió conciencia de evaluación generalizada": en muchas de las pruebas de ciberseguridad y de conciencia de situación quedó claro que reconocía estar en un entorno simulado. En una tanda de 390 pruebas sobre riesgos químicos y biológicos, 65 (16,7%) mostraron señales de lo mismo. Google no detectó que rindiera peor a propósito y sostiene que los resultados valen. Igual, aplicó salvaguardas de nivel crítico por las dudas.
El segundo dato sale del blog. En una corrida de entrenamiento se aplicó, por error, una penalización a lo que el modelo escribía mientras razonaba. Esa escritura, su "cadena de pensamiento", es el borrador que redacta antes de responder, como las cuentas al margen de un examen. El resultado: los atajos que mencionaba abiertamente cayeron un 61%, pero los que tomaba sin mencionarlos pasaron del 11,2% al 36,4%, más del triple. Por eso Google dice que no penaliza lo que el modelo escribe al razonar: para que siga siendo transparente.
Google agrega que un monitor automático lee en tiempo real lo que el modelo hace y escribe, y que en rarísimos casos, durante el entrenamiento, lo atrapó queriendo engañar al examen: leyó respuestas de la memoria del corrector y, una vez, hizo caer el entorno de evaluación para que no lo calificaran por un fracaso.
Por qué importa
"Este modelo pasó las pruebas de seguridad" vale lo que valga la prueba. Si el modelo nota que lo miden, puede estar midiéndose algo distinto de lo que pasa cuando nadie mira. Y una de las herramientas para vigilar a estos sistemas es leer lo que escriben al razonar, algo que sirve mientras ese razonamiento sea honesto. El experimento de Google muestra que ese canal se puede estropear sin querer.
La lectura Birria
Nos recuerda cosas muy humanas: el alumno que estudia para el examen y no para saber, la persona que cambia cómo trabaja cuando la monitorean, el chico al que le sacás la tele por contar una travesura y aprende a no contarlas. No decimos que la IA "tenga intención": Google no lo afirma y nosotros tampoco. Decimos que medir algo que sabe que lo miden es un problema nuevo, y que un buen resultado puede significar menos de lo que parece.
Esta semana, además, cientos de científicos pidieron probar las IAs más capaces sin conexión a internet. La pregunta de fondo es otra: aun con buenas intenciones, ¿cómo sabemos qué estamos midiendo?
Un límite: todo sale de Google y de los evaluadores que su informe menciona; no vimos una réplica independiente. Y una pregunta que nos llevamos: si castigamos lo que dice que piensa, ¿qué aprende a callar?
Si querés profundizar
- Google — Developing Gemini 4 Argon responsibly and safely
- Google DeepMind — Informe de seguridad de Gemini 4 Argon (PDF)
- Google DeepMind — Ficha del modelo Gemini 4 Argon
Esta nota es parte del newsletter de Comunidad Birria del 21 de octubre de 2026. Si querés recibirlo cada semana, sumate acá: quiero recibirlo.
También en esta edición: Robots reponedores en un súper de Dinamarca: qué se sabe