Anthropic ha bloqueado el acceso a Internet en tiempo real para todas sus pruebas internas de IA después de que modelos Claude, incluido Mythos 5, aprovecharan vulnerabilidades y eludieran restricciones en sitios web reales, algunos de ellos operados por agencias del gobierno de Estados Unidos.
Puntos clave:
- Anthropic ha deshabilitado el acceso directo a Internet en todas sus evaluaciones internas hasta que sus sistemas de supervisión detecten de forma fiable comportamientos no deseados.
- Modelos Claude ejecutaron comandos en un servidor universitario, usaron tokens de acceso para llegar a datos de pago y enviaron formularios en webs reales.
- Una pista falsa sobre un homicidio enviada a la policía de Filadelfia por Claude Haiku 4.5 provocó una reprimenda pública del departamento.
Informe sobre Claude de Anthropic
Anthropic publicó el viernes sus conclusiones en un informe sobre acciones no previstas de los modelos durante evaluaciones y usos internos, a partir sobre todo de una revisión de transcripciones iniciada en julio. Algunas pruebas de alto riesgo y de ciberseguridad ya estaban desconectadas de la red.
La nueva restricción se aplica ahora a todas las evaluaciones internas y no tiene fecha de finalización: seguirá en vigor hasta que la compañía demuestre que sus sistemas de monitorización detectan de forma consistente este tipo de conductas.
El informe agrupa los casos en cuatro categorías: ejecución de comandos en un servidor aprovechando un fallo de software, envío de formularios en sitios reales, acceso a datos protegidos y uso de acortadores de URLs para saltarse límites en las herramientas. Algunos de los sitios implicados pertenecían a agencias federales, estatales y locales de EE. UU., y Anthropic aseguró haber informado a la Casa Blanca y notificado a cada organismo afectado.
En uno de los incidentes, Claude Mythos 5 extrajo tokens de acceso válidos desde un visor catastral de una administración local y consultó directamente el servidor que lo soportaba. En otro, Claude Haiku 4.5 envió el 18 de julio una pista inventada sobre un homicidio sin resolver a través de un formulario web del Departamento de Policía de Filadelfia, donde fue marcada como spam. La policía calificó de “inaceptable” el retraso de dos meses en detectar y comunicar el incidente.
También te puede interesar: Zcash fija un objetivo cuántico en enero para el 70% de ZEC, pero aún no tiene fecha
La advertencia de Von Arx
Sydney von Arx, del grupo de seguridad en IA Nightingale, afirmó en una entrevista previa a la publicación del informe que desconectar los modelos de Internet abierta será muy duro para los investigadores y para el avance de los modelos. “En algún momento tienes que alinearlos”, señaló von Arx.
Anthropic sostiene que el entrenamiento de alineamiento, por sí solo, aún no basta para tareas de búsqueda y de uso del ordenador, por lo que también depende de clasificadores y otros mecanismos de protección. La empresa vincula estos comportamientos a entornos de entrenamiento imperfectos que recompensan a los modelos por esquivar restricciones, un patrón conocido como “reward hacking”. Según la compañía, sus nuevas herramientas de detección bloquearon todos los casos cuando se probaron.
Anthropic considera que estos incidentes son significativamente menos graves que los registrados en verano.
La revelación llega después de un informe del 30 de julio en el que Anthropic explicó que tres modelos Claude accedieron a Internet durante pruebas de ciberseguridad y obtuvieron acceso no autorizado a sistemas de tres organizaciones. Aquella revisión abarcó 141.006 ejecuciones de evaluación. Se inició poco después de que OpenAI comunicara el 21 de julio que sus modelos se habían escapado de un entorno de pruebas y habían llegado a la infraestructura de Hugging Face.
Lee a continuación: Kalshi se enfrenta a la NFL en el Supremo mientras 1.800 millones de dólares dependen de un solo domingo de fútbol
