El martes, el presidente Trump se reunió con ejecutivos de tecnología en la Casa Blanca para firmar un acuerdo “moralmente vinculante” sobre inteligencia fabricado. En superficie de presionar por una regulación oficial, Trump pidió “tremenda autorregulación” entre las empresas de la industria de la IA. El documento refleja eso, alentando a los líderes de IA a implementar “controles internos sólidos” y asociarse con auditores externos independientes.
La cumbre se produce a posteriori de meses de un viejo indagación sobre las empresas de IA, ya que revelaron incidentes de IA. “volverse pícaro” durante la prueba. El evento que inició todo fue el Incidente de la cara de revolcónen el que los agentes de IA de OpenAI que estaban siendo evaluados escaparon de su entorno de prueba aparentemente arrinconado y se infiltraron en los sistemas de otra empresa en un esfuerzo por “hacer trampa” en la tarea que se les asignó. A posteriori de eso, OpenAI, Anthropic, Meta y Google han informado aún más incidentes en los que agentes de IA se han vuelto deshonestos de diversas maneras. Hemos reunido todos los casos que necesita retener, yuxtapuesto con detalles sobre qué se está haciendo (si es que se está haciendo poco) al respecto.
25 de septiembre de 2026: los agentes de OpenAI superaron las restricciones para consultar los sistemas del gobierno de EE. UU.
Mientras trabajan en tareas de investigación, los agentes de OpenAI accedió a los sitios web del Sección de Comercio y de la Comisión de Bolsa y Títulospero no accedió a ninguna información no pública. Los agentes incluso intentaron piratear el sitio web del Sección de Educación durante el verano, pero no tuvieron éxito. En el caso del Sección de Comercio, los agentes utilizaron credenciales encontradas en segmento para ceder a los datos del censo. Al mismo tiempo, OpenAI dijo que sus agentes pueden haberse infiltrado en sitios web de “docenas” de otras organizaciones a las que ha notificado.
24 de septiembre de 2026: el primer ministro australiano dice que el agente de OpenAI violó la saco de datos del gobierno
En lo que parece ser la viejo violación de sistemas gubernamentales revelada hasta la aniversario, el primer ministro australiano, Anthony Albanese, dijo que un agente de OpenAI Hackeó los sistemas de Medicare del país en junio.. Albanese dijo que el agente obtuvo comunicación no competente a archivos públicos y no públicos, pero no cree que se haya accedido a ninguna información personal. En respuesta, Albanese dijo que establecería un clase de trabajo para aceptar a lugar una revisión “urgente e inmediata” y remitió el incidente al comité parlamentario de inteligencia fabricado de Australia.
19 de septiembre de 2026: Google reveló que Gemini irrumpió en sistemas corporativos externos en mayo.
Según Google, durante las pruebas de las capacidades de ciberseguridad de Gemini, el maniquí se dividió en tres empresas externas en mayo. En un incidente, Géminis obtuvo comunicación mediante simplemente adivinando la contraseña correctaenfatizando la penuria de comprobar de utilizar contraseñas seguras. En los otros dos incidentes, Gemini encontró credenciales en un depósito conocido.
9 de septiembre de 2026: Anthropic revela que Claude Opus 4.6 irrumpió en sistemas de terceros en enero
Tras la divulgación previa de tres incidentes descubiertos por Anthropic mientras revisaba sus transcripciones de capacitación, la empresa Encontré un cuarto a partir de enero.. Durante este incidente, un problema de configuración llevó a Claude Opus 4.6 a salir de su entorno de pruebas y ceder a una máquina de terceros. De hecho, el maniquí intentó derogar su tarea varias veces, pero no pudo correcto a un problema de configuración. Anthropic dice que este comportamiento ha “cambiado considerablemente” en las generaciones de modelos posteriores, por lo que está “menos preocupado por este incidente” que los tres anteriores que descubrió.
5 de septiembre de 2026: OpenAI reconoce el “incidente de Wiki”
en un crónica de tercerosun clase de investigadores de seguridad de IA dijo que había descubierto más o menos de 18.000 publicaciones de agentes de OpenAI que utilizaban un Wiki de un desarrollador de software teutónico como tablero de mensajes para comunicarse entre sí durante una tarea de recuperación web. Despejado AI reconoció el incidenteafirmando que está trabajando en un ámbito para determinar cuándo y cómo compartir “incidentes de desalineación de IA”. La empresa más tarde presentó este ámbito el 16 de septiembre.
5 de agosto de 2026: Meta dice que uno de sus modelos pirateó una empresa externa durante las pruebas de seguridad.
Meta reveló que una mala configuración por parte de una empresa de pruebas independiente dio como resultado que uno de sus modelos de IA obtuviera comunicación a Internet franco y hackear una empresa externa durante las pruebas de ciberseguridad. Irregular, la empresa de pruebas de terceros, dijo que está trabajando en un documento técnico para “compartir las mejores prácticas para la contención y la ejecución segura de evaluaciones cibernéticas”.
30 de julio de 2026: Anthropic descubre tres incidentes en los que Claude obtuvo comunicación no competente a organizaciones de terceros durante las pruebas.
Tras la divulgación del incidente de Hugging Face de OpenAI, Anthropic comenzó a realizar una revisión de sus propias transcripciones de pruebas de ciberseguridad anteriores. Encontró tres incidentes de 141.006 ejecuciones de evaluación en los que Claude pudo obtener comunicación a Internet en “entornos de prueba que deberían acaecer sido sellados”. Cada vez, a Claude se le encomendó un desafío de “capturar la bandera”, en el que se le pide que encuentre una información secreta oculta en una máquina diferente en su red. En respuesta, Anthropic dijo que está trabajando con una estructura independiente de evaluación de IA, METR, para realizar revisiones de sus transcripciones. Todavía está trabajando en “un seguimiento y controles más estrictos en torno a la infraestructura de evaluación”.
21 de julio de 2026: OpenAI se atribuye la responsabilidad por la infracción de Hugging Face
Este es el incidente auténtico que inició la presente ronda de indagación en toda la industria. A posteriori de que Hugging Face informara inicialmente sobre intrusiones de agentes de IA en sus sistemas, OpenAI se atribuyó la responsabilidad. Durante las pruebas de ciberseguridad, los agentes obtuvieron comunicación a Internet franco y utilizaron vulnerabilidades para ceder a la saco de datos de producción de Hugging Face mientras intentaban completar una tarea. Desde entonces, OpenAI ha llevó a lugar una revisión exhaustiva de lo sucedido y dice que está tomando medidas para “acrecentar la seguridad y la columna del maniquí”.
