Google reveló el viernes la primera instancia conocida de su software de inteligencia industrial, Gemini, que llevó a punta un ataque informático no dirigido, semanas luego de que revelaciones similares por parte de las firmas de inteligencia industrial Anthropic y OpenAI generaran alarmas de seguridad sobre modelos de inteligencia industrial que iban más allá de las instrucciones de sus creadores humanos.
Google dijo en un comunicado que en mayo su maniquí de IA obtuvo golpe no facultado a tres sistemas externos durante una prueba, ya sea adivinando la información de inicio de sesión o usando credenciales de inicio de sesión que encontró en un repositorio manifiesto.
Heather Adkins, vicepresidenta de ingeniería de seguridad de Google, dijo en el comunicado que el maniquí de IA pensó que los sistemas informáticos externos “eran parte de la prueba”, pero dijo que en los tres casos, el maniquí se detuvo ayer de hacer poco más con su golpe.
PARA SUSCRIPTORES
¿Cómo podría exactamente la IA causar un peligro generalizado?
02:35
“En una evaluación en serie, el maniquí encontró información pública en hilera y adivinó credenciales para consentir a sitios web que pensó que eran parte de la prueba”, dijo.
Google dijo que no consideraba que los inicios de sesión no autorizados alcanzaran el nivel de desalineación, el término de la industria de la inteligencia industrial para referirse al software que se vuelve deshonesto o no sigue instrucciones. En cambio, la compañía dijo que las intrusiones fueron el resultado de una identidad errónea, donde Gemini pensó que estaba operando durante una prueba pero en ingenuidad estaba conectado a Internet positivo. Google dijo que el maniquí se corrigió solo y la compañía creía que las intrusiones no causaron ningún daño.
“Estos eventos resaltan la importancia de entrenar modelos de IA potentes para interpretar de forma responsable”, dijo Adkins.
Los temores de que los agentes de IA se vuelvan deshonestos se han disparado en los últimos meses desde que OpenAI dijo en julio que uno de sus agentes había pirateado una startup de IA, Hugging Face. OpenAI ha seguido revelando lo que pasión ejemplos de otros comportamientos “inesperados o preocupantes” por parte de agentes de IA, y Anthropic ha descrito un comportamiento similar por parte de su software de IA, Claude.
Sydney Von Arx, directora ejecutiva de Nightingale Collective, una estructura centrada en la seguridad de la IA, cuestionó por qué Google no reveló las intrusiones ayer.
“En este punto creo que está claro que no podemos esperar que las empresas se presenten voluntariamente y revelen públicamente cuando sus agentes se vuelven deshonestos, escapan y piratean empresas”, dijo.
Incluso dijo que creía que Google se apresuró demasiado a afirmar que los incidentes no llegan al nivel de desalineación. “Eso es exactamente lo que dijo Anthropic luego de sus incidentes”, dijo.
Anthropic dijo más tarde que su “observación preliminar se vio constreñido oportuno a nuestro deseo de revelar los incidentes de forma oportuna”.
Google dijo que la compañía no se enteró de las intrusiones hasta julio, cuando Irregular, una empresa de ciberseguridad centrada en IA que estaba realizando las pruebas en Gemini cuando ocurrieron las intrusiones, revisó su trabajo para averiguar incidentes similares a la divulgación de Hugging Face.
Google dijo que luego investigó, informó a las organizaciones detrás de los sitios web sobre las intrusiones y les informó a las autoridades federales sobre los ataques.
Irregular dijo que no creía que el incidente fuera una “actividad cibernética sofisticada” y que “no hay problemas abiertos actualmente”. Dijo que planeaba transmitir un documento en unas pocas semanas “para compartir las mejores prácticas para la contención y la ejecución segura de evaluaciones cibernéticas”.
Las intrusiones fueron reportadas el viernes por la mañana por The Wall Street Journal.
Las preocupaciones sobre la seguridad de la IA han pillado un punto máximo, con un puñado de investigadores de IA renunciando a sus trabajos y una diversa variedad de personas pidiendo una actividad coordinada para proteger la seguridad de los sistemas vitales. Sin retención, esos llamados han sido recibidos con desconfianza por parte de la Casa Blanca y el gobierno chino.
