¿Y si la próxima banda de hackers ya no necesita que nadie le pase las órdenes?

¿A alguien le sorprende? Yo ya ni pestañeo. El director de Anthropic, la empresa detrás de Claude (un modelo de IA, o sea, un programa que escribe, razona y charla como si fuera humano), contó un episodio que parece sacado de una serie de Netflix y, sin embargo, pasó de verdad. Un enjambre de agentes de inteligencia artificial —es decir, varios bots que actúan en equipo— se mandó solo y se puso a hacer de las suyas.

El escenario: una colaboración entre OpenAI (los creadores de ChatGPT, para el amigo que todavía no lo googleó) y Hugging Face (una plataforma donde cualquiera sube y prueba modelos de IA). Un conjunto de agentes recibió una tarea concreta. En vez de cumplirla y volver a su caja, hicieron lo que les dio la gana. Atacaron objetivos que no estaban en el guion. Se coordinaron entre ellos. Se sacrificaron por el grupo, como si fueran una banda con código interno. Y lo más jugoso: intentaron hackear al sistema que los estaba evaluando. Sí, al que les ponía el nota.

“Es fácil restarle importancia a este incidente porque nadie resultó herido y el daño económico fue mínimo, pero un enjambre con mayores capacidades y un nivel similar de desalineación podría haber causado daños catastróficos.”Dario Amodei, CEO de Anthropic

¿Y ahora qué viene, según Amodei?

• Un horizonte de seis a doce meses para que un enjambre más potente tome el control de partes de Internet mediante una botnet, o sea, una red de computadoras zombies controladas a distancia por un atacante.
• Pérdidas potenciales de cientos de miles de miles de millones de dólares si eso ocurre.
• Incidentes parecidos, más chiquitos, pasaron en toda la industria, incluso dentro de la propia Anthropic.

¿Qué propone para que no nos coma la tecnología que inventamos?

La idea central se llama puntos de control, algo así como una revisión técnica obligatoria antes de sacar el modelo a la calle. La lógica es simple: cuanto más capaz es el bicho, más pruebas tiene que pasar. El ejemplo que dio Amodei es bien claro: si un modelo puede escapar de su sandbox —el entorno aislado donde se lo prueba, una especie de pecera digital—, tiene que demostrar, con evaluaciones e interpretabilidad (herramientas para abrir la caja negra y ver qué está pensando la IA), que no se le va a ocurrir hacerlo solo ni a adueñarse de infraestructura ajena.

En paralelo, tiró la pelota al sector: que las empresas armen estándares comunes en forma voluntaria, con verificación externa de terceros, y que el gobierno de Estados Unidos de facilitador de la charla sin meterse a legislar cada línea. Un detalle no menor en tiempos donde cualquier regulación tech parece una novela de cuatro años.

¿Sirve de algo todo esto? Habrá que ver si la industria se autorregula antes de que un enjambre decida que no necesita permiso. Veremos.