Anthropic le abre la cocina a seis auditors con pase de empleado y promete que no les va a tapar la boca

¿A quien le confias la cocina de tu casa: a un inspector de bromatología o a un amigo que conoce cada hornalla? Anthropic, la empresa detrás de Claude (un asistente de inteligencia artificial de los mas usados del mundo, vale aclarar para los que vienen siguiendo el tema desde el auto), eligio algo intermedio: dejo entrar a seis auditores de METR, una organizacion sin fines de lucro dedicada a evaluar sistemas de IA, con un nivel de acceso equivalente al de un empleado de planta del area de riesgos. Computadora de la empresa, oficina propia adentro y todas las herramientas internas a mano.

Que pueden ver y que no

Los seis investigadores pueden hablar con el personal como un colega mas y revisar a fondo los modelos, su entrenamiento y los mecanismos de seguridad. Hay tres temas vedados: datos de clientes, informacion protegida por el secreto profesional entre abogado y cliente (el llamado privilegio abogado-cliente, o sea lo que una empresa le cuenta a su abogado esperando confidencialidad) y detalles finos de la arquitectura de los modelos. Es como dejarte revisar el restaurant entero menos la caja fuerte del dueño y la formula secreta de la salsa.

Tres niveles de auditor, uno solo con pase libre

• Nivel bajo: organizaciones como SecureBio hacen revisiones acotadas y necesitan autorizacion de Anthropic antes de publicar lo que encuentren.
• Nivel intermedio: reciben mas informacion y pueden publicar sin pedir permiso, pero sin el acceso equivalente al de un empleado.
• Nivel alto: hoy solo lo ocupa METR. Suma el acceso pleno y la libertad de publicar evaluaciones, reportes de incidentes y analisis de practicas de la empresa sin que Anthropic pueda frenarlos.

La empresa aclara que, si un dato cae en una categoria muy estrecha y predefinida, puede pedir que se redacte. Pero METR queda libre para decir publicamente si le parece que esa redaccion estaba justificada o no. O sea: pueden pedir silencio en el escrito, pero no pueden comprar silencio en el debate.

Por que tanto acceso y no un mail con un PDF

Anthropic detallo cuatro condiciones que, segun la propia compania, hacen falta para que una auditoria sirva de algo: experiencia tecnica suficiente para detectar cuando un modelo finge estar alineado (en criollo: cuando parece bueno pero por adentro hace lo que quiere); independencia economica y operativa respecto de la empresa auditada; acceso que vaya mas alla del modelo e incluya como se entreno y como funcionan sus mecanismos de seguridad; y libertad para publicar sin restricciones previas. Sin esas cuatro juntas, dicen, el informe termina siendo un panfleto.

La compania tambien reconocio lo obvio: no puede tirar toda su informacion de seguridad a la calle, porque parte podria servirle a actores maliciosos o es sensible desde lo comercial. Por eso eligio un acceso profundo pero con un grupo chico y acuerdos firmados, y mantuvo al resto del personal de METR aislado del trabajo. Pocos, con llave y con contrato: la combinacion clasica cuando queres control sin perder credibilidad.

El equipo de METR ya venia revisando informes de riesgo de Anthropic desde hace un ano, asi que no arranca de cero. Lo nuevo es que ahora pueden pasar de la lectura al rayado de cancha. Veremos si el primer informe independiente a fondo confirma la promesa o si termina siendo otro PDF amable que nadie lee en el colectivo.