Anthropic le dio a METR acceso de planta para auditar sus modelos de inteligencia artificial

Un grupo de seis investigadores de METR, una organización sin fines de lucro dedicada a evaluar sistemas de inteligencia artificial, se instaló dentro de Anthropic con el mismo nivel de acceso que un empleado del área de evaluación de riesgos. La compañía les entregó computadoras propias, espacio físico en sus oficinas y herramientas internas, y les permite hablar con el personal como cualquier colega. La auditoría se realiza bajo un esquema de tres niveles que la empresa construyó durante el último año, y METR ocupa en solitario el escalón más alto.

Cómo funciona el esquema de tres niveles

Cómo funciona el esquema de tres niveles

El primer nivel, el más bajo, está integrado por organizaciones como SecureBio, que realizan revisiones acotadas y necesitan pedir autorización a Anthropic antes de publicar cualquier hallazgo. El nivel intermedio concede más información y permite publicar sin pedir permiso previo. El nivel superior, reservado por ahora solo para METR, suma el acceso equivalente al de un empleado y la facultad de difundir evaluaciones, reportes de incidentes y análisis de prácticas de la empresa sin que Anthropic pueda bloquear la publicación. La compañía puede solicitar que se omita información encuadrada en categorías estrechas y predefinidas, pero METR conserva el derecho de señalar públicamente si considera que esa omisión estuvo o no justificada.

Como excepción al acceso total, quedaron fuera del alcance de los auditores tres categorías de información: datos de clientes, material cubierto por el secreto profesional entre abogado y cliente y detalles sobre la arquitectura de los modelos.

• Experiencia técnica suficiente para detectar cuándo un modelo simula estar alineado en lugar de estarlo de verdad.
• Independencia económica y operativa respecto de la empresa auditada.
• Acceso que exceda los modelos e incluya cómo se entrenaron y cómo funcionan sus mecanismos de seguridad.
• Libertad para publicar los hallazgos sin restricciones previas.

Por qué Anthropic eligió un grupo reducido

Por qué Anthropic eligió un grupo reducido

La compañía reconoció que no puede hacer pública toda la información sobre sus sistemas de seguridad, porque parte de esos datos podría resultar útil para actores maliciosos o es sensible desde el punto de vista comercial. Por eso concentró el acceso más profundo en un grupo acotado, que opera bajo acuerdos exigibles, y mantuvo al resto del personal de METR aislado de ese trabajo.

El equipo de METR ya había revisado varios informes de riesgo durante el año anterior a recibir este nivel ampliado, lo que dejó antecedentes de trabajo conjunto antes de la firma del acuerdo actual. La nota publicada por el medio de origen queda trunca en ese punto, por lo que no se incluyen aquí los resultados concretos de las auditorías ni el costo del esquema ni dónde conseguir más información, datos que no estaban presentes en el material de base.