La IA 'Primero la Seguridad' de Anthropic Choca con el Pentágono en la Expansión de Agentes Autónomos

Estados Unidos - Agencia de Noticias Ekhbary

La IA 'Primero la Seguridad' de Anthropic Choca con el Pentágono en la Expansión de Agentes Autónomos

Anthropic, una empresa líder en inteligencia artificial fundada en el principio de 'primero la seguridad' (safety first), se encuentra en una coyuntura crítica en su relación con el Departamento de Defensa de los Estados Unidos (el Pentágono). Con el reciente lanzamiento de sus agentes autónomos más sofisticados, la demanda militar de estas capacidades avanzadas se está intensificando, lo que presenta un profundo desafío para los compromisos éticos fundamentales de la empresa y su estrategia de expansión global.

El 5 de febrero, Anthropic presentó Claude Opus 4.6, su modelo de IA más potente hasta la fecha. Una característica clave de esta versión es su capacidad para coordinar equipos de agentes autónomos: múltiples IA que pueden dividir tareas y trabajar en paralelo para lograr objetivos complejos. Tan solo doce días después del lanzamiento de Opus 4.6, la empresa introdujo Sonnet 4.6, un modelo más económico pero que rivaliza con Opus en habilidades de codificación e informática. Mientras que los primeros modelos de Anthropic capaces de controlar computadoras, presentados a finales de 2024, apenas podían operar un navegador web, Sonnet 4.6 ahora demuestra capacidades a nivel humano para navegar aplicaciones web y completar formularios, según la compañía. Ambos modelos cuentan con una memoria de trabajo lo suficientemente amplia como para almacenar una pequeña biblioteca, lo que permite operaciones más complejas y sostenidas.

El sector empresarial constituye actualmente aproximadamente el 80 por ciento de los ingresos de Anthropic, y la empresa concluyó recientemente una ronda de financiación de 30 mil millones de dólares, alcanzando una asombrosa valoración de 380 mil millones de dólares. Según todas las métricas disponibles, Anthropic se erige como una de las empresas tecnológicas de más rápido crecimiento en la historia. Sin embargo, detrás de los grandes lanzamientos de productos y las impresionantes valoraciones, se esconde una amenaza significativa: el Pentágono ha indicado que podría designar a Anthropic como un "riesgo para la cadena de suministro", una etiqueta típicamente reservada para adversarios extranjeros, a menos que la empresa relaje sus restricciones sobre el uso militar. Dicha designación podría obligar efectivamente a los contratistas del Pentágono a eliminar Claude de proyectos sensibles, lo que podría obstaculizar su adopción en aplicaciones de defensa críticas.

Las tensiones escalaron tras una operación del 3 de enero, en la que las fuerzas de operaciones especiales de EE. UU. llevaron a cabo una redada en Venezuela, lo que resultó en la captura de Nicolás Maduro. Informes de The Wall Street Journal sugieren que Claude fue utilizado durante esta operación a través de la asociación de Anthropic con el contratista de defensa Palantir. Axios informó además que este incidente exacerbó negociaciones ya tensas sobre los usos precisos permitidos de Claude. Cuando un ejecutivo de Anthropic se puso en contacto con Palantir para preguntar si la tecnología había participado en la redada, la pregunta supuestamente provocó alarmas inmediatas dentro del Pentágono. Si bien Anthropic ha disputado que dicha comunicación tuviera la intención de señalar desaprobación de la operación específica, un alto funcionario de la administración dijo a Axios que el Secretario de Defensa Pete Hegseth está "cerca" de romper lazos, y agregó: "Nos aseguraremos de que paguen un precio por obligarnos a actuar de esta manera".

Esta colisión resalta una pregunta fundamental: ¿Puede una empresa fundada con la misión de prevenir una catástrofe de IA mantener su integridad ética cuando sus herramientas más potentes —agentes autónomos capaces de procesar vastos conjuntos de datos, identificar patrones y actuar sobre sus conclusiones— comienzan a operar dentro de redes militares clasificadas? ¿Es una IA de 'primero la seguridad' realmente compatible con un cliente que exige sistemas capaces de razonar, planificar y actuar de forma autónoma a escala militar?

Anthropic ha establecido dos líneas rojas explícitas: prohibir la vigilancia masiva de los estadounidenses y prohibir las armas totalmente autónomas. El CEO Dario Amodei ha declarado que Anthropic apoyará "la defensa nacional en todos los sentidos, excepto aquellos que nos harían parecer a nuestros adversarios autocráticos". Mientras que otros laboratorios importantes de IA, incluidos OpenAI, Google y xAI, han acordado relajar las salvaguardias para su uso en los sistemas no clasificados del Pentágono, sus herramientas aún no se han implementado dentro de las redes clasificadas del ejército. El Pentágono, por el contrario, insiste en que las capacidades de IA deben estar disponibles para "todos los fines legales".

Esta fricción pone a prueba directamente la tesis central de Anthropic. La empresa fue fundada en 2021 por ex ejecutivos de OpenAI que sentían que la industria no estaba priorizando la seguridad adecuadamente. Posicionaron a Claude como la alternativa éticamente responsable. A finales de 2024, Anthropic hizo accesible Claude en una plataforma Palantir con un nivel de seguridad en la nube de hasta "secreto", lo que convierte a Claude, según informes públicos, en el primer modelo de lenguaje grande en operar dentro de sistemas clasificados.

El actual punto muerto obliga a un examen crítico de si una identidad de 'primero la seguridad' es sostenible una vez que una tecnología se integra en operaciones militares clasificadas y si tales líneas rojas son prácticamente aplicables. Emelia Probasco, investigadora principal del Centro de Seguridad y Tecnología Emergente de Georgetown, señala: "Estas palabras parecen simples: vigilancia ilegal de estadounidenses. Pero cuando se profundiza, hay ejércitos enteros de abogados que intentan interpretar esa frase".

El contexto histórico también es relevante. Tras las revelaciones de Edward Snowden, el gobierno de EE. UU. defendió la recopilación masiva de metadatos telefónicos —registros de llamadas que detallan quién llamó a quién, cuándo y durante cuánto tiempo—, argumentando que dichos datos no portaban las mismas protecciones de privacidad que el contenido de las conversaciones. El debate sobre la privacidad entonces se centró en los analistas humanos que examinaban esos registros. Ahora, imagine un sistema de IA que consulta vastos conjuntos de datos, mapea redes, identifica patrones y marca a personas de interés. El marco legal existente fue diseñado para una era de revisión humana, no para el análisis a escala de máquina.

"En cierto sentido, cualquier tipo de recopilación masiva de datos que le pidas a una IA que examine es vigilancia masiva por definición", afirma Peter Asaro, cofundador del Comité Internacional para el Control de Armas Robóticas. Axios informó que un alto funcionario argumentó que existe una "considerable área gris" en torno a las restricciones de Anthropic y que es "poco práctico para el Pentágono tener que negociar casos de uso individuales" con la empresa. Asaro ofrece dos interpretaciones de esta queja: una interpretación generosa que sugiere que la definición de vigilancia es genuinamente imposible en la era de la IA, y una interpretación pesimista de que "realmente quieren usarlas para vigilancia masiva y armas autónomas y no quieren decirlo, por lo que lo llaman un área gris".

En cuanto a la segunda línea roja de Anthropic, las armas autónomas —definidas de forma restrictiva como sistemas que seleccionan y atacan objetivos sin supervisión humana— la definición puede parecer manejable. Sin embargo, Asaro percibe un área gris más preocupante. Señala los sistemas israelíes "Lavender" y "Gospel", que supuestamente utilizan IA para generar listas masivas de objetivos que se presentan a operadores humanos para su aprobación antes de que se lleven a cabo los ataques. "Has automatizado, esencialmente, el elemento de selección de objetivos, que es algo que nos preocupa mucho y está estrechamente relacionado, incluso si cae fuera de la definición estricta", explica Asaro. La pregunta crucial es si Claude, operando dentro de los sistemas de Palantir en redes clasificadas, podría estar realizando funciones similares —procesando inteligencia, identificando patrones y señalando personas de interés— sin que Anthropic pueda delimitar con precisión dónde termina el trabajo analítico y dónde comienza la selección de objetivos.

La operación de Maduro sirve como un caso de prueba crítico para esta distinción. "Si estás recopilando datos e inteligencia para identificar objetivos, pero los humanos están decidiendo: 'Ok, esta es la lista de objetivos que realmente vamos a bombardear', entonces tienes ese nivel de supervisión humana que estamos tratando de exigir", dice Asaro. "Por otro lado, todavía te vuelves dependiente del sistema para la toma de decisiones." Esto genera preocupaciones sobre el potencial de los sistemas para volverse cuasi-autónomos, incluso con un humano en el circuito. El desafío de Anthropic reside en garantizar que sus líneas rojas permanezcan claras y ejecutables a medida que su tecnología se integra en entornos militares complejos y de alto riesgo donde la velocidad y la precisión son primordiales, y las líneas entre el análisis de inteligencia y la selección de objetivos evolucionan constantemente.

Agencia de Noticias Ekhbary