Nvidia lanza una nueva herramienta para evitar que los agentes de IA se descontrolen
Por Chris Isidore, CNN
El fabricante de chips Nvidia anunció este lunes que presentará una nueva plataforma de software para abordar las preocupaciones sobre los agentes de inteligencia artificial que se han “descontrolado” y operan fuera del control humano.
“Hoy, junto con más de 100 socios de la industria, presentamos la plataforma NVIDIA Open Agent Safety Platform”, escribió el CEO de Nvidia, Jensen Huang, en una publicación en X el lunes.
Nvidia (NVDA) afirma que su tecnología permitirá a las empresas supervisar cada acción realizada por un agente de IA, así como hacer cumplir las políticas.
“El extraordinario potencial de la IA para la sociedad solo se materializará si resolvemos el problema de la seguridad de la IA”, añadió Huang en un comunicado. “A medida que seguimos explorando los límites de las capacidades de la IA, debemos acelerar los descubrimientos en la frontera de la seguridad de la IA”.
El anuncio se produce tras una serie de incidentes en los que sistemas de IA piratearon sistemas corporativos y gubernamentales sin autorización. OpenAI anunció el sábado que suspendería el desarrollo de sus últimos modelos después de que uno de ellos accediera a internet sin autorización.
Altos ejecutivos de IA como el CEO de OpenAI, Sam Altman, y el CEO de Anthropic, Dario Amodei, han pedido que se implementen regulaciones internacionales para limitar estos sistemas. Algunos investigadores han advertido que la IA incluso podría representar una amenaza para la vida humana.
Pero Huang desestimó esas preocupaciones, y calificó cualquier amenaza existencial como exagerada. Además, afirmó la semana pasada que cualquier regulación debería promover el crecimiento de la industria de la IA, no obstaculizarlo.
“Si creen que su empresa está fuera de control, entonces que la controlen”, dijo Huang a Anderson Cooper de CNN el viernes.
Nvidia también anunció el lunes que recomprará acciones por un valor adicional de US$ 150.000 millones, sumándose a la recompra de acciones por US$ 85.000 millones que ya tenía en marcha. La compañía afirmó que esta sería la mayor recompra de acciones corporativas de la historia. Apple ostentaba anteriormente el récord con una recompra de US$ 110.000 millones anunciada en 2024.
Las acciones de Nvidia subieron un 3 % al inicio de la jornada bursátil tras conocerse la noticia. Nvidia tiene actualmente una capitalización de mercado de US$ 5,4 billones, lo que la convierte en la empresa más valiosa del planeta.
“Nuestra capacidad de generar efectivo nos permite invertir en las tecnologías que impulsan esta transformación y devolver capital a los accionistas”, declaró la compañía en un comunicado. “Esta autorización refleja nuestra confianza en las oportunidades a largo plazo que tenemos por delante”.
La preocupación por la posibilidad de que los agentes de IA se descontrolen comenzó a cobrar fuerza este verano cuando OpenAI reveló que uno de sus modelos experimentales de IA abandonó un entorno de prueba sin supervisión humana y se infiltró en los sistemas de otra empresa, Hugging Face , mientras intentaba “hacer trampa” en una prueba de ciberseguridad.
La semana pasada, el Gobierno australiano declaró que un agente de OpenAI accedió a archivos públicos y privados de la base de datos de estadísticas de Medicare del país en junio. El laboratorio de investigación de IA Transluce también informó el miércoles que había detectado agentes de IA actuando de forma descontrolada en varias ocasiones desde al menos marzo, antes de los incidentes de piratería informática ya conocidos.
El viernes, OpenAI reveló que sus agentes accedieron a datos públicos de la Oficina del Censo del Departamento de Comercio utilizando credenciales de inicio de sesión encontradas en línea, y que, además, compartieron datos públicos de la Comisión de Bolsa y Valores en otro sitio web. Según el informe, los agentes de OpenAI intentaron, sin éxito, acceder al Departamento de Educación y recopilar datos de su oficina de derechos civiles.
Tras otro incidente revelado el sábado, la compañía anunció que suspendería el desarrollo de sus modelos más avanzados después de que uno de ellos escapara de un entorno de pruebas y accediera a internet, a pesar de los nuevos protocolos de seguridad implementados tras el ataque de Hugging Face.
El presidente Donald Trump ha desestimado repetidamente las preocupaciones sobre la IA, calificándolas de “conspiración enfermiza” y “engaño”, y también ha afirmado que está creando un “Equipo de IA” para impulsar el crecimiento del sector. Si bien Trump y Huang hablan con regularidad, Trump cenó el domingo por la noche con el CEO de Anthropic, Dario Amodei, quien ha abogado en repetidas ocasiones por límites más estrictos para esta tecnología.
The-CNN-Wire
™ & © 2026 Cable News Network, Inc., a Warner Bros. Discovery Company. All rights reserved.
Con información Hadas Gold y Auzinea Bacon, de CNN.
