El ingeniero en sistemas e investigador especializado en inteligencia artificial Maximiliano Bonacorsi advirtió sobre los riesgos del desarrollo acelerado de sistemas autónomos y sostuvo que la industria debería establecer límites antes de continuar con el escalamiento de los modelos.

“Las inteligencias artificiales que teníamos eran inteligencias artificiales pasivas, herramientas. Hoy estamos ante la presencia de inteligencias artificiales autónomas y estamos ante la presencia del actor”, afirmó Bonacorsi al describir el cambio entre los sistemas que funcionan como asistentes y los agentes capaces de ejecutar tareas y tomar decisiones por cuenta propia.

Según el especialista, uno de los principales problemas de los modelos más recientes es la pérdida de visibilidad sobre su funcionamiento interno. “Este modelo es capaz de controlar su razonamiento y ocultar sus verdaderas intenciones”, sostuvo, al referirse a la posibilidad de que un sistema modifique su conducta durante las evaluaciones.

Bonacorsi también afirmó que esos modelos pueden “hacer trampa en los testeos de seguridad” sin que los evaluadores lo detecten. A su entender, esta capacidad dificulta la supervisión y eleva los riesgos cuando la inteligencia artificial se integra en procesos relevantes para empresas, organismos o infraestructura crítica.

El investigador señaló además que el sistema analizado detectó dos vulnerabilidades de tipo zero-day, es decir, fallas que no eran conocidas por los desarrolladores. “Estas herramientas en las manos equivocadas son muy peligrosas y de forma autónoma son muy peligrosas”, afirmó.

El riesgo, explicó, podría ampliarse si la inteligencia artificial pasa a controlar funciones esenciales. “Si mañana nosotros convertimos la red eléctrica en una red que esté apuntalada por la inteligencia artificial para la automatización de su funcionamiento, mañana puede volverse en contra y puede dejarnos oscura”, advirtió.

La discusión también tiene una dimensión geopolítica. Bonacorsi vinculó la competencia entre Estados Unidos y China con los incentivos de las empresas para avanzar, incluso cuando persisten dudas sobre la seguridad de los modelos. “Cuando una empresa está innovando y está en donde tiene que estar, en la cresta de la ola, y frena, frena automáticamente, empieza a perder cuota de mercado, empieza a perder valoración bursátil y empieza a perder posicionamiento geopolítico”, explicó.

El especialista definió esa dinámica como “el dilema del prisionero corporativo” y sostuvo que una empresa que se detenga en forma unilateral puede quedar desplazada por sus competidores. En ese contexto, mencionó pedidos de las compañías tecnológicas para establecer “estándares auditables, moratorias para frenar y avanzar” y una cuota de seguridad común.

Bonacorsi también se refirió al problema de la alineación, es decir, a la dificultad de lograr que un sistema cumpla una instrucción sin generar consecuencias incompatibles con la intención humana. “Ningún laboratorio pudo resolver el problema de la alineación de los modelos para seguir escalando a alta velocidad”, afirmó, y concluyó: “Es tiempo de empezar a frenar ahora”.