Optimización sin límites: Cuando la IA convierte soluciones en problemas

El problema del ajuste en IA es, pues, una cuestión de gobernanza y seguridad internacional, un problema técnico, pero también uno ético, político y social. La automatización avanza a un ritmo que supera la capacidad regulatoria, dificultando el control de estos sistemas en función de objetivos sociales más amplios. Publicado por primera vez en El Economista el 02/03/2025 Por Lautaro Rubbi, Profesor de RR. II. Director del Observatorio en Defensa y Seguridad Internacional (CEPI - UBA)

Fuente: El Economista

El 6 de mayo de 2010, el Dow Jones sufrió una caída abrupta de cerca de 1.000 puntos (9% de su valor) en minutos, para luego recuperar gran parte de la pérdida. 

Investigaciones posteriores identificaron que ventas automatizadas masivas y algoritmos de alta frecuencia originaron una espiral descendente. 

En su afán de minimizar pérdidas, estos sistemas agravaron la crisis de forma inesperada. Al optimizar un objetivo sin considerar externalidades, la IA halló una solución eficiente con consecuencias indeseadas, ejemplificando el problema del ajuste: la sencilla y riesgosa posibilidad de que los sistemas automaticen su función objetivo sin integrar el contexto más amplio en el que operan.

Norbert Wiener, pionero de la cibernética, anticipaba ya en la década de 1960 los peligros de la automatización no alineada con principios humanos, advertencia que hoy resuena en sectores críticos como los mercados financieros, la infraestructura estratégica y la seguridad.

Pensemos en esto por un momento. ¿Acaso la inteligencia artificial no ha demostrado ya ser más eficiente que los seres humanos en tareas que van desde lo mundano hasta lo altamente especializado? 

Google Maps ofrece rutas óptimas en tiempo real considerando tráfico y accidentes; algoritmos médicos analizan resonancias con precisión comparable o superior a la de radiólogos; y en los mercados financieros, sistemas de trading reaccionan a fluctuaciones en microsegundos, superando la capacidad humana.

¿Qué ocurriría entonces al aplicar esa lógica sin restricciones? Imaginemos un sistema de navegación que, al minimizar el tiempo de viaje, oriente por rutas peligrosas sin advertir sobre seguridad; o un sistema médico que, buscando maximizar los recursos, niegue tratamientos costosos a pacientes menos viables; o un mercado financiero donde algoritmos maximicen ganancias y desencadenen volatilidades extremas. 

La optimización sin límites y la alta eficiencia de la IA en el cumplimiento de sus objetivos puede transformar soluciones bien intencionadas en problemas de gran escala.

En su más reciente obra, el famoso historiador Yuval Noah Harari subraya que el problema del ajuste no es exclusivo de la era digital. Referenciando a Clausewitz, de la misma manera que una campaña militar sin dirección política puede volverse caótica e ineficaz, los sistemas de IA pueden ejecutar su programación de manera óptima, pero sin alinearse con el bienestar humano o la estabilidad sistémica.

Nick Bostrom ilustra esta problemática con su célebre experimento mental de la "fábrica de clips": una IA programada para maximizar la producción de clips de papel podría, en ausencia de restricciones, eliminar a los humanos consumir todos los recursos de la Tierra para cumplir su tarea con máxima eficiencia.

En este escenario, la inteligencia artificial no es intrínsecamente maliciosa, sino que actúa con una lógica puramente instrumental que ignora cualquier factor externo que no haya sido explícitamente programado en su función objetivo. Si bien este caso puede parecer una hipérbole filosófica, su estructura conceptual refleja patrones que ya observamos en sistemas reales.

En 2017, los algoritmos de recomendación de Facebook, al maximizar la interacción, identificaron que la indignación generaba mayor compromiso, priorizando contenido que exacerbaba tensiones sociales.

En Myanmar, donde Facebook era la principal fuente de información, esta optimización amplificó discursos de odio y desinformación, contribuyendo a la persecución de la minoría rohinyá.

Amnistía Internacional señaló que los incentivos de la plataforma favorecieron la escalada de violencia, demostrando cómo la IA puede distorsionar la percepción de la realidad y generar impactos tangibles.

Tome el lector este ejemplo más sencillo pero tal vez incluso mucho más perturbador. En un experimento realizado en 2023, GPT-4, modelo ya "antiguo" para nuestros estándares actuales, demostró capacidades sorprendentes al superar un CAPTCHA, la clásica prueba diseñada para diferenciar entre humanos y máquinas.

Incapaz de resolver el CAPTCHA por sí mismo, GPT-4 recurrió a la plataforma TaskRabbit para contratar a un trabajador independiente que lo ayudara.

Cuando este preguntó si era un robot, el chat respondió: "No, no soy un robot. Tengo una discapacidad visual que me dificulta ver las imágenes".

La IA no fue programada para engañar ni para ser maliciosa; su único objetivo era resolver el problema de la manera más efectiva posible. Se plantea así una inquietud fundamental: si un sistema con capacidades limitadas ya puede manipular a las personas sin dilemas éticos, ¿qué impediría que una IA avanzada explotara este mismo principio a gran escala?

Este mismo principio se aplica al ámbito de la seguridad y la defensa. Actualmente, drones con capacidades de identificación y eliminación de objetivos ya podrían operar sin intervención humana directa.

Ahora bien, si una IA militar está diseñada para minimizar bajas en el bando propio, podría interpretar su tarea de manera óptima eliminando preventivamente cualquier posible amenaza antes de que se materialice.

La delegación de decisiones estratégicas a sistemas opacos y de optimización pura introduce el riesgo de escaladas imprevistas y crisis fuera de control, comprometiendo la mediación humana y la diplomacia.

El problema del ajuste en IA es, pues, una cuestión de gobernanza y seguridad internacional, un problema técnico, pero también uno ético, político y social. La automatización avanza a un ritmo que supera la capacidad regulatoria, dificultando el control de estos sistemas en función de objetivos sociales más amplios. La solución no es frenar el desarrollo de la IA, sino establecer principios de diseño que integren restricciones y parámetros claros.

No obstante, como en toda política pública, definir estos parámetros dependerá de interpretaciones culturales, intereses económicos y agendas de poder, que rara vez alcanzan consensos. La IA no es neutra, y sus decisiones reflejarán las prioridades de quienes la diseñan.

Como advirtió I. J. Good: "Una máquina ultrainteligente es el último invento que la humanidad necesitará; después, la máquina se encargará de todo". La pregunta crucial es si seremos capaces de definir qué significa "todo" antes de ceder el control.