Especialistas de la Universidad Iberoamericana plantearon que los desarrolladores de los modelos de inteligencia artificial (IA) más avanzados deben someter sus sistemas a auditorías a la inteligencia artificial realizadas por terceros independientes. La propuesta busca evaluar las pruebas de seguridad, capacidades y condiciones de despliegue antes y durante su operación, en un contexto donde los sistemas ejecutan tareas durante periodos más largos con menor intervención humana.
Actualmente, las evaluaciones de seguridad y las decisiones sobre cuándo lanzar una nueva versión permanecen bajo el control exclusivo de las mismas empresas desarrolladoras.
Riesgos de la autonomía operativa y evaluaciones internas
Los denominados «modelos de frontera» han desarrollado la capacidad de recibir un objetivo general y planificar secuencias complejas de acciones de forma autónoma. Estos agentes pueden utilizar herramientas externas, escribir código, consultar información, corregir errores y continuar trabajando de manera prolongada.
Sobre la urgencia de establecer una supervisión imparcial sobre las corporaciones tecnológicas, Andrés Guillermo Molano Jiménez, director del Departamento de Estudios en Ingeniería para la Innovación de la Ibero, enfatizó:
“Las compañías tratan de instalar sistemas de seguridad, pero logran evadir estos sistemas. Entonces, creo que no está bien que solamente le demos completa libertad a las compañías de modelos de frontera para decidir hasta cuándo parar y a qué velocidad ir. Deben haber auditores externos que estén revisando eso”.
El académico advirtió que el aumento de la autonomía operativa permite al sistema decidir rutas de ejecución, pero eso no implica que la máquina posea el criterio para determinar qué objetivos deben perseguirse o evaluar qué consecuencias resultan aceptables.
Infraestructura crítica y límites de los sistemas probabilísticos
Un aspecto central discutido por los especialistas es la naturaleza probabilística de los modelos de lenguaje y agentes virtuales. Dado que estos sistemas generan respuestas mediante relaciones estadísticas aprendidas durante su entrenamiento, existe siempre el riesgo inherente de que produzcan salidas erróneas dentro de su funcionamiento regular.
Alexandro López González, coordinador de la Licenciatura en Inteligencia Artificial de la Ibero, advirtió sobre los peligros de conectar este tipo de software a sectores sensibles:
- Sistemas estadísticos: La IA opera con base en probabilidades y no en certezas absolutas.
- Riesgo de escalación: Un error menor en la cadena de decisiones puede amplificarse rápidamente en procesos automatizados.
- Protección de vidas: La infraestructura crítica no debe depender de modelos probabilísticos sin supervisión.
“Creo que la regla básica sería no conectar estos sistemas estadísticos, estos sistemas que dependen de la probabilidad, a infraestructura crítica. Cualquier infraestructura que ustedes crean que de ella depende la vida humana no debe ser conectada a un sistema que está basado en probabilidad porque siempre puede haber errores”, afirmó López González.
Transparencia, ‘caja negra’ y marcos regulatorios
La complejidad técnica de los sistemas modernos impide que puedan explicarse fácilmente como fórmulas matemáticas simples. Por ello, Luis Medina Gual, director de Innovación Educativa de la Ibero, sostuvo que la transparencia debe enfocarse en otorgar acceso privilegiado a auditores, investigadores y periodistas para examinar la metodología, los datos de entrenamiento y las pruebas previas al lanzamiento.
Aunque firmas como Anthropic, OpenAI y Google DeepMind han comenzado a incorporar evaluaciones de terceros y pruebas de doble ciego, la mayoría de estos esquemas continúan siendo voluntarios.
Por su parte, Verónica Díaz de León Bermúdez, académica del Departamento de Filosofía de la Ibero, recordó que la automatización no convierte a la IA en un sujeto de derecho capaz de asumir responsabilidades. La especialista concluyó que corresponde a las instituciones públicas y gobiernos fijar los límites legales y las condiciones bajo las cuales estas tecnologías pueden ser desplegadas en la sociedad.
