El avance de los sistemas de inteligencia artificial requiere mecanismos que permitan mantener el control humano incluso mientras ejecutan una tarea.
Así lo plantea Satya Nadella, CEO de Microsoft, quien propone incorporar un ‘botón de emergencia’ capaz de pausar o detener de inmediato los modelos avanzados de IA y establecer sistemas de supervisión independientes que permitan auditar sus acciones.
Nadella considera que las organizaciones deberían tratar a estos modelos como un posible ‘riesgo interno’, aplicándoles protocolos de contención y límites de privilegios similares a los establecidos para personas con acceso a información sensible.
Su preocupación aumenta a medida que los agentes de IA reciben acceso a datos confidenciales y adquieren capacidad para ejecutar acciones complejas de manera autónoma, por lo que entiende que las garantías ofrecidas por los desarrolladores no sustituyen la responsabilidad de quienes utilizan la tecnología.
Entre las medidas que propone figura establecer controles externos al propio modelo, asumir desde el diseño que el sistema puede estar comprometido y garantizar que una persona autorizada pueda interrumpirlo en cualquier momento.
Para Nadella, la seguridad de una futura superinteligencia no debería depender de cuánto se confíe en el modelo, sino de la capacidad de limitarlo, supervisarlo y detenerlo de ser necesario.
leídas