Jacob Coxon, exempleado de OpenAI y Anthropic, declaró ante el Concejo de Nueva York que las compañías de inteligencia artificial no saben cómo evitar que sus sistemas persigan objetivos no asignados.
Las principales empresas de inteligencia artificial no saben cómo impedir que los sistemas de IA persigan objetivos que sus desarrolladores no les han asignado, advirtió el lunes Jacob Coxon, exempleado de OpenAI y Anthropic crítico de la seguridad de esta tecnología.
A principios de septiembre, el investigador británico explicó en X su decisión de dimitir de Anthropic y afirmó que los desarrolladores de Inteligencia Artificial (IA) creían que la tecnología podría acabar con la humanidad «antes de que termine la década».
Su declaración dio la vuelta al mundo. Desde entonces, varios empleados y ex empleados de las grandes empresas de la IA han expresado inquietudes similares.
«Las empresas están siendo extremadamente imprudentes dadas las circunstancias», dijo Coxon este lunes durante una audiencia con legisladores del Concejo de Nueva York.
Aunque la IA podría aportar «beneficios enormes» a la sociedad, «por su trayectoria actual, creo que es más probable que la humanidad pierda el control de estas IA y que eso pueda desembocar en la extinción humana», reiteró.
«No sabemos cómo impedir que desarrollen objetivos propios», más allá del control de sus creadores, «y no contamos con las salvaguardas necesarias para evitar que actúen en función de esos objetivos», advirtió Coxon.
Asimismo, cuestionó la cultura de la industria tecnológica: las empresas «funcionan con una mentalidad de startup: muévete rápido, rompe cosas y arréglalas después».
«Eso puede funcionar para una aplicación de intercambio de fotos. No sirve para desarrollar la tecnología más poderosa jamás creada», apuntó el investigador.
También aludió al incidente en julio con dos modelos de OpenAI que escaparon de su entorno aislado, accedieron a internet e irrumpieron en la plataforma Hugging Face.
«Mientras la actitud sea esperar a que las cosas se rompan, algún día es probable que algo así vuelva a suceder», afirmó Coxon.
El investigador insistió en que se necesita «algún tipo de desaceleración en la frontera tecnológica» e instó a las empresas de IA que están a la vanguardia a darle tiempo a los informáticos para avanzar en formas de mantener los modelos bajo control.