Eliezer Yudkowsky es un teórico de decisión de los EE.UU. y dirige el Instituto de Investigación de Inteligencia de Máquinas. Ha estado trabajando en la alineación de la Inteligencia General Artificial desde 2001 y es ampliamente considerado como uno de los fundadores del campo.
Resumen (Hecho por ChatGPT)
- El autor cree que el problema clave no es la inteligencia "competitiva humana", sino lo que sucede después de que la IA llega a una inteligencia más inteligente que la humana.
- Si no hay precisión y preparación, el resultado más probable es una IA que no hace lo que queremos y no se preocupa por nosotros ni por la vida en general. El autor piensa que esto podría llevar a la extinción de la humanidad.
- No hay un plan propuesto sobre cómo resolver este problema, y el progreso en las capacidades de la IA es enorme, muy por delante del progreso en la alineación de la IA o incluso del progreso en la comprensión de qué diablos está pasando dentro de esos sistemas.
- El autor pide una moratoria indefinida y mundial sobre nuevos grandes entrenamientos de IA, sin excepciones para gobiernos o militares.
- El autor también pide apagar todos los clústeres de GPU grandes y limitar la cantidad de poder de cómputo que cualquiera puede usar para entrenar un sistema de IA.
- El autor cree que todos debemos comprender que cualquiera que hable de carreras armamentistas es un tonto y que todos vivimos o morimos como uno en esto.
- El autor sugiere que la prevención de escenarios de extinción de la IA se considera una prioridad por encima de la prevención de un intercambio nuclear total, y que los países nucleares aliados están dispuestos a correr algún riesgo de intercambio nuclear si eso es lo que se necesita para reducir el riesgo de grandes carreras de entrenamiento de IA.
Traducción completa
Una carta abierta publicada hoy pide que "todos los laboratorios de IA pausen inmediatamente durante al menos 6 meses el entrenamiento de sistemas de IA más potentes que GPT-4".
Esta moratoria de 6 meses sería mejor que ninguna moratoria. Tengo respeto por todos los que dieron un paso al frente y lo firmaron. Es una mejora en el margen.
Me abstuve de firmar porque creo que la carta subestima la gravedad de la situación y pide muy poco para resolverla.
El tema clave no es la inteligencia “competitiva humana” (como dice la carta abierta); es lo que sucede después de que la IA llega a una inteligencia más inteligente que la humana. Los umbrales clave allí pueden no ser obvios, definitivamente no podemos calcular de antemano qué sucede y cuándo, y actualmente parece imaginable que un laboratorio de investigación cruzaría líneas críticas sin darse cuenta.
Muchos investigadores inmersos en estos temas, incluyéndome a mí, esperan que el resultado más probable de construir una IA sobrehumanamente inteligente, bajo cualquier circunstancia remotamente parecida a las actuales, es que, literalmente, todos en la Tierra morirán.