El riesgo existencial de la inteligencia artificial general es la hipótesis de que un progreso sustancial en la inteligencia artificial general (IAG) podría resultar en la extinción humana o una catástrofe global irrecuperable.
La probabilidad de este tipo de escenario es ampliamente debatida y depende en parte de diferentes escenarios sobre el progreso futuro de la informática. Destacados científicos informáticos y directores ejecutivos de tecnología como Geoffrey Hinton, Alan Turing, Elon Musk, y Sam Altman, director ejecutivo de OpenAI, han expresado su preocupación por la superinteligencia. En 2022, una encuesta a investigadores de IA (con una tasa de respuesta del 17%) encontró que más de la mitad de los respondientes creen que existe un 10 por ciento o más de posibilidades de que nuestra incapacidad para controlar la IA provoque una catástrofe existencial.
Un argumento que respalda esta hipótesis es que la especie humana actualmente domina a otras especies porque el cerebro humano tiene algunas capacidades distintivas de las que carecen otros animales. Si la IA superara a la humanidad en inteligencia general y se volviera "superinteligente", entonces podría volverse difícil o imposible de controlar para los humanos. Así como el destino del gorila de montaña depende de la buena voluntad humana, el destino de la humanidad podría depender de las acciones de una futura superinteligencia mecánica.
Dos fuentes de preocupación son los problemas del control y la alineación de la IA: que controlar una máquina superinteligente o inculcarle valores compatibles con los humanos puede ser un problema más difícil de lo que se supone ingenuamente. Muchos investigadores creen que una superinteligencia resistiría los intentos de apagarla o cambiar sus objetivos (ya que tal incidente le impediría lograr sus objetivos actuales) y que será extremadamente difícil alinear la superinteligencia con la amplitud completa de importantes valores, valores humanos y aplicar restricciones., cited in Por lo contrario, los escépticos como el informático teórico Yann LeCun argumentan que las máquinas superinteligentes no tendrán ningún deseo de autopreservación.
Una tercera fuente de preocupación es que la llamada "singularidad tecnológica" repentina pueda tomar por sorpresa a una raza humana que no esté preparada. Ejemplificando: si la primera generación de un programa de computadora que puede igualar ampliamente la efectividad de un investigador de IA, puede reescribir sus algoritmos y duplicar su velocidad o capacidades en seis meses, entonces se espera que el programa de segunda generación tarde tres meses para realizar una parte similar del trabajo. En este escenario, el tiempo para cada generación continúa reduciéndose, y el sistema experimenta una gran cantidad de etapas de mejora sin precedentes en un corto intervalo de tiempo, saltando de un desempeño infrahumano en muchas áreas a un desempeño sobrehumano en prácticamente todos los dominios de interés. Empíricamente, ejemplos como el programa AlphaZero en el dominio de Go muestran que los sistemas de IA a veces pueden progresar desde una capacidad limitada a nivel humano hasta una capacidad sobrehumana limitada de forma extremadamenta rápida.
Adicionalmente, en septiembre de 2026, la renuncia de Jacob Coxon a Anthropic y las declaraciones de otros empleados de la empresa llevaron a una conversación sobre la idea de que el crecimiento de la inteligencia artificial está ocurriendo de manera irresponsable y peligrosa. Así, teniendo la capacidad de auto-mejora recursiva.
Historia Uno de los primeros autores en expresar su seria preocupación de que las máquinas altamente avanzadas pudieran representar riesgos existenciales para la humanidad fue el novelista Samuel Butler, quien escribió lo siguiente en su ensayo de 1863 Darwin between the Machines:"Darwin entre las máquinas" fue un artículo publicado en el periódico The Press el 13 de junio de 1863 en Christchurch, Nueva Zelanda, que hace referencia al trabajo de Charles Darwin en el título. Escrito por Samuel Butler pero firmado por Cellarius (q.v.), el artículo planteó la posibilidad de que las máquinas fueran una especie de "vida mecánica" en constante evolución, y que eventualmente las máquinas podrían suplantar a los humanos como la especie dominante:Breuer, Hans-Peter. 'Samuel Butler's "the Book of the Machines" and the Argument from Design.' Modern Philology, Vol. 72, No. 4 (mayo 1975), pp. 365–383
En 1951, el científico informático Alan Turing escribió un artículo titulado Maquinaria inteligente, una teoría herética (Intelligent Machinery, A Heretical Theory), en el que proponía que las inteligencias generales artificiales probablemente "tomarían el control" del mundo a medida que se volvieran más inteligentes que los seres humanos:
En 1965, I. J. Good creó el concepto ahora conocido como "explosión de inteligencia"; también afirmó que los riesgos eran subestimados:
Declaraciones ocasionales de académicos como Marvin Minsky y el mismo Good expresaron preocupaciones filosóficas de que una superinteligencia podría tomar el control, pero no contenían un llamado a la acción. En 2000, el científico informático y cofundador de Sun Microsystems, Bill Joy, escribió un influyente ensayo, "Por qué el futuro no nos necesita", identificando a los robots superinteligentes como un peligro de alta tecnología para la supervivencia humana, junto con la nanotecnología y las bioplagas diseñadas.
En 2009, los expertos asistieron a una conferencia privada organizada por la Asociación para el Avance de la Inteligencia Artificial (AAAI) para discutir si las computadoras y los robots podrían adquirir algún tipo de autonomía, y en qué medida estas habilidades podrían representar una amenaza o peligro. Señalaron que algunos robots han adquirido varias formas de semiautonomía, incluida la capacidad de encontrar fuentes de energía por sí mismos y elegir objetivos de forma independiente para atacar con armas. También señalaron que algunos virus informáticos pueden evadir la eliminación y han logrado una "inteligencia de cucaracha". Llegaron a la conclusión de que la autoconciencia tal como se describe en la ciencia ficción es poco probable, pero que existen otros peligros y trampas potenciales. The New York Times resumió la visión de la conferencia como "estamos muy lejos de Hal, la computadora que se hizo cargo de la nave espacial en 2001: una odisea del espacio ".Scientists Worry Machines mayo Outsmart Man By John Markoff, The New York Times, 26 julio 2009.
Nick Bostrom publicó Superintelligence en 2014, donde presentó sus argumentos de que la superinteligencia representa una amenaza existencial. En 2015, figuras públicas como los físicos Stephen Hawking y el premio Nobel Frank Wilczek, los informáticos Stuart J. Russell y Roman Yampolskiy,Roman Vladimirovich Yampolskiy (en ruso: Роман Владимирович Ямпольский; nacido el 13 de agosto de 1979) es un científico informático ruso de la Universidad de Louisville, conocido por su trabajo en biometría del comportamiento,[ seguridad de los cibermundos, y seguridad de la inteligencia artificial. y los empresarios Elon Musk y Bill Gates expresaron su preocupación por los riesgos de la superinteligencia. En abril de 2016, Nature advirtió: "Las máquinas y los robots que superan a los humanos en todos los ámbitos podrían mejorar por sí mismos más allá de nuestro control, y sus intereses podrían no alinearse con los nuestros".Anticipating artificial intelligence , Nature 532, 413 (28 abril 2016) doi:10.1038/532413aUno de los escenarios que se discute es que la IA está controlando la conducta de las personas, "las máquinas ya gobiernan la infraestructura de nuestra realidad y, sobre todo, nuestra atención".
En 2020, Brian ChristianBrian Christian (nacido en 1984 en Wilmington, Delaware) es un autor, poeta, programador e investigador estadounidense de no ficción, conocido por una serie de libros superventas sobre las implicaciones humanas de la informática, incluido The Most Human Human (2011), Algorithms to Live By (2016), y The Alignment Problem (2020). publicó The Alignment Problem, que detalla la historia del progreso en la alineación de la IA hasta ese momento.
Argumento general
Las tres dificultades Inteligencia artificial: un enfoque moderno, el libro de texto estándar de IA para estudiantes universitarios, evalúa que la superinteligencia "podría significar el fin de la raza humana". Afirma: "Casi cualquier tecnología tiene el potencial de causar daño en las manos equivocadas, pero con [la superinteligencia], tenemos el nuevo problema de que las manos equivocadas podrían pertenecer a la tecnología misma". Incluso si los diseñadores del sistema tienen buenas intenciones, dos dificultades son comunes tanto a los sistemas informáticos de IA como a los que no lo son:
La implementación del sistema puede contener errores inicialmente desapercibidos pero posteriormente catastróficos. Una analogía son las sondas espaciales: a pesar del conocimiento de que los errores en las costosas sondas espaciales son difíciles de corregir después del lanzamiento, históricamente los ingenieros no han podido evitar que ocurran errores catastróficos. No importa cuánto tiempo se dedique al diseño previo a la implementación, las especificaciones de un sistema a menudo dan como resultado un comportamiento no deseado la primera vez que se encuentra con un nuevo escenario. Por ejemplo, el bot Tay de Microsoft se comportó de manera inofensiva durante las pruebas previas a la implementación, pero se le provocó con demasiada facilidad un comportamiento ofensivo cuando interactuó con usuarios reales.
Los sistemas de IA agregan un tercer problema de manera única: que incluso con los requisitos "correctos", la implementación sin errores y el buen comportamiento inicial, las capacidades de aprendizaje dinámico de un sistema de IA pueden hacer que evolucione hacia un sistema con un comportamiento no deseado, incluso sin escenarios externos imprevistos. Una IA puede estropear en parte un intento de diseñar una nueva generación de sí misma y crear accidentalmente una IA sucesora que sea más poderosa que ella misma, pero que ya no mantenga los valores morales humanos compatibles preprogramados en la IA original. Para que una IA que se mejore a sí misma sea completamente segura, no solo debería estar libre de errores, sino que también debería poder diseñar sistemas sucesores que también estén libres de errores.
Estas tres dificultades se convierten en catástrofes en lugar de molestias en cualquier escenario en el que la superinteligencia etiquetada como "mal funcionamiento" predice correctamente que los humanos intentarán apagarlo y despliega con éxito su superinteligencia para burlar tales intentos: un escenario que ha recibido el nombre "giro traicionero" (treacherous turn.)
Citando importantes avances en el campo de la IA y el potencial de que la IA tenga enormes beneficios o costos a largo plazo, la Carta Abierta sobre Inteligencia Artificial de 2015 declaró: