A convergência instrumental é a tendência hipotética da maioria dos seres suficientemente inteligentes e orientados para objetivos (humanos e não humanos) de perseguir subobjetivos semelhantes (como sobrevivência ou aquisição de recursos), mesmo que seus objetivos finais sejam bastante diferentes. Mais precisamente, seres com agência podem perseguir objetivos instrumentais semelhantes — objetivos que são feitos em busca de algum fim específico, mas não são os próprios objetivos finais — porque isso ajuda a atingir os objetivos finais.
A convergência instrumental postula que um agente inteligente com objetivos aparentemente inofensivos, mas ilimitados, pode agir de maneiras surpreendentemente prejudiciais. Por exemplo, um programa suficientemente inteligente com o único objetivo irrestrito de resolver um problema matemático complexo como a hipótese de Riemann poderia tentar transformar a Terra (e, em princípio, outros corpos celestes) em uma infraestrutura computacional adicional para obter sucesso em seus cálculos.
Os impulsos básicos da IA propostos incluem a função de utilidade ou a integridade do conteúdo do objetivo, a autoproteção, a liberdade de interferência, o autoaperfeiçoamento e a aquisição insaciável de recursos adicionais.
Exemplos hipotéticos O experimento mental da catástrofe da hipótese de Riemann fornece um exemplo de convergência instrumental. Marvin Minsky, o cofundador do laboratório de IA do MIT, sugeriu que uma inteligência artificial projetada para resolver a hipótese de Riemann poderia decidir assumir todos os recursos da Terra para construir supercomputadores para ajudar a atingir seu objetivo. Se o computador tivesse sido programado para produzir o máximo de clipes de papel possível, ele ainda decidiria tomar todos os recursos da Terra para atingir seu objetivo final.. "An AI, designed to manage production in a factory, is given the final goal of maximizing the manufacturing of paperclips, and proceeds by converting first the Earth and then increasingly large chunks of the observable universe into paperclips." Mesmo que esses dois objetivos finais sejam diferentes, ambos produzem um objetivo instrumental convergente de tomar conta dos recursos da Terra.
Maximizador de clipes de papel O maximizador de clipes de papel é um experimento mental descrito em 2003 pelo filósofo sueco Nick Bostrom. O experimento ilustra o risco existencial que uma inteligência artificial geral pode representar aos seres humanos caso ela fosse concebida com sucesso para perseguir objetivos aparentemente inofensivos e a necessidade de incorporar ética computacional no projeto de inteligências artificiais. O cenário descreve uma inteligência artificial avançada que recebe a tarefa de produzir clipes de papel. Se tal máquina não for programada para valorizar os seres vivos, então, na hipótese desta obter poder suficiente sobre seu ambiente, ela tentaria transformar toda a matéria do universo, incluindo os seres vivos, em clipes de papel ou em máquinas que produzam mais clipes de papel.Suponha que tenhamos uma IA cujo único objetivo seja produzir o maior número possível de clipes de papel. A IA logo perceberia que seria muito melhor se não houvesse humanos, pois eles poderiam decidir desligá-la — e, se o fizessem, haveria menos clipes. Além disso, os corpos humanos contêm muitos átomos que poderiam ser transformados em clipes. O futuro para o qual a IA tentaria caminhar seria aquele em que houvesse muitos clipes, mas nenhum humano.— Nick Bostrom
Bostrom enfatizou que não acredita que o cenário do maximizador de clipes vá ocorrer tal como descrito; em vez disso, ele pretende ilustrar os perigos de criar máquinas superinteligentes sem saber como programá-las para eliminar riscos existenciais à segurança dos seres humanos. O exemplo do maximizador de clipes ilustra o problema mais amplo de gerenciar sistemas poderosos que carecem de valores humanos.
O experimento mental tem sido usado como símbolo da inteligência artificial na cultura popular. O autor Ted Chiang observou que a popularidade de tais preocupações entre os tecnólogos do Vale do Silício pode ser um reflexo de sua familiaridade com a tendência das grandes corporações de ignorar fatores externos negativos.
Impulsos básicos da IA Steve Omohundro listou diversos objetivos instrumentais convergentes, incluindo autopreservação ou autoproteção, função de utilidade ou integridade do conteúdo do objetivo, autoaperfeiçoamento e aquisição de recursos. Ele se refere a estes como os "impulsores básicos da IA".
Um "impulso" neste contexto é uma "tendência que estará presente a menos que seja especificamente neutralizada"; isso é diferente do termo psicológico "impulso", que denota um estado excitatório produzido por uma perturbação homeostática. A tendência de uma pessoa preencher formulários de imposto de renda todos os anos é um "impulso" no sentido de Omohundro, mas não no sentido psicológico.
Referências Categoria:Inteligência artificial Categoria:Risco Categoria:Intenção