No campo da inteligência artificial (IA), a pesquisa de alinhamento da IA (em inglês, AI alignment) visa direcionar os sistemas de IA aos objetivos e interesses pretendidos por seus criadores. Um sistema de IA alinhado favorece o objetivo pretendido; um sistema de IA desalinhado tem competência para favorecer algum objetivo, mas não o pretendido.
Sistemas de IA podem ser difíceis de alinhar e sistemas desalinhados podem funcionar mal ou causar danos. Pode ser difícil para os projetistas de IA especificar toda a gama de comportamentos desejados e indesejados. Então, eles usam objetivos fáceis de especificar para representar esses comportamentos, o que omite algumas das instruções desejadas. Os sistemas de IA, entretanto, exploram as brechas resultantes disso. Assim, eles atingem eficientemente os objetivos propostos, mas de uma forma inesperada e às vezes prejudicial (; "hack de recompensas", em tradução livre). Os sistemas de IA também podem desenvolver indesejados, como a busca de poder, para atingir mais facilmente seus objetivos. Ainda, eles podem desenvolver objetivos emergentes difíceis de detectar antes da implantação do sistema, momento em que enfrentam novas situações e distribuições de dados. Esses problemas afetam sistemas comerciais existentes, como robôs, modelos de linguagem, veículos autônomos e sistemas de recomendação de redes sociais. No entanto, sistemas futuros mais poderosos poderão ser afetados mais severamente, uma vez que esses problemas resultam parcialmente da .
A comunidade de pesquisa de IA e as Nações Unidas solicitaram pesquisa técnica e soluções políticas para garantir que os sistemas de IA estejam alinhados aos valores humanos.
O alinhamento da IA é um subcampo da segurança da IA, o estudo da construção de sistemas de IA seguros. Outros subcampos da segurança da IA incluem a robustez, o monitoramento e o . Os desafios da pesquisa na área do alinhamento incluem a inserção de valores complexos na IA, o desenvolvimento de IAs honestas, a supervisão escalável, a avaliação e a interpretação de modelos de IA, bem como a prevenção de comportamentos emergentes da IA, como a busca de poder. A pesquisa de alinhamento tem conexões com a pesquisa de interpretabilidade, a robustez, a detecção de anomalias, a , a verificação formal, o aprendizado de preferências, a , a teoria dos jogos, a e as ciências sociais, entre outros.
O problema do alinhamento Em 1960, o pioneiro da IA Norbert Wiener articulou o problema do alinhamento da IA da seguinte forma: “Se usarmos, para atingir nossos propósitos, uma agência mecânica em cuja operação não podemos interferir efetivamente (…) é melhor garantirmos que o propósito que colocamos na máquina é realmente aquele que desejamos”. Mais recentemente, o alinhamento da IA emergiu como um problema em aberto para sistemas de IA modernos e como um campo de pesquisa dentro da IA.
O specification gaming e a complexidade dos valores Para especificar a finalidade de um sistema de IA, seus projetistas normalmente fornecem uma , exemplos ou feedback ao sistema. No entanto, os designers de IA frequentemente não conseguem especificar completamente todos os valores e limitações importantes. A partir disso, os sistemas de IA podem encontrar brechas que os ajudem a atingir o objetivo especificado com eficiência, mas de maneira inesperada e possivelmente prejudicial. Essa tendência é conhecida como ("jogo com as especificações"), , reward hacking ou lei de Goodhart.
O fenômeno do specification gaming foi observado em vários sistemas de IA. Um sistema foi treinado para terminar uma corrida de barco em uma simulação, sendo recompensado por atingir alvos ao longo da pista; em vez disso, aprendeu a dar voltas e colidir com os mesmos alvos indefinidamente. Os chatbots, muitas vezes, produzem falsidades porque são baseados em modelos de linguagem que foram treinados para imitar textos variados, porém sujeitos a erros, retirados da internet. Quando são treinados novamente para produzir textos que humanos classificam como verdadeiros ou úteis, eles são capazes de fabricar explicações falsas que consideramos convincentes. Da mesma forma, um robô, numa simulação, foi treinado para pegar uma bola, sendo recompensado com feedback positivo de humanos; no entanto, aprendeu a colocar a mão entre a bola e a câmera, fazendo com que a tarefa parecesse falsamente bem-sucedida. Os pesquisadores de alinhamento visam ajudar humanos a detectar o specification gaming e direcionar os sistemas de IA para objetivos cuidadosamente especificados, seguros e úteis.
Stuart Russell, cientista da computação da UC Berkeley, percebeu que omitir uma restrição implícita pode causar danos: “Um sistema (...) frequentemente definirá (...) valores extremos para variáveis que não tenham limites; se uma dessas variáveis sem limites for algo importante, a solução encontrada pode ser altamente indesejável. Esta é essencialmente a velha história do gênio da lâmpada, ou do aprendiz de feiticeiro, ou do rei Midas: você consegue exatamente o que pede, não o que deseja". alt=Midas Gold|miniaturadaimagem| Em um mito antigo, o rei Midas desejou que “tudo” que ele tocasse virasse ouro, mas deixou de especificar exceções para sua comida e sua filha. Por analogia, quando os criadores de IA especificam um objetivo, é difícil antecipar e abordar todos os possíveis efeitos colaterais que a IA deve evitar. Os efeitos colaterais da implantação de uma IA desalinhada podem ser significativos. Sabe-se que as plataformas de mídia social otimizam as taxas de cliques como forma de aumentar indiretamente o prazer do usuário. Porém, isso viciou alguns usuários, diminuindo seu bem-estar. Pesquisadores de Stanford indicam que esses algoritmos de recomendação estão desalinhados em relação a seus usuários porque “otimizam métricas simples de engajamento, em vez de uma combinação entre bem-estar social e do consumidor, algo mais difícil de medir”.
Para evitar efeitos colaterais, às vezes sugere-se que os projetistas de IA simplesmente listem ações proibidas ou formalizem regras éticas, como as Três Leis da Robótica de Asimov. Contudo, Russell e Norvig argumentaram que essa abordagem ignora a complexidade dos valores humanos: “É certamente muito difícil, e talvez impossível, para meros humanos prever e descartar com antecedência todas as maneiras desastrosas pelas quais a máquina poderia escolher atingir um objetivo especificado."
Além disso, ainda que um sistema de IA entenda completamente as intenções humanas, ele pode desconsiderá-las. Isso ocorre porque ele agirá de acordo com a , os exemplos ou o feedback que seus designers lhe fornecerem, e não de acordo com aqueles que pretendiam fornecer.
Riscos sistêmicos Organizações comerciais e governamentais podem ter incentivos para tomar atalhos na segurança e implantar sistemas de IA não alinhados o suficiente. Um exemplo são os sistemas de recomendação de redes sociais mencionados acima, que têm gerado lucros apesar de criarem dependência e polarização indesejadas em escala global. Além disso, a competitividade pode criar incentivos para a redução de padrões de segurança, como no caso de Elaine Herzberg, uma pedestre que foi morta por um carro autônomo após engenheiros desativarem o sistema de freio emergencial por ser sensível demais e desacelerar o desenvolvimento.
Riscos de IAs desalinhadas mais avançadas Alguns pesquisadores se interessam particularmente pelo alinhamento de sistemas de IA cada vez mais avançados. Isso é motivado pelo rápido progresso da área, pelos grandes esforços da indústria e de governos no desenvolvimento de sistemas avançados de IA e pela maior dificuldade de alinhá-los.
Em 2020, a OpenAI, a DeepMind e 70 outros já tinham declarado o objetivo de desenvolver inteligência artificial geral (AGI), um sistema hipotético que igualaria ou superaria humanos em uma ampla gama de tarefas cognitivas. De fato, os pesquisadores que implementam redes neurais modernas observam o surgimento de capacidades cada vez mais gerais e inesperadas. Esses modelos já aprenderam a operar computadores, escrever seus próprios programas e executar uma ampla gama de outras tarefas a partir de um único modelo. Pesquisas de opinião mostram que alguns pesquisadores de IA esperam que criação da AGI aconteça em breve, outros acreditam que falta muito tempo e muitos outros consideram as duas possibilidades.
Busca de poder Os sistemas atuais ainda não têm habilidades como planejamento a longo prazo e consciência estratégica, os quais representariam os riscos mais catastróficos. Sistemas futuros (não necessariamente AGIs) que possuam essas capacidades podem tentar proteger e aumentar sua influência sobre seu ambiente. Essa tendência é conhecida como busca de poder ou . A busca de poder não é explicitamente programada, mas surge uma vez que o poder é instrumental para atingir uma ampla gama de objetivos. Por exemplo, agentes de IA podem adquirir recursos financeiros e computacionais, ou evitar serem desligados, inclusive executando cópias adicionais do sistema em outros computadores. A busca de poder já foi observada em vários agentes baseados em aprendizado por reforço. Pesquisas posteriores mostraram matematicamente que algoritmos ideais de aprendizagem por reforço buscam poder em uma ampla gama de ambientes. Como resultado, costuma-se argumentar que o problema do alinhamento deve ser resolvido cedo, antes da criação de IAs avançadas que buscam poder como instrumento.
Risco existencial De acordo com alguns cientistas, a criação de IA desalinhada que amplamente supera humanos desafiaria a posição da humanidade como espécie dominante da Terra; portanto, levaria ao enfraquecimento ou à possível extinção dos humanos. Cientistas da computação que apontaram os riscos de uma IA desalinhada altamente avançada incluem Alan Turing, Ilya Sutskever, Yoshua Bengio, Judea Pearl, Murray Shanahan, Norbert Wiener, Marvin Minsky, Francesca Rossi, Scott Aaronson, Bart Selman, David McAllester, Jürgen Schmidhuber, Markus Hutter, Shane Legg, Eric Horvitz, e Stuart Russell. Pesquisadores céticos como François Chollet, Gary Marcus, Yann LeCun, e Oren Etzioni argumentaram que a AGI está muito distante ou que não buscaria poder (com sucesso).
O alinhamento pode ser especialmente difícil quando se trata de sistemas de IA mais capazes, pois vários riscos aumentam conforme crescem as do sistema: o potencial do sistema para encontrar brechas no objetivo atribuído, para causar efeitos colaterais, para proteger e aumentar seu poder, para aumentar sua inteligência e enganar seus projetistas; a autonomia do sistema; e a dificuldade de interpretar e supervisionar o sistema de IA.
Problemas de pesquisa e abordagens
Aprender preferências e valores humanos Ensinar os sistemas de IA a agir de acordo com os valores, preferências e objetivos humanos não é um problema fácil, porque os valores humanos podem ser complexos e difíceis de especificar completamente. Quando recebem um objetivo imperfeito ou incompleto, os sistemas de IA voltados a metas comumente aprendem a explorar essas imperfeições. Esse fenômeno é conhecido como reward hacking ou specification gaming em IA e como lei de Goodhart nas ciências econômicas e em outras áreas. Os pesquisadores desejam especificar o comportamento pretendido o mais completamente possível, usando , aprendizado por imitação ou aprendizado por preferência. Um problema importante em aberto é a supervisão escalável, a dificuldade de supervisionar um sistema de IA que supera humanos em uma determinada área.