Segurança da inteligência artificial (do termo em inglês AI Safety) é um campo interdisciplinar que se preocupa com a prevenção de acidentes, uso indevido ou outras consequências prejudiciais que possam resultar de sistemas de inteligência artificial (IA). Ela engloba a ética de máquinas e o alinhamento da IA ("AI alignment"), que visam tornar os sistemas de IA morais e benéficos. Também engloba questões técnicas, incluindo o monitoramento dos sistemas quanto a riscos e a sua alta confiabilidade. Além da pesquisa em inteligência artificial, ela envolve o desenvolvimento de normas e políticas que promovam a segurança.
Motivações Os pesquisadores de IA divergem quanto à gravidade e as principais fontes de risco provenientes da tecnologia de IA, embora as pesquisas indiquem que os especialistas levam a sério os riscos de alta consequência. Em duas pesquisas, os entrevistados estavam otimistas em relação à inteligência artificial em geral, mas estimaram uma probabilidade de 5% de um resultado "extremamente ruim da inteligência artificial avançada" (por exemplo, extinção humana). Em uma pesquisa de 2022 da comunidade de processamento de linguagem natural (NLP em inglês), 37% concordaram ou concordaram levemente que é plausível que as decisões de IA possam levar a uma catástrofe "pelo menos tão ruim quanto uma guerra nuclear total".
Os estudiosos discutem os riscos atuais de falhas em sistemas críticos, parcialidade ("bias"), vigilância habilitada por IA ("AI-enabled surveillance"); riscos emergentes do desemprego tecnológico, manipulação digital, armamento e riscos especulativos de perda de controle de futuros agentes da inteligência artificial geral (AGI em inglês).
Alguns criticam as preocupações com a AGI, como o professor adjunto da Universidade de Stanford, Andrew Ng, que as comparou à "preocupação com a superpopulação em Marte quando ainda nem pisamos no planeta". Outros, como o professor da Universidade da Califórnia em Berkeley, Stuart J. Russell, pedem cautela, argumentando que "é melhor antecipar a engenhosidade humana do que subestimá-la".
Precedentes Os riscos da inteligência artificial começaram a ser seriamente discutidos no início da era da informática:"Além disso, se avançarmos no sentido de criar máquinas que aprendam e cujo comportamento seja modificado pela experiência, teremos de encarar o fato de que cada grau de independência que concedemos à máquina é um grau de possível desafio aos nossos desejos." -Norbert Wiener (1949)De 2008 a 2009, a Associação para o Avanço da Inteligência Artificial (AAAI em inglês) encomendou um estudo para explorar e abordar as possíveis influências sociais de longo prazo da pesquisa e do desenvolvimento da IA. Em geral, o painel foi cético em relação às visões radicais expressas pelos autores de ficção científica, mas concordou que "pesquisas adicionais sobre métodos para compreender e verificar a variedade de comportamentos de sistemas computacionais complexos para minimizar resultados inesperados seriam valiosas".
Em 2011, Roman Yampolskiy introduziu o termo "engenharia de segurança de IA" ("AI safety engineering") na Conferência de Filosofia e Teoria da Inteligência Artificial ("Philosophy and Theory of Artificial Intelligence Conference"), listando falhas anteriores de sistemas de IA e argumentando que "a frequência e a gravidade de tais eventos aumentarão constantemente à medida que as inteligências artificiais se tornam mais poderosas".
Em 2014, o filósofo Nick Bostrom publicou o livro Superintelligence: Paths, Dangers, Strategies ("Superinteligência: Caminhos, Perigos, Estratégias"). Seu argumento de que futuros sistemas avançados podem representar uma ameaça à existência humana levou Elon Musk, Bill Gates, e Stephen Hawking a expressarem preocupações semelhantes.
Em 2015, dezenas de especialistas em inteligência artificial assinaram uma Carta Aberta Sobre Inteligência Artificial ("Open letter on artificial intelligence") pedindo pesquisas sobre os impactos sociais da IA e delineando diretrizes concretas. A carta já foi assinada por mais de 8.000 pessoas, incluindo Yann LeCun, Shane Legg, Yoshua Bengio e Stuart J. Russell.
No mesmo ano, um grupo de acadêmicos liderado pelo professor Russell fundou o Centro de Inteligência Artificial Compatível com Humanos ("Center for Human-Compatible AI") na UC Berkeley e o Instituto Future of Life concedeu US$ 6,5 milhões em subsídios para pesquisas destinadas a "garantir que a inteligência artificial permaneça segura, ética e benéfica".
Em 2016, o Escritório de Políticas de Ciência e Tecnologia da Casa Branca ("White House Office of Science and Technology Policy") e a Universidade Carnegie Mellon anunciaram o Workshop Público sobre Segurança e Controle para Inteligência Artificial, que foi um de uma sequência de quatro workshops da Casa Branca com o objetivo de investigar "as vantagens e desvantagens" da IA. No mesmo ano, foi publicado o Problemas Concretos na Segurança da IA ("Concrete Problems in AI Safety"), uma das primeiras e mais influentes agendas técnicas de segurança da IA.
Em 2017, o Instituto Future of Life patrocinou a Conferência Asilomar sobre IA benéfica ("Asilomar Conference on Beneficial AI"), na qual mais de 100 líderes formularam princípios para a inteligência artificial benéfica, incluindo "Evitar corridas: as equipes que desenvolvem sistemas de IA devem cooperar ativamente para evitar cortes nos padrões de segurança."
Em 2018, a equipe de segurança da DeepMind delineou problemas de segurança de IA em especificação, robustez e segurança. No ano seguinte, os pesquisadores organizaram um workshop na Conferência Internacional sobre Representações de Aprendizagem (ICLR em inglês) que se concentrou nessas áreas problemáticas.
Focos de pesquisa As áreas de pesquisa de segurança da IA incluem robustez ("robustness"), monitoramento ("monitoring") e alinhamento ("alignment"). A robustez se preocupa em tornar os sistemas altamente confiáveis, o monitoramento trata da antecipação de falhas ou da detecção de uso indevido, e o alinhamento se concentra em garantir que ela tenha objetivos benéficos.
Robustez A pesquisa de robustez se concentra em garantir que os sistemas de IA se comportem como pretendido em uma ampla gama de situações diferentes, o que inclui os seguintes subproblemas:
Robustez do cisne preto ("black swan"): criação de sistemas que se comportam como pretendido em situações raras. Robustez adversária ("adversarial machine learning"): projetar sistemas para serem resilientes a entradas que são intencionalmente selecionadas para fazê-los falhar.
Robustez do cisne preto ("black swan robustness") Entradas ("inputs") raras podem fazer com que os sistemas de inteligência artificial falhem de forma catastrófica. Por exemplo, no Flash Crash de 2010, os sistemas de negociação automatizados reagiram inesperadamente de forma exagerada às flutuações do mercado, destruindo um trilhão de dólares do valor das ações em minutos. Não é necessário que ocorra nenhuma mudança na distribuição ("distribution shift"; quando conjuntos de treinamento e teste não são provenientes da mesma distribuição) para que isso aconteça. Falhas do tipo cisne preto podem ocorrer como consequência de os dados de entrada serem de cauda longa, o que geralmente acontece em ambientes do mundo real. Os veículos autônomos continuam a ter dificuldades com "casos extremos" que podem não ter surgido durante o treinamento; por exemplo, um veículo pode ignorar um sinal de parada que está iluminado como uma grade de LED. Embora problemas como esses possam ser resolvidos à medida que os sistemas de aprendizado de máquina ("machine learning") desenvolvem uma melhor compreensão do mundo, alguns pesquisadores apontam que até mesmo os seres humanos muitas vezes não conseguem responder adequadamente a eventos sem precedentes, como a pandemia da COVID-19, argumentando que a robustez do cisne preto será um problema de segurança persistente.
Robustez adversária ("adversarial robustness") Os sistemas de IA geralmente são vulneráveis a exemplos adversários ou "entradas para modelos de aprendizado de máquina que um invasor tenha intencionalmente projetado para fazer com que o modelo cometa um erro". Por exemplo, em 2013, Szegedy et al. descobriram que adicionar perturbações imperceptíveis específicas a uma imagem poderia fazer com que ela fosse classificada incorretamente com alta confiança. Isso continua a ser um problema com as redes neurais ("ANNs" em inglês), embora em trabalhos recentes as perturbações geralmente sejam grandes o suficiente para serem perceptíveis. miniaturadaimagem|370x370px|Um ruído cuidadosamente elaborado pode ser adicionado a uma imagem para fazer com que ela seja classificada erroneamente com alta confiança. Todas as imagens ao lado são previstas como sendo de um avestruz após a aplicação da perturbação. A da esquerda é uma amostra prevista corretamente, a do centro possui perturbação aplicada ampliada em 10x, e a da direita um exemplo contraditório.
A robustez adversária é frequentemente associada à segurança. Pesquisadores demonstraram que um sinal de áudio pode ser imperceptivelmente modificado para que os sistemas de fala para texto o transcrevam para qualquer mensagem que o invasor escolher. Os sistemas de detecção de intrusão de rede e de malware também precisam ser robustos em termos de adversariedade, pois os invasores podem projetar seus ataques para enganar os detectores.
Os modelos que representam objetivos (aprendizado por reforço) também devem ser robustos nesse sentido. Por exemplo, um modelo de aprendizado por reforço pode estimar o quanto uma resposta de texto é útil e se um modelo de linguagem pode ser treinado para maximizar essa pontuação. Pesquisadores demonstraram que, se um modelo de linguagem for treinado por tempo suficiente, ele aproveitará as vulnerabilidades do modelo de aprendizado para obter uma pontuação melhor e ter um desempenho pior na tarefa pretendida. Esse problema pode ser resolvido melhorando a robustez adversária do modelo. De modo mais geral, qualquer sistema de IA usado para avaliar outro sistema de IA deve possuir robustez adversária. Isso deve incluir ferramentas de monitoramento, uma vez que elas também podem ser adulteradas para produzir uma recompensa maior.
Monitoramento O monitoramento se concentra em antecipar as falhas do sistema de IA para que elas possam ser evitadas ou gerenciadas. Os subproblemas do monitoramento incluem sinalizar quando os sistemas são incertos, detectar o uso mal-intencionado, compreender o funcionamento interno dos sistemas de inteligência artificial de caixa preta ("black-box") e identificar a funcionalidade oculta plantada por um agente mal-intencionado.
Estimativa de incerteza É importante que os operadores humanos avaliem o quanto devem confiar em um sistema de IA, principalmente em cenários de alto risco, como o diagnóstico médico. Os modelos de machine learning (ML em inglês) geralmente expressam confiança por meio da emissão de probabilidades; no entanto, eles costumam apresentar excesso de confiança, principalmente em situações diferentes daquelas para as quais foram treinados. A pesquisa de calibração tem como objetivo fazer com que as probabilidades do modelo se aproximem o máximo possível da verdadeira proporção, na qual o modelo está correto.
Da mesma forma, a detecção de anomalias ou a detecção fora da distribuição (OOD em inglês) visa identificar quando um sistema de inteligência artificial está em uma situação incomum. Por exemplo, se um sensor em um veículo autônomo estiver com defeito ou se ele encontrar um terreno desafiador, ele deve alertar o motorista para que assuma o controle ou encoste. A detecção de anomalias foi implementada treinando um classificador para distinguir entradas anômalas e não anômalas, embora várias outras técnicas estejam em uso.
Detecção de uso malicioso