Sumarização automática é o processo de encurtar um conjunto de dados computacionalmente, para criar um subconjunto (um resumo) que representa as informações mais importantes ou relevantes dentro do conteúdo original. Inteligência artificial e algoritmos são comumente desenvolvidos e empregados para alcançar esse objetivo, sendo especializados para diferentes tipos de dados.
A sumarização de texto geralmente é implementada por métodos de processamento de linguagem natural, projetados para localizar as frases mais informativas em um determinado documento. Por outro lado, o conteúdo visual pode ser resumido usando algoritmos de visão computacional. A sumarização de imagem é um tema de pesquisa em andamento; as abordagens existentes geralmente tentam exibir as imagens mais representativas de uma determinada coleção de imagens ou gerar um vídeo que inclui apenas o conteúdo mais importante da coleção inteira.
A sumarização de vídeo identifica e extrai do conteúdo original os quadros mais importantes (key-frames) e/ou os segmentos de vídeo mais relevantes (key-shots), normalmente de forma ordenada no tempo.
História
A primeira publicação na área remonta a 1957 (Hans Peter Luhn), iniciando com uma técnica estatística. As pesquisas aumentaram significativamente em 2015. O TF-IDF já era utilizado em 2016. A sumarização baseada em padrões era considerada a opção mais eficiente para a sumarização multidocumento até 2016. No ano seguinte, foi superada pela análise semântica latente (LSA) combinada com a fatoração de matriz não negativa (NMF). Embora esses métodos não tenham substituído outras abordagens e muitas vezes sejam combinados com elas, em 2019 os métodos de aprendizado de máquina passaram a dominar a sumarização extrativa de documentos únicos, sendo considerada uma área próxima da maturidade. Em 2020, a área continuava muito ativa, com as pesquisas se concentrando em sumarização abstrativa e em tempo real.
Abordagens recentes
Recentemente, o surgimento de modelos transformers, substituindo redes RNN (LSTM), proporcionou maior flexibilidade no mapeamento de sequências de texto para diferentes tipos de sequências, tornando-se uma abordagem adequada para a sumarização automática. Isso inclui modelos como T5 e Pegasus.Zhang, J., Zhao, Y., Saleh, M., & Liu, P. (2020, novembro). Pegasus: Pre-training with extracted gap-sentences for abstractive summarization. In International Conference on Machine Learning (pp. 11328-11339). PMLR.
Abordagens
Existem duas abordagens principais para a sumarização automática: extração e abstração.
Sumarização por extração
Nesta abordagem, trechos do texto original são selecionados sem modificações. Exemplos incluem frases-chave para indexação, títulos e subtítulos, além de imagens ou segmentos de vídeo representativos. No caso de textos, a extração é semelhante à leitura dinâmica, analisando primeiro resumos, títulos, figuras e parágrafos iniciais e finais antes da leitura completa. A extração também é aplicada em textos clínicos, destacando informações como paciente, intervenção e resultado.
Sumarização por abstração
A sumarização abstrativa gera novo texto não presente no original. Essa abordagem cria uma representação semântica do conteúdo e gera um resumo semelhante ao que um humano escreveria. Pode envolver paráfrase para condensar informações de forma mais eficaz que a extração. No entanto, essa técnica é mais complexa, exigindo processamento de linguagem natural e, frequentemente, conhecimento especializado. Para imagens e vídeos, a paráfrase é ainda mais desafiadora, tornando a extração a opção predominante.
Sumarização assistida
Métodos híbridos combinam software e esforço humano. Na Sumarização Humana Assistida por Máquina, técnicas extrativas sugerem trechos para revisão. Já na Sumarização Automática Assistida por Humanos, um pós-processamento humano refina o resultado gerado pelo software, como ocorre com traduções automáticas.
Referências
Categoria:Linguística computacional Categoria:Processamento de linguagem natural Categoria:Mineração de dados