A probabilidade indutiva tenta aferir a probabilidade de eventos futuros baseado em eventos passados. É a base para o raciocínio indutivo, e fornece a base matemática para o aprendizado e percepção de padrões. É uma fonte de conhecimento sobre o mundo.
Há três fontes de conhecimento: inferência, comunicação e dedução. A comunicação retransmite informações encontradas utilizando-se outros métodos. A dedução estabelece novos fatos, baseando-se nos existentes. Somente a inferência estabelece novos dados a partir de informação.
A base da inferência é o teorema de Bayes, mas esse teorema é, algumas vezes, difícil de ser entendido e aplicado. O método mais simples de entender inferência é em termos da quantidade da informação.
A informação que descreve um mundo é escrita em uma linguagem. Por exemplo, uma simples linguagem matemática de proposições pode ser escolhida. Sentenças podem ser escritas nessa linguagem como uma cadeia de caracteres. Mas, no computador, é possível codificar essas sentenças como cadeias de bits (uns e zeros). Assim a linguagem pode ser codificada de forma que as sentenças mais utilizadas são as mais curtas. Essa linguagem interna implicitamente representa a probabilidade de declarações.
A Navalha de Occam diz que "a teoria mais simples, consistente com os dados é a mais provável de estar correta". A "teoria mais simples" é interpretada como a representação da teoria escrita nessa linguagem interna. A teoria com a codificação mais curta nessa linguagem interna é a mais provável de estar correta.
História Probabilidade e estatística foram focadas em distribuições de probabilidade e testes de significância. Probabilidade foi formal, bem definida, mas de escopo limitado. Em particular, sua aplicação foi limitada a situações que poderiam ser definidas como um experimento ou teste, com uma população bem definida.
teorema de Bayes tem esse nome graças ao Reverendo Thomas Bayes 1701-1761. A inferência bayesiana ampliou a aplicação da probabilidade para diversas situações onde a população não era bem definida. Mas o teorema de Bayes sempre dependeu de probabilidades anteriores para gerar novas probabilidades. Não era claro de onde essas probabilidades anteriores deveriam vir.
Por volta de 1964 Ray Solomonoff desenvolveu a probabilidade algorítmica, que deu uma explicação para o que é a aleatoriedade e como padrões nos dados podem ser representados por programas de computador, que fornecem representações mais curtas dos dados.
Por volta de 1968, Chris Wallace e D. M. Boulton desenvolveram a mensagem de comprimento mínimo. Mais tarde, por volta de 1978, Jorma Rissanen desenvolveu o descrição de comprimento mínimo. Esses métodos permitem que a teoria da informação se relacione à probabilidade de forma que possa ser comparada à aplicação do teorema de Bayes, mas dando uma fonte e uma explicação para o papel de probabilidades anteriores.
Por volta de 1998 Marcus Hutter combinou a teoria da decisão com o trabalho de Ray Solomonoff e Andrey Kolmogorov para formular uma teoria para o comportamento da eficiência à Pareto para um agente inteligente.
Mensagem/descrição de comprimento mínimo O programa com o menor comprimento que corresponde aos dados é o mais provável de predizer dados futuros. Essa é a tese por trás dos métodos de mensagem de comprimento mínimo e descrição de comprimento mínimo.
A primeira vista, o teorema de Bayes parece ser diferente do princípio do comprimento mínimo de uma mensagem/descrição. Ao observarmos melhor, percebemos que são a mesma coisa. O teorema de Bayes é sobre probabilidades condicionais. Qual a probabilidade de que o evento B aconteça se o evento A acontecer primeiro?
Torna-se, em termos da mensagem de tamanho L,
Isso significa que, ao descrevermos um evento, se todas as informações que o descrevem forem fornecidas, então o tamanho da informação pode ser utilizado para chegarmos à probabilidade bruta do evento. Então, se a informação descrevendo a ocorrência de A é dada juntamente com a informação descrevendo B dado A, toda a informação descrevendo A e B foi dada.
Sobre-ajuste Sobre-ajuste é onde o modelo corresponde ao ruído aleatório e não ao padrão nos dados. Por exemplo, tome a situação na qual uma curva é ajustada sobre um conjunto de pontos. Se é ajustada polinomialmente, com vários termos, pode representar os dados com maior fidelidade. Então o ajuste será melhor e a informação necessária para descrever os desvios da curva ajustada serão menores. Menor comprimento de informação significa mais provável.
No entanto, a informação necessária para descrever a curva também deve ser considerada. O total da informação para uma curva com vários termos pode ser maior do que o de uma curva com menos termos, que não tem um bom ajuste, mas precisa de menos informação para descrever o polinômio.
Baseado em inferência sobre a complexidade do programa A teoria de inferência indutiva de Solomonoff também é inferência indutiva. Uma cadeia de bits x é observada. Então, considere todos os programas que geram cadeias que começam com x. No formato de inferência indutiva, os programas são teorias que sugerem a observação da cadeia x.
O método aqui utilizado para dar probabilidades para inferência indutiva é baseado na teoria de inferência indutiva de Solomonoff.
Detectando padrões nos dados Se todos os bits são 1, então pode-se inferir que há uma propensão da moeda e que é mais provável que o próximo bit também será 1. Isso é descrito como aprendendo ou detectando um padrão nos dados.
Tal padrão pode ser representado por um programa de computador. Um pequeno programa de computador pode ser escrito de forma que produza uma série de bits que são todos 1. Se o comprimento do programa K é bits, então a sua probabilidade anterior é,
O comprimento do programa mais curto que representa a cadeia de bits é chamado de complexidade de Kolmogorov.
Complexidade de Kolmogorov não é computável. Isto está relacionado com o problema da parada. Ao procurar pelo programa mais curto, alguns programas podem entrar em um loop infinito.
Considerando todas as teorias É atribuída ao filósofo grego Epicuro a frase: "Se mais de uma teoria é consistente com as observações, mantenha todas as teorias". Li, M. and Vitanyi, P., An Introduction to Kolmogorov Complexity and Its Applications, 3rd Edition, Springer Science and Business Media, N.Y., 2008, p 347
Como num romance policial todas as teorias devem ser consideradas para a determinação do provável assassino, então com probabilidade indutiva todos os programas devem ser considerados na determinação dos prováveis bits futuros decorrentes do fluxo de bits.
Os programas que já são maiores que n não têm poder preditivo. A probabilidade bruta (ou anterior) de que o padrão de bits é aleatório (não tem padrão) é .
Cada programa que produz a sequência de bits, mas é mais curto do que n é uma teoria/um padrão sobre os bits com uma probabilidade de onde k é o comprimento do programa.
A probabilidade de receber uma sequência de bits y depois de receber uma série de bits x é, então, a probabilidade condicional de receber y dado x, que é a probabilidade de x com y anexado, dividida pela probabilidade de x. Solomonoff, R., "A Preliminary Report on a General Theory of Inductive Inference", Report V-131, Zator Co., Cambridge, Ma. Feb 4, 1960, revision, Nov., 1960. Solomonoff, R., "A Formal Theory of Inductive Inference, Part I" Information and Control, Vol 7, No. 1 pp 1–22, March 1964. Solomonoff, R., "A Formal Theory of Inductive Inference, Part II" Information and Control, Vol 7, No. 2 pp 224–254, June 1964.
Prévias universais A linguagem de programação afeta as previsões do próximo bit na cadeia. A linguagem atua como uma probabilidade anterior. Isto é particularmente um problema onde as linguagens de programação codificam por números e outros tipos de dados. Intuitivamente nós pensamos que 0 e 1 são números simples, e que os números primos são de algum modo mais complexos podendo ser fatorados.
Usando a complexidade de Kolmogorov temos uma estimativa imparcial (uma prévia universal) da probabilidade prévia de um número. Como um experimento mental um agente inteligente pode ser equipado com um dispositivo de entrada de dados dando uma série de números, depois de aplicar alguma função de transformação aos números brutos. Outro agente pode ter o mesmo dispositivo de entrada com uma função de transformação diferente. Os agentes não veem ou sabem sobre essas funções de transformação. Então não há uma base racional para se preferir uma função em detrimento a outra. Uma prévia universal garante que, apesar de dois agentes poderem ter diferentes distribuições de probabilidade iniciais para a entrada de dados, a diferença será limitada por uma constante.
Então prévias universais não eliminam uma tendência inicial, mas a reduzem e limitam. Sempre que descrevemos um evento em uma linguagem, seja usando linguagem natural ou outra, a linguagem tem codificada em si nossas expectativas prévias. Sendo assim, alguma confiança em probabilidades anteriores é inevitável.
Um problema surge onde expectativas prévias de um agente inteligente interagem com o ambiente para formar um loop de feedback de autorreforço. Esse é o problema da parcialidade ou preconceito. Prévias universais reduzem, mas não eliminam esse problema.
Inteligência artificial universal inteligência artificial universal aplica desde teoria de decisão à probabilidades indutivas. A teoria mostra como as melhores ações para otimizar uma função de recompensa podem ser escolhidos. O resultado é um modelo teórico de inteligência.
É uma teoria fundamental da inteligência, o que otimiza o comportamento dos agentes em: Explorar o ambiente; realizando ações para obter as respostas que ampliem o conhecimento do agente. Competir ou cooperando com outro agente; jogos. Equilibrar recompensas de curto e longo prazo. Em geral, nenhum agente irá sempre oferecer as melhores ações em todas as situações. A escolha em particular feita por um agente pode estar errada, e o ambiente pode não fornecer uma maneira para que o agente se recupere de uma má escolha inicial. No entanto, o agente é eficiente à Pareto no sentido de que nenhum outro agente vai fazer melhor do que este agente neste ambiente, sem fazer pior em outro ambiente. Nenhum outro agente pode, neste sentido, ser considerado melhor.
Atualmente, a teoria é limitada pela incomputabilidade (o problema da parada). Aproximações podem ser utilizadas para evitar isso. Velocidade de processamento e explosão combinatória permanecem os fatores limitantes primários para a inteligência artificial.
Probabilidade Probabilidade é a representação do conhecimento incerto ou parcial sobre a verdade das afirmações. As probabilidades são estimativas subjetivas e pessoais de resultados prováveis com base na experiência do passado e inferências feitas a partir dos dados.
Esta descrição de probabilidade pode parecer estranha à primeira vista. Em linguagem natural nos referimos à "probabilidade" de que o sol nascerá amanhã. Não nos referimos à "sua probabilidade" de que o sol nascerá. Mas, para que a inferência seja corretamente modelada, a probabilidade deve ser pessoal, e o ato de inferência gera novas probabilidades posteriores à partir probabilidades anteriores.
As probabilidades são pessoais, porque eles ficam dependentes do conhecimento do indivíduo. Probabilidades são subjetivas, porque elas sempre dependem, em certa medida, de probabilidades anteriores atribuídas pelo indivíduo. Subjetiva não deve ser tomado aqui como vaga ou indefinida.
O termo agente inteligente é usado para se referir ao titular das probabilidades. O agente inteligente pode ser um humano ou uma máquina. Se o agente inteligente não interage com o ambiente, então a probabilidade convergirá ao longo do tempo para a frequência do evento.