El sesgo inductivo (también conocido como sesgo de aprendizaje ) de un algoritmo de aprendizaje es el conjunto de suposiciones que el modelo utiliza para predecir los resultados de entradas dadas que no ha encontrado. El sesgo inductivo es el conjunto de preferencias que hacen que favorezcan ciertos patrones sobre otros, como cuando un árbol de decisión tiende a dividir en saltos mientras un modelo lineal busca relaciones continuas.
El aprendizaje implica la búsqueda de un conjunto de soluciones para una solución que proporcione una buena explicación de los datos. Sin embargo, en muchos casos, puede haber múltiples soluciones igualmente apropiadas. Un sesgo inductivo permite que un algoritmo de aprendizaje priorice una solución sobre otra, independientemente de los datos observados.
En el aprendizaje automático, el objetivo es construir algoritmos capaces de aprender a predecir un resultado objetivo específico. Para lograrlo, se presentan al algoritmo de aprendizaje ejemplos de entrenamiento que demuestran la relación deseada entre los valores de entrada y salida. A continuación, se espera que el aprendiz aproxime el resultado correcto, incluso para ejemplos no mostrados durante el entrenamiento. Sin suposiciones adicionales, este problema no puede resolverse, ya que situaciones imprevistas podrían tener un valor de salida arbitrario. El tipo de suposiciones necesarias sobre la naturaleza de la función objetivo se resume en el término sesgo inductivo.
Un ejemplo clásico de sesgo inductivo es la navaja de Occam, que asume que la hipótesis consistente más simple sobre la función objetivo es, en realidad, la mejor. En este caso, consistente significa que la hipótesis del alumno produce resultados correctos para todos los ejemplos presentados al algoritmo.
Los enfoques para una definición más formal del sesgo inductivo se basan en la lógica matemática. En este caso, el sesgo inductivo es una fórmula lógica que, junto con los datos de entrenamiento, implica lógicamente la hipótesis generada por el alumno. Sin embargo, este formalismo estricto falla en muchos casos prácticos en los que el sesgo inductivo solo puede presentarse como una descripción aproximada (por ejemplo, en el caso de las redes neuronales artificiales ), o incluso no presentarse.
Tipos A continuación se muestra una lista de sesgos inductivos habituales en algoritmos de aprendizaje automático:
Máxima independencia condicional : si la hipótesis puede formularse en un marco bayesiano, se debe intentar maximizar la independencia condicional. Este es el sesgo utilizado en el clasificador Bayesiano Naive . Error mínimo de validación cruzada : al elegir entre hipótesis, seleccione la hipótesis con el menor error de validación cruzada. Aunque la validación cruzada pueda parecer libre de sesgos, los teoremas de "todo es gratis" demuestran que debe estar sesgada, por ejemplo, suponiendo que no hay información codificada en el orden de los datos. Margen máximo : al trazar un límite entre dos clases, se intenta maximizar su ancho. Este es el sesgo utilizado en las máquinas de vectores de soporte. Se supone que las clases distintas tienden a estar separadas por límites amplios. Longitud mínima de la descripción : al formular una hipótesis, intente minimizar la longitud de la descripción de la hipótesis. Características mínimas : a menos que exista evidencia sólida de su utilidad, una característica debe eliminarse. Este es el supuesto subyacente en los algoritmos de selección de características . Vecinos más cercanos : se asume que la mayoría de los casos en una vecindad pequeña en el espacio de características pertenecen a la misma clase. Dado un caso cuya clase se desconoce, se supone que pertenece a la misma clase que la mayoría en su vecindad inmediata. Este es el sesgo utilizado en el algoritmo de k vecinos más cercanos. Se asume que los casos cercanos tienden a pertenecer a la misma clase.
Aunque la mayoría de los algoritmos de aprendizaje tienen un sesgo estático, algunos algoritmos están diseñados para cambiar su sesgo a medida que se adquieren más datos. Esto no evita el sesgo, ya que el proceso de cambio de sesgo en sí mismo contiene sesgos.
Véase también Sesgo algorítmico Sesgo cognitivo Teorema de que no hay almuerzo gratis No hay almuerzo gratis en búsqueda y optimización
Referencias
Categoría:Aprendizaje automático Categoría:Sesgos