En estadística y aprendizaje automático, la fuga (también conocida como fuga de datos o de objetivos) es el uso de información en el proceso de formación del modelo que no se esperaría que estuviera disponible en el momento de la predicción, lo que hace que las puntuaciones predictivas (métricas) sobreestimen la utilidad del modelo cuando se ejecuta en un entorno de producción.

Las fugas suelen ser sutiles e indirectas, lo que dificulta su detección y eliminación. Pueden hacer que un estadístico o modelador seleccione un modelo subóptimo, que podría ser superado por un modelo sin fugas.

Modos de fuga La fuga puede ocurrir en muchos pasos en el proceso de aprendizaje automático. Las causas de la fuga se pueden subclasificar en dos fuentes posibles de fuga para un modelo: atributos y ejemplos de formación.

Fuga de atributos La fuga de atributos o por columnas se debe a la inclusión de columnas que son una etiqueta duplicada, un delegado para la etiqueta o la etiqueta misma. Estos atributos, conocidos como anacronismos, no estarán disponibles cuando el modelo se use para predicciones y darán lugar a fugas si se incluyen cuando se forma el modelo.

Por ejemplo, incluir una columna «SalarioMensual» al predecir «SalarioAnual»; o «MinutosTarde» al predecir «EsTarde»; o más sutilmente «NumDePagos» al predecir «DebeAprobarCredito».

Fuga de ejemplo de formación La fuga por filas es causada por el intercambio inadecuado de información entre filas de datos. Los tipos de fugas por fila incluyen:

Caracterización prematura; fugas por caracterización prematura antes de la división de segmento de CV /formación/prueba (debe ajustarse a MinMax/ngrams/etc solo en la división del tren y luego transformar el conjunto de prueba) Filas duplicadas entre formación/validación/prueba (por ejemplo, sobremuestreo de un conjunto de datos para rellenar el tamaño antes de dividirlo; por ejemplo, diferentes rotaciones/aumentos de una sola imagen; muestreo de arranque antes de dividir; o duplicación de filas para aumentar la muestra de la clase minoritaria) Datos no iid Pérdida de tiempo (p. ej., segmentar aleatoriamente un conjunto de datos de series temporales en lugar de datos más nuevos en un conjunto de prueba mediante una validación cruzada de segmento de formación dividida o de origen móvil) Fuga de grupo, sin incluir una columna segmentada de agrupación (p. ej. El grupo de Andrew Ng tenía 100 000 radiografías de 30 000 pacientes, lo que significa ~3 imágenes por paciente. El documento utilizó una segmentación aleatoria en lugar de garantizar que todas las imágenes de un paciente estuvieran en el mismo segmento. Por lo tanto, el modelo memorizó parcialmente a los pacientes en lugar de aprender a reconocer la neumonía en las radiografías de tórax. )

En los conjuntos de datos dependientes del tiempo, la estructura del sistema estudiado evoluciona con el tiempo (es decir, es «no estacionaria»). Esto puede introducir diferencias sistemáticas entre los conjuntos de formación y validación. Por ejemplo, si un modelo de predicción del valor de las acciones se forma a partir de los datos de un determinado periodo de cinco años, no es realista considerar el periodo de cinco años siguiente como una extracción de la misma población. Otro ejemplo: supongamos que se desarrolla un modelo para predecir el riesgo de que a un individuo se le diagnostique una enfermedad determinada en el próximo año.

Véase también

AutoML Validación cruzada sobreajuste Remuestreo (estadísticas) Aprendizaje supervisado Conjuntos de entrenamiento, validación y prueba

Referencias

Categoría:Aprendizaje automático