El enlace de registro o vinculación de registro (también conocido como cotejo de datos, resolución de entidad, y muchos otros términos) es la tarea de encontrar registros en un conjunto de datos que se refieren a la misma entidad en diferentes fuentes de datos (p. ej., archivos de dato, libros, sitios web, y bases de datos). La vinculación de registro es necesario cuando se unen diferentes conjuntos de datos basados en entidades que pueden o no puede compartir un identificador común (p. ej., clave de base de datos, URI, número de identificación nacional), lo que puede deberse a diferencias en la forma del registro, la ubicación de almacenamiento, o el estilo de conservación o preferencia. Un conjunto de datos que se ha sometido a una reconciliación RL-orientada puede denominarse entrecruzado. La vinculación de registro se conoce también como vinculación de datos en muchas jurisdicciones, pero los dos son el mismo proceso.
Convenio de denominación "Vinculación de registro" es el término utilizado por estadísticos, epidemiólogos e historiadores, entre otros, para describir el proceso de unión de los registros de una fuente de datos con otra que describe la misma entidad. Sin embargo, se utilizan muchos otros términos para este proceso. Desgraciadamente, esta profusión terminológica ha dado lugar a pocas referencias cruzadas entre estas comunidades de investigación.
Los informáticos suelen referirse a ello como "cotejo de datos" o como el "problema de la identidad de los objetos". Las aplicaciones comerciales de correo y bases de datos lo denominan "procesamiento de fusión/purga" o "lavado de listas". Otros nombres utilizados para describir el mismo concepto son: "resolución de correferencia/entidad/identidad/nombre/registro", "desambiguación/vinculación de entidades", "coincidencia difusa", "detección de duplicados", "deduplicación", "coincidencia de registros", "reconciliación (de referencias)", "identificación de objetos", "integración de datos/información" y "conflagración".
Aunque comparten nombres similares, la vinculación de registros y los Datos enlazados son dos enfoques distintos para el procesamiento y la estructuración de datos. Aunque ambos implican la identificación de entidades coincidentes en diferentes conjuntos de datos, la vinculación de registros equipara de forma estándar las "entidades" con los individuos humanos; en cambio, los Datos Enlazados se basan en la posibilidad de interconectar cualquier recurso web entre conjuntos de datos, utilizando un concepto de identificador correspondientemente más amplio, a saber, un URI.
Historia La idea inicial de la vinculación de registros se remonta a Halbert L. Dunn en su artículo de 1946 titulado "Record Linkage" publicado en el American Journal of Public Health
Howard Borden Newcombe sentó entonces las bases probabilísticas de la moderna teoría de la vinculación de registros en un artículo publicado en 1959 en Science. Éstas fueron formalizadas en 1969 por Ivan Fellegi y Alan Sunter, en su trabajo pionero "A Theory For Record Linkage", donde demostraron que la regla de decisión probabilística que describían era óptima cuando los atributos de comparación eran condicionalmente independientes. En su trabajo reconocieron el creciente interés por aplicar los avances de la informática y la automatización a grandes colecciones de datos administrativos, y la teoría de Fellegi-Sunter sigue siendo el fundamento matemático de muchas aplicaciones de vinculación de registros.
Desde finales de la década de 1990, se han desarrollado varias técnicas de aprendizaje automático que, en condiciones favorables, pueden utilizarse para estimar las probabilidades condicionales requeridas por la teoría de Fellegi-Sunter. Varios investigadores han informado de que el supuesto de independencia condicional del algoritmo de Fellegi-Sunter se viola a menudo en la práctica; sin embargo, los esfuerzos publicados para modelar explícitamente las dependencias condicionales entre los atributos de comparación no han dado lugar a una mejora de la calidad de la vinculación de los registros. [Por otro lado, los algoritmos de aprendizaje automático o de redes neuronales que no se basan en estos supuestos suelen proporcionar una precisión mucho mayor, cuando se dispone de suficientes datos de entrenamiento etiquetados.
La vinculación de registros puede realizarse completamente sin la ayuda de un ordenador, pero las principales razones por las que se suelen utilizar ordenadores para completar la vinculación de registros son reducir o eliminar la revisión manual y hacer que los resultados sean más fácilmente reproducibles. El cotejo por ordenador tiene las ventajas de permitir la supervisión central del procesamiento, un mejor control de calidad, rapidez, coherencia y una mejor reproducibilidad de los resultados.
Métodos
Preprocesamiento de datos La vinculación de registros es muy sensible a la calidad de los datos que se vinculan, por lo que todos los conjuntos de datos considerados (en particular sus campos de identificadores clave) deberían pasar preferentemente por una evaluación de calidad de datos antes de la vinculación de registros. Muchos identificadores clave de la misma entidad pueden presentarse de forma diferente entre los distintos conjuntos de datos (e incluso dentro de ellos), lo que puede dificultar considerablemente la vinculación de registros si no se comprende de antemano. Por ejemplo, los identificadores clave de un hombre llamado William J. Smith pueden aparecer en tres conjuntos de datos diferentes de la siguiente manera: +Conjunto de datosNombreFecha de nacimientoCiudad de residenciaConjunto de datos 1William J. Smith1/2/73Berkeley, CaliforniaConjunto de datos 2Smith, W. J.1973.1.2Berkeley, CAConjunto de datos 3Bill Smith2 de enero de 1973Berkeley, Calif. En este ejemplo, los diferentes estilos de formato dan lugar a registros que parecen diferentes pero que, de hecho, se refieren todos a la misma entidad con los mismos valores de identificador lógico. La mayoría de las estrategias de vinculación de registros, darían como resultado una vinculación más precisa si estos valores se normalizaran o estandarizaran primero en un formato coherente (por ejemplo, todos los nombres son "Apellido, Nombre", y todas las fechas son "AAAA/MM/DD"). La estandarización puede llevarse a cabo mediante simples transformaciones de datos basadas en reglas o procedimientos más complejos, como la tokenización basada en el léxico y los modelos probabilísticos de Markov. Varios de los paquetes enumerados en la sección de Implementaciones de Software ofrecen algunas de estas características para simplificar el proceso de normalización de datos.
Resolución de entidades La resolución de entidades es un proceso de inteligencia operativa, normalmente impulsado por un motor de resolución de entidades o un middleware, mediante el cual las organizaciones pueden conectar diversas fuentes de datos con la finalidad de comprender las posibles coincidencias de las entidades y las relaciones no evidentes que existen entre los múltiples silos de datos. Esta analiza toda la información relativa a los individuos y/o entidades de las distintas fuentes de datos y, a continuación, se aplica una puntuación de probabilidad para determinar qué identidades coinciden y qué relaciones no evidentes existen, si es que existen, entre esas identidades.
Los motores de resolución de entidades se utilizan normalmente para descubrir riesgos, fraudes y conflictos de intereses, pero también son herramientas útiles para su uso dentro de los requisitos de integración de datos de clientes (IDC) y gestión de datos maestros (GDM). Los usos típicos de los motores de resolución de entidades incluyen: la detección de terroristas, la detección de fraudes en los seguros, el cumplimiento de la Ley Patriota de EE.UU., la detección de redes de delincuencia organizada en el sector minorista y la selección de solicitantes.
Por ejemplo: A través de diferentes silos de datos - registros de empleados, datos de proveedores, listas de vigilancia, etc. - una organización puede tener varias variaciones de una entidad llamada ABC, que puede o no ser el mismo individuo. Estas entradas pueden, de hecho, aparecer como ABC1, ABC2 o ABC3 dentro de esas fuentes de datos. Al comparar las similitudes entre los atributos subyacentes, como la dirección, la fecha de nacimiento o el número de seguridad social, el usuario puede eliminar algunas posibles coincidencias y confirmar otras como muy probables.
Los motores de resolución de entidades aplican entonces reglas, basadas en la lógica del sentido común, para identificar relaciones ocultas en los datos. En el ejemplo anterior, quizá ABC1 y ABC2 no sean el mismo individuo, sino dos personas distintas que comparten atributos comunes, como la dirección o el número de teléfono.
Cotejo de datos Aunque las soluciones de resolución de entidades incluyen tecnología de correspondencia de datos, muchas ofertas de correspondencia de datos no se ajustan a la definición de resolución de entidades. Según John Talburt, director del Centro de Investigación Avanzada en Resolución de Entidades y Calidad de la Información de la UALR, hay cuatro factores que distinguen la resolución de entidades del cotejo de datos:
Trabaja tanto con registros estructurados como no estructurados, y conlleva el proceso de extracción de referencias cuando las fuentes son no estructuradas o semiestructuradas Utiliza elaboradas reglas de negocio y modelos conceptuales para tratar la información faltante, conflictiva y corrupta Utiliza información no coincidente, de enlace afirmado (asociado), además de la coincidencia directa Descubre relaciones no evidentes y redes de asociación (es decir, quién está asociado con quién).
A diferencia de los productos de calidad de datos, los motores de resolución de identidades más potentes también incluyen un motor de reglas y un proceso de flujo de trabajo, que aplican la inteligencia empresarial a las identidades resueltas y sus relaciones. Estas tecnologías avanzadas toman decisiones automatizadas y afectan a los procesos empresariales en tiempo real, limitando la necesidad de intervención humana.
Vinculación determinista de los registros
El tipo más sencillo de vinculación de registros, denominado vinculación de registros determinista o basada en reglas, genera vínculos basados en el número de identificadores individuales que coinciden entre los conjuntos de datos disponibles. Se dice que dos registros coinciden mediante un procedimiento de vinculación determinista de registros si todos o algunos identificadores (por encima de un determinado umbral) son idénticos. La vinculación determinista de registros es una buena opción cuando las entidades de los conjuntos de datos se identifican mediante un identificador común, o cuando hay varios identificadores representativos (por ejemplo, el nombre, la fecha de nacimiento y el sexo al identificar a una persona) cuya calidad de datos es relativamente alta.
A modo de ejemplo, consideremos dos conjuntos de datos estandarizados, el conjunto A y el conjunto B, que contienen diferentes datos sobre los pacientes de un sistema hospitalario. Los dos conjuntos de datos identifican a los pacientes mediante una serie de identificadores: Social Security Number (SSN), nombre, fecha de nacimiento (DOB), sexo y ZIP code (ZIP). A continuación se muestran los registros de dos conjuntos de datos (identificados por la columna "#"):
+Conjunto de datos#SSNNombreDOBSexoZIPConjunto A1000956723Smith, William1973/01/02Hombre947012000956723Smith, William1973/01/02Hombre947033000005555Jones, Robert1942/08/14Hombre947014123001234Sue, Mary1972/11/19Mujer94109Conjunto B1000005555Jones, Bob1942/08/142Smith, Bill1973/01/02Hombre94701