miniaturadeimagen|Un gráfico de flujo que muestra las decisiones creadas por un motor de recomendación, circa 2001. El sesgo algorítmico ocurre cuando un sistema informático refleja los valores de los humanos que están implicados en la codificación y recolección de datos usados para entrenar el algoritmo. El sesgo algorítmico se puede encontrar en todos lados, como en los resultados de los motores de búsqueda o en las redes sociales y pueden tener un gran impacto en temas como la privacidad o agravar sesgos sociales como los existentes respecto a razas, género, sexualidad o etnias. El estudio del sesgo algorítmico esta enfocado sobre todo en algoritmos que reflejan "discriminación sistemática e injusta". Este tipo de sesgos han empezado a ser tenidos en cuenta en marcos legales recientemente, como el Control de Protección de Datos Generales de la Unión Europea en 2018.

Tan pronto como los algoritmos expanden su capacidad de organizar la sociedad, la política, las instituciones, y el comportamiento, los sociólogos han empezado a preocuparse con las maneras en que los resultados no previstos y la manipulación de datos pueden impactar el mundo físico. Como los algoritmos son a menudo considerados neutros y sin sesgos, puede parecer que son mejores que los propios humanos, y en algunos casos, relevar trabajo en un algoritmo puede reducir el control humano sobre los resultados. Los sesgos pueden repercutir en los algoritmos teniendo como origen influencias culturales, sociales, o institucionales; debido a limitaciones técnicas de su diseño; o por ser utilizado en contextos no esperados en un principio o por usuarios que no se habían considerado en el diseño inicial del software.

Los sesgos algorítmicos han afectado a temas como los resultados de las elecciones. Los problemas de comprensión, investigación, y descubrimiento de sesgos en los algoritmos provienen de la naturaleza de estos, ya que los propietarios no suelen dejar acceder a su implementación, y aunque fuera así, muchas veces son demasiado complejos para entender cómo funcionan. Además, los algoritmos pueden cambiar, o responder a diferentes entradas de maneras que no pueden ser previstas o fácilmente reproducidas para su análisis. En muchos casos, incluso dentro de un solo sitio web o aplicación, no hay un solo algoritmo para examinar, si no un conjunto de procesos y entradas de datos interrelacionados.

Definiciones miniaturadeimagen|Un esquema de 1969 sobre cómo un programa de ordenador sencillo realiza decisiones, ilustrando un algoritmo muy básico. Los algoritmos son difíciles de definir, pero se pueden entender como conjuntos de instrucciones dentro de un ordenador que determinan cómo estos programas leen, recogen, procesan, y analizan datos para generar una salida legible. Los ordenadores más nuevos pueden procesar millones de estas instrucciones algorítmicas por segundo, lo cual ha impulsado el diseño y adopción de tecnologías como machine learning e inteligencia artificial. Analizando y procesando datos, los algoritmos son el corazón de los motores de búsqueda, redes sociales, motores de recomendación, venta al detalle en línea, publicidad en línea, y otros.

Los científicos sociales contemporáneos están preocupados con procesos algorítmicos incluidos en el hardware y  software debido a su impacto político y social, y cuestionan la suposición de que un algoritmo es neutral. El término sesgo algorítmico describe errores sistemáticos y repetidos que crean resultados injustos, como dar privilegios a un grupo de usuarios por encima otros de forma arbitraria. Por ejemplo, un algoritmo de puntuación de crédito puede negar un préstamo sin ser injusto, si se fija únicamente en criterios financieros pertinentes. Si el algoritmo recomienda préstamos a un grupo de usuarios, pero niega préstamos a otro conjunto de usuarios casi idénticos basándose en criterios no relacionados, y si este comportamiento se puede repetir en distintas ocasiones, se puede decir que es un algoritmo con sesgos. Estos sesgos pueden ser intencionados o involuntarios.

Métodos El sesgo puede ser introducido a un algoritmo de varias maneras. Durante el montaje de una base de datos, el dato tiene que ser recogido, digitalizado, adaptado, e introducido según un diseño humano. Luego, los programadores asignan prioridades, o jerarquías, sobre cómo un programa evalúa y ordena los datos. Esto requiere decisiones humanas sobre cómo el dato es categorizado, y qué dato es incluido o descartado. Algunos algoritmos recogen sus propios datos basados en  criterios de selección humanos, los cuales también pueden reflejar sesgos de los diseñadores. Otros algoritmos pueden reforzar estereotipos y preferencias cuando procesan y muestran datos relevantes para los humanos, por ejemplo, al seleccionar información basada en elecciones anteriores de un usuario o grupo de usuarios similares.

Más allá de reunir y procesar datos, los sesgos pueden surgir como resultado del diseño. Por ejemplo, algoritmos que usan ordenación en los datos, aquellos que determinan la asignación de recursos o escrutinio, o los que clasifican e identifican usuarios, los cuales pueden discriminar a un grupo cuándo calculan el riesgo basado en datos de usuarios similares. Por otro lado, los motores de recomendación que asocian a los usuarios con otros usuarios similares, o que infieren diferentes rasgos, podrían confiar en datos inexactos que reflejan estereotipos étnicos,de género, socioeconómicos, o raciales. Otro ejemplo surgiría de determinar los criterios que dicen que incluir y excluir de los resultados. Estos criterios podrían provocar resultados inesperados en las búsquedas, como un software de recomendaciones de compañías de vuelos  que omite los vuelos de compañías que no se patrocinan igual que el resto. Los algoritmos también pueden mostrar un sesgo de incertidumbre, ofreciendo valoraciones más seguras cuándo los conjuntos de datos son más grandes. Esto puede afectar a procesos algorítmicos que analizan muestras muy grandes, que hacen se ignoren los datos de poblaciones poco representadas.

Historia

Críticas iniciales miniaturadeimagen|Esta tarjeta era usada para cargar software en una antigua unidad central. Cada byte (la letra 'A', por ejemplo) es introducido perforando agujeros. Aunque los ordenadores actuales son más complejos, reflejan este proceso humano de toma de decisiones al recopilar y procesar datos. Los primeros programas de ordenador fueron diseñados para imitar el razonamiento y las deducciones humanas, y se consideró que funcionaban cuando llegaron a reproducir esa lógica humana de manera exitosa y consistente. En su libro de 1976 (Computer Power and Human Reason), el pionero de la Inteligencia Artificial Joseph Weizenbaum sugirió que el sesgo podría surgir tanto de los datos utilizados en un programa como de la forma en que se implementa un programa.

Weizenbaum describió los programas como secuencias de reglas creadas por humanos para que las siga una computadora. Al seguir esas reglas consistentemente, tales programas "encarnan la ley", es decir, hacen cumplir una forma específica de resolver problemas. Las reglas que sigue una computadora se basan en las suposiciones de un programador sobre cómo se pueden resolver estos problemas. Esto significa que el código podría incorporar la imaginación del programador y sus ideas de cómo funciona el mundo, incluyendo sus prejuicios y expectativas. Mientras que un programa puede incorporar prejuicios de esta manera, Weizenbaum también señaló que cualquier dato alimentado a una máquina refleja adicionalmente los "procesos humanos de toma de decisiones" a medida que se van seleccionando los datos.

Finalmente, señaló que las máquinas también podrían transmitir buena información con consecuencias imprevistas si los usuarios no tienen claro cómo interpretar los resultados. Weizenbaum advirtió en contra de confiar en las decisiones tomadas por los programas que el usuario no entiende, comparando esa fe con la de un turista que puede encontrar su camino a una habitación de un hotel girando a la izquierda o a la derecha jugando a cara o cruz. El turista no tiene base para entender cómo o por qué llegó a su destino, y el hecho de llegar no significa que el proceso sea preciso o confiable.

Uno de los primeros ejemplos de sesgo algorítmico resultó en que hasta 60 mujeres y personas pertenecientes a minorías étnicas se les negara la entrada a la Escuela de Medicina del Hospital St. George's cada año entre 1982 y 1986, basado en la implementación de un nuevo sistema de evaluación por ordenador que negaba la entrada a mujeres y hombres con "nombres que suenan extranjeros" basándose en las tendencias históricas de las admisiones.

Críticas actuales y respuestas Pese a que los algoritmos bien diseñados frecuentemente determinan resultados que son igualmente (o más) equitativos que las decisiones de seres humanos, aún ocurren casos de sesgo, y son difíciles de predecir y analizar. La complejidad de analizar el sesgo algorítmico ha crecido a la vez que la complejidad de los programas y su diseño. Las decisiones que hace un diseñador o un equipo de diseñadores pueden ser oscurecidas entre las muchas partes de código creadas para un solo programa; a lo largo del tiempo estas decisiones y su impacto colectivo en la salida del programa se puede olvidar. En teoría, estos sesgos pueden crear nuevos patrones de conducta, o “scripts”, en relación con tecnologías específicas según el código interactúa con otros elementos de la sociedad. Los sesgos también pueden afectar cómo la sociedad se forma alrededor de puntos de datos que los algoritmos requieren. Por ejemplo, si los datos muestran un gran número de arrestos en una zona particular, un algoritmo podría asignar más patrullas de policía a esa zona, lo que puede llevar a más arrestos.

Las decisiones de programas algorítmicos pueden verse como más autoritativas que las decisiones de los seres humanos que se supone que asisten, un proceso descrito por el escritor Clay Shirky como “autoridad algorítmica”. Shirky usa el término para describir “la decisión de considerar como autoritativo un proceso no gestionado de extraer valor de fuentes diversas y poco fiables”, como los resultados de búsqueda. Esta neutralidad también puede malinterpretarse por el lenguaje usado por los expertos y los medios de comunicación cuando los resultados son presentados al público. Por ejemplo, una lista de noticias seleccionada y presentada como “de moda” o “popular” puede ser creada basándose en criterios bastante más amplios que su popularidad.

Por su conveniencia y autoridad, los algoritmos son teorizados como un medio de delegar la responsabilidad lejos de los humanos. Esto puede tener el efecto de reducir opciones alternativas, compromisos o flexibilidad. El sociólogo Scott Lash ha criticado los algoritmos como una nueva forma de “poder generativo”, dado que son un medio virtual de generar fines reales. Donde previamente el comportamiento humano generaba datos para ser recogidos y estudiados, los algoritmos potentes podrían dar forma y definir los comportamientos humanos.

Las preocupaciones sobre el impacto de los algoritmos en la sociedad han llevado a la creación de grupos de trabajo en organizaciones como Google y Microsoft, las cuales han cocreado un grupo de trabajo llamado Fairness, Accountability and Transparency in Machine Learning. Entre algunas ideas de Google se incluyen comunidades que patrullan los resultados de algoritmos y votan por controlar o restringir los resultados que consideran que tienen consecuencias negativas. En los últimos años, el estudio de Fairness, Accountability and Transparency (FAT) de los algoritmos ha surgido como un área interdisciplinaria de investigación con una conferencia anual llamada FAT.

Tipos

Preexistente