Perceptrons: An Introduction to Computational Geometry (en español, Perceptrones: una introducción a la geometría computacional) es un libro escrito por Marvin Minsky y Seymour Papert y publicado en 1969. A principios de la década de 1970 se publicó una edición con correcciones y adiciones a mano. Después del resurgimiento de las redes neuronales se publicó una edición ampliada (ISBN 9780262631112), que contiene un capítulo dedicado a contrarrestar las críticas que se le hicieron en la década de 1980.
El tema principal del libro es el perceptrón, un tipo de red neuronal artificial desarrollada a finales de la década de 1950 y principios de la de 1960. El libro fue dedicado al psicólogo Frank Rosenblatt, quien en 1957 publicó el primer modelo de un "Perceptrón". Rosenblatt y Minsky se conocían desde la adolescencia, habiendo estudiado con un año de diferencia en la Bronx High School of Science. En un momento dado, se convirtieron en figuras centrales de un debate dentro de la comunidad de investigación de IA, y se sabe que promovieron animadas discusiones en conferencias, aunque mantuvieron una relación amistosa.
Este libro es el centro de una controversia de larga data en el estudio de la inteligencia artificial. Se afirma que las predicciones pesimistas de los autores fueron responsables de un cambio en la dirección de la investigación en IA, concentrando los esfuerzos en los llamados sistemas "simbólicos", una línea de investigación que se estancó y contribuyó al llamado invierno de la IA de la década de 1980, cuando la promesa de la IA no se cumplió.
El punto clave de Perceptrons reside en una serie de demostraciones matemáticas que reconocen algunas de las fortalezas de los perceptrones, al tiempo que muestran importantes limitaciones. La más importante se relaciona con el cálculo de algunos predicados, como la función XOR, y también el importante predicado de conectividad. El problema de la conectividad se ilustra en la portada del libro, de colores poco convencionales, con el fin de mostrar las dificultades que los propios humanos tienen para calcular este predicado. Un crítico, Earl Hunt, señaló que la función XOR también resulta difícil de adquirir para los humanos durante los experimentos de aprendizaje de conceptos.
Historia de la publicación Cuando Papert llegó al MIT en 1963, decidieron, junto con Minsky, escribir un análisis teórico de las limitaciones de los perceptrones. Les tomó hasta 1969 terminar de resolver los problemas matemáticos que surgieron inesperadamente durante la escritura. La primera edición se imprimió en 1969. Para la segunda impresión de 1972 los autores realizaron modificaciones a mano. Las notas manuscritas incluyen algunas referencias a las reseñas de la primera edición.
En 1988 se publicó una "edición ampliada" que añade un prólogo y un epílogo para analizar el resurgimiento de las redes neuronales en la década de 1980, pero sin nuevos resultados científicos. En 2017 se reimprimió la edición ampliada, con un prólogo de Léon Bottou que analiza el libro desde la perspectiva de alguien que trabaja en aprendizaje profundo .
Antecedentes El perceptrón es una red neuronal desarrollada por el psicólogo Frank Rosenblatt en 1958 y es una de las máquinas más famosas de su época. En 1960, Rosenblatt y sus colegas demostraron que el perceptrón podía aprender, en un número finito de ciclos de entrenamiento, cualquier tarea que sus parámetros pudieran representar. El teorema de convergencia del perceptrón se demostró para redes neuronales de una sola capa.
Durante este período, la investigación en redes neuronales fue un enfoque importante para el problema cerebro-máquina, adoptado por un número significativo de personas. Informes del New York Times y declaraciones de Rosenblatt afirmaban que las redes neuronales pronto podrían ver imágenes, vencer a los humanos en ajedrez y reproducirse. Al mismo tiempo, surgieron otros enfoques nuevos, incluida la IA simbólica. Diferentes grupos se encontraron compitiendo por financiación y personal, y su demanda de potencia de cálculo superó con creces la oferta disponible.
Contenido Perceptrons: An Introduction to Computational Geometry es un libro de trece capítulos agrupados en tres secciones. Los capítulos 1 al 10 presentan la teoría de los perceptrones de los autores mediante demostraciones, el capítulo 11 trata sobre el aprendizaje, el capítulo 12 aborda problemas de separación lineal y el capítulo 13 analiza algunas de las ideas de los autores sobre perceptrones simples y multicapa y el reconocimiento de patrones.
Definición de perceptrón Minsky y Papert tomaron como objeto de estudio las versiones abstractas de una clase de dispositivos de aprendizaje que denominaron perceptrones, "en reconocimiento al trabajo pionero de Frank Rosenblatt". Estos perceptrones eran formas modificadas de los perceptrones introducidos por Rosenblatt en 1958. Consistían en una retina, una sola capa de funciones de entrada y una sola salida.
Además, los autores restringieron el "orden" o número máximo de conexiones entrantes de sus perceptrones. El sociólogo Mikel Olazaran explica que Minsky y Papert "sostenían que el interés de la computación neuronal provenía del hecho de que era una combinación paralela de información local ", que, para ser efectiva, debía ser un cálculo simple. Para los autores, esto implicaba que "cada unidad de asociación podía recibir conexiones solo de una pequeña parte del área de entrada". Minsky y Papert denominaron a este concepto "localidad conjuntiva".
Paridad y conectividad Dos ejemplos principales analizados por los autores fueron la paridad y la conectividad. La paridad implica determinar si el número de entradas activadas en la retina de entrada es impar o par, y la conectividad se refiere al problema figura-fondo . Minsky y Papert demostraron que el perceptrón de una sola capa no podía calcular la paridad bajo la condición de localidad conjuntiva (Teorema 3.1.1), y mostraron que el orden requerido para que un perceptrón calcule la conectividad aumentaba con el tamaño de la entrada (Teorema 5.5).
El asunto XOR Algunos críticos del libro afirman que los autores dan a entender que, dado que una sola neurona artificial es incapaz de implementar algunas funciones como la función lógica XOR, las redes más grandes también tienen limitaciones similares y, por lo tanto, deberían descartarse. La investigación sobre perceptrones de tres capas mostró cómo implementar tales funciones. Rosenblatt en su libro demostró que el "perceptrón elemental" con un número a priori ilimitado de elementos A (neuronas) de la capa oculta y una neurona de salida puede resolver cualquier problema de clasificación. (Teorema de existencia.) Minsky y Papert utilizaron perceptrones con números restringidos de entradas de los elementos A de la capa oculta y una condición de localidad: cada elemento de la capa oculta recibe las señales de entrada de un círculo pequeño. Estos perceptrones restringidos no pueden definir si la imagen es una figura conectada o si el número de píxeles en la imagen es par (el predicado de paridad).
Hay muchos errores en esta historia. Aunque, de hecho, una sola neurona solo puede calcular un pequeño número de predicados lógicos, era ampliamente conocido que las redes de tales elementos pueden calcular cualquier función booleana posible. Esto era conocido por Warren McCulloch y Walter Pitts, quienes incluso propusieron cómo crear una máquina de Turing con sus neuronas formales (Sección III de ), se menciona en el libro de Rosenblatt, se menciona en un artículo típico de 1961 (Figura 15), e incluso se menciona en el libro Perceptrones. Minsky también utiliza ampliamente neuronas formales para crear computadoras teóricas simples en el Capítulo 3 de su libro Computation: Finite and Infinite Machines.
En la década de 1960 se estudió un caso especial de la red perceptrón como "lógica de umbral lineal", para aplicaciones en circuitos lógicos digitales. La teoría clásica se resume en según Donald Knuth. En este caso especial, el aprendizaje del perceptrón se denominó "Síntesis de elemento de umbral único por iteración", y la construcción de una red perceptrón se denominó "Síntesis de red". Otros nombres incluyeron lógica linealmente separable, lógica de entrada lineal, lógica de umbral, lógica de mayoría y lógica de votación . El hardware para realizar la lógica de umbral lineal incluyó núcleo magnético, transistor-resistencia, parametron, diodo túnel-resistencia y relé de bobina múltiple. También hubo estudios teóricos sobre los límites superior e inferior del número mínimo de unidades perceptrón necesarias para realizar cualquier función booleana.
Lo que el libro demuestra es que en los perceptrones de alimentación directa de tres capas (con una capa denominada "oculta" o "intermedia"), no es posible calcular ciertos predicados a menos que al menos una de las neuronas de la primera capa (la capa "intermedia") esté conectada con un peso no nulo a cada una de las entradas (Teorema 3.1.1, reproducido a continuación). Esto contradecía la esperanza de algunos investigadores al basarse principalmente en redes con pocas capas de neuronas "locales", cada una conectada solo a un pequeño número de entradas. Una máquina de alimentación directa con neuronas "locales" es mucho más fácil de construir y usar que una red neuronal más grande y completamente conectada, por lo que los investigadores de la época se concentraron en estas en lugar de en modelos más complicados.
Algunos otros críticos, en particular Jordan Pollack, señalan que lo que era una pequeña prueba sobre un problema global (la paridad) que no era detectable por detectores locales fue interpretado por la comunidad como un intento bastante exitoso de enterrar toda la idea.
Crítica de los perceptrones y sus extensiones En el prólogo y el epílogo, añadidos a la edición de 1988, los autores reaccionan al resurgimiento de las redes neuronales en la década de 1980 al analizar las redes neuronales multicapa y los perceptrones Gamba. Por "perceptrones Gamba" se referían a máquinas perceptronas de dos capas donde la primera capa también está compuesta por unidades perceptronas ("máscaras Gamba"). En contraste, la mayor parte del libro analiza perceptrones de dos capas donde la primera capa está compuesta por unidades booleanas. Conjeturan que las máquinas Gamba requerirían "una enorme cantidad" de máscaras Gamba y que las redes neuronales multicapa son una extensión "estéril". Además, señalan que muchos de los problemas "imposibles" para los perceptrones ya se habían resuelto utilizando otros métodos.
La máquina perceptrón de Gamba era similar a la de Rosenblatt. Su entrada era una imagen. Esta imagen se procesaba en paralelo mediante máscaras binarias (generadas aleatoriamente). Detrás de cada máscara había un fotorreceptor que se activaba si la imagen, tras el enmascaramiento, era lo suficientemente brillante. La segunda capa estaba compuesta por unidades perceptrón estándar.
Afirmaron que la investigación sobre perceptrones decayó en la década de 1970 no por su libro, sino por problemas inherentes: ninguna máquina de aprendizaje basada en perceptrones podía realizar la asignación de créditos mejor que la regla de aprendizaje de perceptrones de Rosenblatt, y los perceptrones no pueden representar el conocimiento necesario para resolver ciertos problemas.