The Pile es un conjunto de datos diverso de código abierto de 886,03 GB de texto en inglés creado como un conjunto de datos de entrenamiento para modelos grandes de lenguaje (LLM). Fue construido por EleutherAI en 2020 y lanzado públicamente el 31 de diciembre de ese año. Se compone de 22 conjuntos de datos más pequeños, incluidos 14 nuevos.

Creación La formación de LLM requiere cantidades de datos suficientemente grandes como para que, antes de la introducción de Pile, la mayoría de los datos utilizados para la formación de LLM se tomaran del Common Crawl . Sin embargo, los LLM capacitados en conjuntos de datos más diversos son más capaces de manejar una gama más amplia de situaciones después de la capacitación. La creación de Pile fue motivada por la necesidad de un conjunto de datos lo suficientemente grande que contuviera datos de una amplia variedad de fuentes y estilos de escritura. En comparación con otros conjuntos de datos, las principales características distintivas de Pile son que es una selección curada de datos elegidos por investigadores de EleutherAI para contener información que pensaban que los modelos de lenguaje deberían aprender y que es el único conjunto de datos de este tipo que está completamente documentado por los investigadores que lo desarrollaron.

Contenidos y filtrado Las inteligencias artificiales no aprenden todo lo que pueden a partir de los datos en la primera pasada, por lo que es una práctica común entrenar una IA con los mismos datos más de una vez en cada pasada por todo el conjunto de datos, lo que se denomina "época" (epoch). A cada uno de los 22 subconjuntos de datos que componen el Pile se le asignó un número diferente de épocas según la calidad percibida de los datos. La siguiente tabla muestra el tamaño relativo de cada uno de los 22 subconjuntos de datos antes y después de multiplicarlos por el número de épocas. Los números se han convertido a GB y se utilizan asteriscos para indicar los conjuntos de datos recién introducidos. +Subconjuntos de datos de The Pile Componente Tamaño original Épocas Tamaño efectivo Pile-CC 243,87GB 1 243,87GB PubMed Central * 96,93GB 2 193,86GB Books3 108,40GB 1.5 162,61GB OpenWebText2* 67,40GB 2 134,80GB arXiv * 60,36 GB 2 120,71GB GitHub * 102,18GB 1 102,18GB Free Law * 54,92GB 1.5 82,39GB Stack Exchange * 34,57GB 2 69,14GB Antecedentes de la USPTO * 24,59GB 2 49,19GB Resúmenes de PubMed * 20,68GB 2 41,37GB Gutenberg (PG-19) 11,68GB 2.5 29,20GB OpenSubtitles 13,94GB 1.5 20,91GB Wikipedia (edición en inglés) 6,85GB 3 20,54 GB Matemáticas de DeepMind 8,32 GB 2 16,63GB Registros IRC de Ubuntu Freenode * 5,93GB 2 11,84GB BookCorpus 2* 6,76 GB 1.5 10,15GB EuroParl 4,93GB 2 9,85GB Hacker News * 4,19GB 2 8,38GB Subtítulos de YouTube * 4,01 GB 2 8,02 GB PhilPapers * 2,56 GB 2 5,11GB ExPorter del NIH * 2,03 GB 2 4,07 GB Correos electrónicos de Enron 0,95GB 2 1,89GB Total 886,03GB 1346,69GB EleutherAI eligió los conjuntos de datos para tratar de cubrir una amplia gama de temas y estilos de escritura, incluida la escritura académica, con la que los modelos entrenados en otros conjuntos de datos tenían dificultades.

Todos los datos utilizados en Pile se tomaron de fuentes de acceso público. Luego, EleutherAI filtró el conjunto de datos en su conjunto para eliminar duplicados. Algunos subconjuntos de datos también se filtraron para control de calidad. En particular, Pile-CC es una versión modificada del Common Crawl en el que los datos se filtraron para eliminar partes que no son texto, como el formato HTML y los enlaces.

Algunos subconjuntos de datos potenciales se excluyeron por diversas razones, como el Registro del Congreso de EE. UU., que se excluyó debido a su contenido racista.

Dentro de los subconjuntos de datos que se incluyeron, los documentos individuales no se filtraron para eliminar texto que no estuviera en inglés, sesgado o profano. Tampoco se filtró sobre la base del consentimiento, lo que significa que, por ejemplo, Pile-CC tiene los mismos problemas éticos que el propio Common Crawl. Sin embargo, EleutherAI ha documentado la cantidad de prejuicios (por motivos de género, religión y raza) y malas palabras, así como el nivel de consentimiento otorgado para cada uno de los subconjuntos de datos, lo que permite a un investigador consciente de la ética utilizar solo esas partes. del Pile que cumplen con sus propios estándares.

Usos Pile se desarrolló originalmente para entrenar los modelos GPT-Neo de EleutherAI, pero se ha utilizado ampliamente para entrenar otros modelos, incluida la generación de lenguaje natural Megatron-Turing de Microsoft, Meta AI. Open Pre-trained Transformers, LLaMA, y Galactica, BioMedLM 2.7B de la Universidad de Stanford, Chinese-Transformer-XL de la Academia de Inteligencia Artificial de Beijing, y YaLM 100B de Yandex .

Además de usarse como conjunto de datos de entrenamiento, Pile también se puede usar como punto de referencia para probar modelos y calificar su desempeño en una variedad de estilos de escritura.

Eliminación de DMCA El componente Books3 del conjunto de datos contiene material protegido por derechos de autor compilado de Bibliotik, un sitio web pirata. En julio de 2023, Rights Alliance dio de baja copias de The Pile a través de avisos de DMCA.

Referencias

Enlaces externos

Sitio web de The Pile

Categoría:Modelos de lenguaje de gran tamaño