El Google Ngram Viewer, o Google Books Ngram Viewer es un buscador en línea que muestra un gráfico de la frecuencia de cualquier grupo de búsquedas con formato de texto delimitado por comas, utilizando el conteo anual de -grams encontrado en recursos impresos entre el año 1500 y el 2019"Quantitative analysis of culture using millions of digitized books", JB Michel et al, Science 2011, DOI: 10.1126/science.1199644. "Google Ngram Database Tracks Popularity Of 500 Billion Words", Huffington Post, 17 December 2010, webpage: HP8150 "Google Ngram Viewer - Google Books", Books.Google.com, May 2012, webpage: G-Ngrams "Google's Ngram Viewer: A time machine for wordplay", Cnet.com, 17 December 2010, webpage: CN93 "A Picture is Worth 500 Billion Words – By Rusty S. Thompson", HarrisburgMagazine.com, 20 September 2011, webpage: HBMag20. en el corpora de texto de Google en inglés, chino (simplificado), francés, alemán, hebreo, italiano, ruso o español."Google Books Ngram Viewer - University at Buffalo Libraries", Lib.Buffalo.edu, 22 August 2011, webpage: Buf497 También hay algunos corpora especializados en inglés, tales como inglés americano, inglés británico, inglés de ficción e “inglés un millón”; además la versión 2009 de la mayor parte de los corpora está también disponible.Google Books Ngram Viewer info page: https://books.google.com/ngrams/info
El programa es capaz de ejecutar búsquedas por palabra o por frase, incluyendo texto con errores ortográficos o texto sin sentido. Los n-grams son comparados con el texto en el corpus seleccionado, con la opción de ortografía case-sensitive (que compara el uso exacto de las mayúsculas y minúsculas), y, si se encuentran en 40 libros o más, se ilustran en un gráfico."Google Ngram Viewer - Google Books" (Information), Books.Google.com, December 16, 2010, webpage: G-Ngrams-info: notes bigrams and use of quotes for words with apostrophes.
El visualisador Google Ngram Viewer, , es compatible con búsquedas de Partes de la oración y comodines.
Historia El programa fue desarrollado por Jon Orwant y Will Brockman y publicado a mediados de diciembre del 2010. Fue inspirado por un prototipo (llamado “Bookworm”, o comelibros) creado por Jean-Baptiste Michel y Erez Aiden del Observatorio Cultural de Harvard, Yuan Shen del MIT y Steven Pinker.
Funcionamiento y restricciones Los términos de búsqueda provistos por el usuario son delimitados por comas que indican cada palabra o frase que se va a buscar. El Ngram Viewer presenta un gráfico lineal segundos después de que el usuario presione la Tecla Enter o el botón de “Buscar” en la pantalla.
Para tomar el cuenta el hecho de que una mayor cantidad de libros se han publicado en ciertos años, la data es normalizada, como nivel relative, por el número de libros publicados en cada año.
Google llenó la base de datos basándose en más de 5 millones de libros publicados hasta el 2008. Por tanto, a partir de enero de 2016, ningún dato será comparado con publicaciones posteriors al año 2008, sin importar si el corpus fue generado en el 2009 o el 2012. Debido a limitaciones sobre el tamaño de la base de datos Ngram, solo resultados que se correspondan con al menos 40 libros están indexados en la base de datos; sin esta restricción, la base de datos no podría archivar todas las posibles combinaciones.
En general, los términos de búsqueda no pueden terminar con ningún signo de puntuación, aunque un punto final separado sí se puede buscar. En adición, una entrada que termine en un signo de interrogación (por ejemplo, “qué?”) resultará en una búsqueda separada del signo de interrogación.
Omitir puntos en las abreviaturas permite una forma de correspondencia, por ejemplo utilizar "R M S" para buscar el término "R.M.S." en vez de "RMS".
Corpora El corpora utilizados por el buscador están compuestos por total_counts, 1-grams, 2-grams, 3-grams, 4-grams, and 5-grams archivos para cada idioma. El formato de cada archivo es tab-separated data. Cada línea tiene el siguiente formato
total_counts file year TAB match_count TAB page_count TAB volume_count NEWLINE Version 1 ngram file (generated in July 2009) ngram TAB year TAB match_count TAB page_count TAB volume_count NEWLINE Version 2 ngram file (generated in July 2012) ngram TAB year TAB match_count TAB volume_count NEWLINE
El Google Ngram Viewer usa match_count para producir el gráfico.
Por ejemplo, la palabra "Wikipedia" del archivo versión 2 del 1-grams en inglés esta archivada como:googlebooks-eng-all-1gram-20120701-w.gz at http://storage.googleapis.com/books/ngrams/books/datasetsv2.html ngramyearmatch_countvolume_countWikipedia190411Wikipedia1912111Wikipedia192411Wikipedia1925111Wikipedia1929111Wikipedia1943111Wikipedia1946111Wikipedia1947111Wikipedia1949111Wikipedia1951111Wikipedia1953222Wikipedia1955111Wikipedia195811Wikipedia1961222Wikipedia1964222Wikipedia1965111Wikipedia1966152Wikipedia1969333Wikipedia19701294Wikipedia1971444Wikipedia1972222Wikipedia197311Wikipedia197421Wikipedia1975333Wikipedia1976111Wikipedia1977133Wikipedia1978111Wikipedia197911212Wikipedia1980134Wikipedia1982111Wikipedia198332Wikipedia1984483Wikipedia1985373Wikipedia198664Wikipedia1987132Wikipedia1988143Wikipedia1990122Wikipedia199185Wikipedia199211Wikipedia199311Wikipedia1994233Wikipedia199541Wikipedia1996233Wikipedia199761Wikipedia19983210Wikipedia19993911Wikipedia20004312Wikipedia20015914Wikipedia200210519Wikipedia200314953Wikipedia2004803285Wikipedia20052964911Wikipedia200698182655Wikipedia2007200175400Wikipedia2008337226825
El gráfico de Google Ngram Viewer basado en los datos presentados arriba se encuentra aquí.
Críticas Los datos han sido criticados por su dependencia en la técnica de reconocimiento óptico de caracteres, o en inglés, OCR, por una abundancia desproporcional de literatura científica y por incluir un gran número de textos incorrectamente datados o categorizado.Google Ngrams: OCR and Metadata . ResourceShelf, 19 December 2010
Por estos errores, y porque no está controlada contra la parcialidad (por ejemplo el incremento en literatura científica que hace que la popularidad de otros términos baje), es arriesgado utilizar este corpus para estudios lingüísticos o para evaluar teorías. Dado que este recurso no incluye metadata, es posible que no refleje el cambio cultural o lingüístico general, aspecto sobre el cual sólo puede dar pistas.
Otro problema es que el corpus es en sí una biblioteca que contiene una copia de cada libro. Un solo autor prolífico puede entonces insertar una cantidad notable de nuevas frases en el vocabulario de Google Books, sean sus textos ampliamente leídos o no.
Problemas con OCR El reconocimiento óptico de caracteres (o en inglés, Optical character recognition, OCR), no siempre funciona de forma fiable, y algunos caracteres pueden ser identificados incorrectamente. En particular, errores sistemáticos como la confusión de la letra “s” y la “f” en textos previos al (dado el uso de la s larga) que tenía apariencia muy similar a la “f”) puede causar tendencias erróneas. Aunque el Ngram Viewer dice que los resultados son confiables para textos a partir del 1800, los problemas con el OCR y la insuficiencia de datos significan que para algunos idiomas, como el chino, las frecuencias son confiables sólo a partir del 1970, visto que las secciones previas del corpus no muestran ningún resultado aún para términos de búsqueda communes, y que los datos correspondientes a algunos años contienen más de 50% de ruido.Google n-grams and pre-modern Chinese. digitalsinology.org.When n-grams go bad. digitalsinology.org.
Véase también Google Trends
Referencias
Bibliografía
Enlaces externos
Categoría:Servicios de Google Categoría:Software de Google Categoría:Software de 2010 Categoría:Procesamiento de lenguaje natural Categoría:Reconocimiento de voz Categoría:Lingüística de corpus