thumb|John Ioannidis (2005), "Por qué muchos de los trabajos de investigación son falsos La crisis de replicación (o crisis de replicabilidad o crisis de reproducibilidad) se refiere a una crisis metodológica en las ciencias causada por las dificultades encontradas por los investigadores para replicar los resultados de muchos de los experimentos científicos en investigaciones posteriores, bien por investigadores independientes o bien por los investigadores originales de estos estudios. Aunque la crisis ha estado presente a lo largo del tiempo, la frase fue acuñada a inicios de la década de 2010 como parte de una mayor concienciación sobre el problema. La crisis de replicación representa un tema de investigación importante en el campo de la metaciencia.
Considerando que la reproducibilidad de experimentos es una parte esencial del método científico, la incapacidad de replicar los estudios de otros investigadores tiene consecuencias potencialmente graves para muchos campos de la ciencia, lo que puede suponer el desmoronamiento de teorías significativas o que sean irreproducibles en su trabajo experimental.
La crisis de replicación ha sido particularmente discutida en psicología (y en particular, psicología social) y en medicina, donde se ha trabajado para reinvestigar resultados clásicos con el fin de determinar tanto la fiabilidad de los mismos, como, en caso de resultar inválidos, las razones del fracaso de la replicación.
General Según una encuesta realizada en 2016 a 1500 investigadores por la revista Nature, el 70% de ellos habían sido incapaces de reproducir al menos uno de los experimentos de otro científico (y el 50% no había logrado reproducir alguno de sus propios experimentos).
Estos números difieren entre disciplinas: Química: 90% (60%), Biología: 80% (60%), Física e ingeniería: 70% (50%), Medicina: 70% (60%), Tierra y ciencia de entorno: 60% (40%).
En 2009, el 2% de los científicos admitieron haber falsificado estudios al menos una vez y 14% admitieron saber personalmente de alguien que hubiera falsificado resultados. Estas malas prácticas han sido declaradas más frecuentemente por investigadores médicos que por otros.
Medicina Un análisis sobre 49 estudios médicos realizados entre 1990–2003 con más de 1000 citas mostró que en 45 de ellos se dice que la terapia estudiada era eficaz. Fuera de estos estudios, un 16% tenían resultados contradictorios con los subsiguientes estudios, un 16% presentó resultados aumentados sobre su efectividad y un 24% no pudo ser replicado. La FDA (Food and Drug Administration) de Estados Unidos estima errores entre el 10% y el 20% de los estudios médicos entre 1977–1990. En un artículo publicado en 2012, Glenn Begley, un asesor biotecnológico que trabaja en Amgen, y Lee Ellis, de la Universidad de Texas, argumentó que sólo el 11% de los preestudios de cáncer clínico podrían ser replicados.Begley, C. G., and Lee M. E., 2012, Drug Development: Raise Standards for Preclinical Cancer Research, Nature, 483, 531–533.Begley, C.G., 2013, Reproducibility: Six red flags for suspect work, Nature, 497, 433–434.
Un artículo de 2016 de John Ioannidis, Profesor de Medicina y de Investigación en Salud y política de la Universidad Stanford, argumentó sobre "por qué la mayor parte de la investigación clínica no es útil" ("Why Most Clinical Research Is Not Useful"). En el artículo, Ioannidis puso sobre la mesa algunos de los problemas y llamó a una reforma, aportando argumentos que permitieran realizar investigaciones clínicas útiles –un ejemplo era la necesidad de investigación en medicina centrada en el paciente (p. ej. en la forma del PCORI ) en vez de la práctica actual de, principalmente, prestar más atención a "las necesidades de médicos, investigadores y/o patrocinadores"–. Ioannidis es conocido por su énfasis en la ciencia en sí misma, desde su artículo publicado en 2005 "por qué la mayoría de los resultados publicados son falsos". ("Why Most Published Research Findings Are False")
Psicología Los fracasos de replicación no son únicos a la psicología y estos se han encontrado en todos los campos de la ciencia. Aun así, varios factores se han combinado para poner a la psicología en el centro de la controversia, especialmente en el área de psicología social, a pesar de que otras áreas de la psicología como la psicología clínica también han sido implicadas.
En primer lugar, prácticas de búsqueda cuestionable (QRPs) han sido identificadas como denominador común en el campo. Tales prácticas, mientras no son intencionadamente fraudulentas, implican caer en un área gris de prácticas científicas aceptables o explotan la flexibilidad en recolección de datos, análisis, e información, a menudo en un esfuerzo para obtener un resultado deseado. Ejemplos de QRPs son la inclusión selectiva de información o publicación parcial de datos (informando solo algunos de las condiciones de estudio o medidas dependientes recogidas en una publicación), parada opcional (escogiendo cuándo parar la recolección de datos, a menudo basándose en la importancia estadística de las pruebas), redondear valores p (redondeando valores abajo a .05 para sugerir importancia estadística), efecto de "cajón del archivo"(omitir la publicación de ciertos datos), post-hoc storytelling (enmarcando análisis exploratorios como análisis confirmatorios), y manipulación de los valores más extremos (sacando los valores límite o dejándolos en un conjunto de datos para causar una prueba estadística significativa). Una encuesta de encima 2,000 psicólogos indicaron que una mayoría de encuestadas admitió a utilizar al menos un QRP. Conclusiones positivas falsas, a menudo resultando de la presión para publicar o el sesgo de confirmación propia del autor, es una amenaza inherente en el campo, requiriendo un grado seguro de escepticismo en la parte de lectores.
En segundo lugar, la psicología y la psicología social en particular, se ha encontrado en el centro de varios escándalos que implican francamente investigación fraudulenta, más notablemente se ha admitido fabricación de datos por Diederik Stapel así como alegatos en contra otros. Aun así, la mayoría de los académicos reconocen aquel fraude es, quizás, la contribución menor a la crisis de replicación.
Tercero, varios efectos en ciencias psicológicas han sido encontrados como difíciles de replicar, incluso antes de la crisis de replicación actual. Por ejemplo, la revista científica Judgment and Decision Making ha publicado varios estudios sobre los años que falla en proporcionar soporte para la teoría del pensamiento inconsciente. Las replicaciones aparecen particularmente difíciles cuándo las pruebas de búsqueda son pre-registradas y la investigación conducida por grupos de investigación no involucrados afectan profundamente la teoría cuestionada.
Estos tres elementos juntos ha resultado en atención renovada para la replicación apoyada por Kahneman. El escrutinio de muchos efectos ha mostrado que varias creencias de núcleo son duras de replicar. Una edición especial reciente de la revista la psicología Social se centró en estudios de replicación y aseguró que las creencias fueron encontradas como difíciles de replicar. (enlace roto disponible en Internet Archive; véase el historial y la última versión). Una 2012 edición especial de las Perspectivas de revista en la ciencia Psicológica también centrada en los asuntos que varían de sesgo de publicación a null-aversión que contribuye a las crisis de replicación en psicología En 2015, el primer estudio empírico abierto de la reproducibilidad en Psicología fue publicado, llamado: Proyecto de Reproducibilidad.Table of Contents Investigadores alrededor del mundo colaboraron para replicar 100 estudios empíricos de tres revistas de Psicología. Menos de la mitad de las replicaciones fueron exitosas en reproducir resultados estadísticos significativos en la dirección esperada, aunque la mayoría de las replicaciones produjeron tendencias en la dirección deseada.
Índices de replicación en psicología Un informe por la Colaboración de Ciencia Abierta en agosto de 2015 aquello estuvo coordinado por Brian Nosek estimó la reproducibilidad de 100 estudios en ciencia psicológica de tres alto-ranking revistas de psicología. En general, 36% de las replicaciones cedieron hallazgos significativos (p valor abajo .05) comparó a 97% de los estudios originales que tuvo efectos significativos. La medida de efecto mala en las replicaciones era aproximadamente a medias la magnitud de los efectos informó en los estudios originales.
El mismo papel examinó los índices de reproducibilidad y medidas de efecto por la Revista de Personalidad y Psicología Social (JPSP), La revista de Psicología Experimental: Aprendizaje, Memoria, y Cognición (LMC), Ciencia Psicológica (PSCI) y disciplina (psicología social, psicología cognitiva). Índices de replicación del estudio eran 23% para JPSP, 38% para JEP:LMC, y 38% para PSCI. Estudios en el campo de psicología cognitiva tuvo un índice de replicación más alto (50%) que estudios en el campo de psicología social (25%).
Un análisis de la historia de publicación en la parte superior 100 revistas de psicología entre 1900 y 2012 indicó que aproximadamente 1.6% de todas publicaciones de psicología eran intentos de replicación . Los artículos estuvieron considerados un intento de replicación si la replicación "de plazo" aparecida en el texto. Un subconjunto de aquellos estudios (500 estudios) era aleatoriamente seleccionado para examen más lejano y cedió un índice de replicación más bajo de 1.07% (342 de los 500 estudios [68.4%] era de hecho replicaciones). En el subconjunto de 500 estudios, el análisis indicó que 78.9% de intentos de replicación publicada eran exitosos. El índice de replicación exitosa era significativamente más alto cuándo al menos un autor del estudio original era parte del intento de replicación (91.7% relativo a 64.6%).
Un dilema social Destacando la estructura social que desalienta replicación en psicología, Brian D. Earp y Jim Un. C. Everett enumeraron cinco puntos explicando por qué los intentos de replicación son infrecuentes:see also Earp and Trafimow, 2015
"Las replicaciones directas e independientes de los hallazgos de otros pueden llevar mucho tiempo para el investigador que hace la replicación. Es probable que las replicaciones roben energía y recursos directamente de otros proyectos que reflejan los pensamientos originales de uno mismo. Son generalmente más duras de publicar (en gran parte porque están vistas como sin originalidad). Incluso si son publicadas, es probable que sean vistas como ejercicios de 'albañilería', más que contribuciones importantes en el campo; y por tanto; Dan menos reconocimiento y recompensa, e incluso seguridad básica de carrera, a sus autores"
Por estas razones los autores defienden que la psicología está frente a un dilema social disciplinario, donde los intereses de la disciplina se contraponen con el interés del investigador individual.
Marketing El marketing es otra disciplina con una "necesidad desesperada para replicación". Además de argumentos anteriormente mencionados, el estudios de replicaciones en marketing están necesitados para examinar la aplicabilidad de teorías y modelos a través de países y culturas, el cual es especialmente importante debido a influencias posibles de globalización.
Causas de la crisis En un trabajo publicado en 2015 Glenn Begley y John Ioannidis se ofrecen cinco ideas de fuerza cuando se resume este problema:
Generación de publicaciones y datos a un ritmo sin precedentes Contrastando evidencia que para la mayoría de estos descubrimientos no serán persistentes en el tiempo. Causas: fracaso de adherir a práctica científica buena y el desesperación por "publish or perish" publicar o perecer. Esto es un fenómeno multifacetico y de múltiples partes involucradas. Ninguna parte por sí sola es responsable, y ninguna solución única bastará.