Un estudio publicado en Science Magazine trató de replicar 100 estudios publicados en revistas psicológicas especializadas. De estos, solamente 36% mostró resultados consistentes con los descubrimientos originales. Según los investigadores, reproducir los descubrimientos supuestamente encontrados no sólo debería ser parte de la práctica científica en todos los campos, sino que permitiría que la ciencia y los editores de publicaciones científicas no se dejen llevar por análisis de moda, los cuales a veces no pueden replicarse con éxito.
Más de 270 investigadores alrededor del mundo participaron en la recreación de los estudios, asesorados a menudo por los autores originales. Se dejaron fuera de la muestra unos 50 estudios más, para los que no se tenían las condiciones apropiadas de reproducibilidad. Discutieron los métodos y los detalles, tratando de comprender la investigación a fondo. Pero en muchas ocasiones encontraron que los factores culturales locales, las condiciones específicas de la primera investigación y una enorme cantidad de variables hacían imposible replicar los resultados originales.
Por ejemplo: al recrear un estudio sobre agresividad en Alemania, los investigadores de la reproducibilidad se dieron cuenta de que la percepción de agresividad en el trato social se mide con parámetros muy distintos que en Estados Unidos, donde la gente percibe como agresivas ciertas conductas que no lo serían para un alemán y viceversa.
A decir de los investigadores, "una gran porción de las reproducciones hechas mostraron evidencias mucho más débiles de los primeros descubrimientos, a pesar del uso de materiales proporcionados por los autores originales, de la revisión por adelantado de la fidelidad metodológica, y del alto poder estadístico de detectar el tamaño de los efectos originales".
En otras palabras, más de la mitad de las investigaciones que se trataron de replicar mostraron resultados diferentes a los publicados originalmente. Según los investigadores, esto se debe al hambre de novedad en la comunidad científica, innovaciones que, sin embargo, "pronto se vuelven noticias viejas". Y es que "la innovación indica rutas posibles; la reproducibilidad indica rutas probables, y el progreso depende de ambas".
Las recomendaciones van encaminadas a generar nuevos mecanismos de verificación para aquello que supuestamente "ya sabemos que sabemos" y coloca un acento importante en la reproducibilidad de las evidencias científicas en lugar de darlas por sentado, con lo que verdades a medias serían tomadas como puntos de partida de futuros estudios. Es decir, la publicación en revistas científicas no es garantía de verdad absoluta, y un marco científico que comprenda y aplique esta evidencia dentro de sus propias prácticas permitirá que lo que leemos y aprendemos sea una verdad científica, en vez de una verdad simplemente "publicada en una revista científica".