Un estudio publicado, con gráficas y miles de participantes, todavía puede responder una pregunta distinta de la que tu decisión necesita.
Evaluar evidencia no es contar credenciales ni buscar un “estudio que confirme”. Es examinar diseño, medición, sesgos, tamaño del efecto, causalidad, contexto y transparencia antes de convertir una investigación en argumento o acción.
Objetivo didáctico
Al terminar esta ficha serás capaz de evaluar críticamente estudios, informes y evidencia utilizada en decisiones profesionales, diferenciando asociación de causalidad y argumentando con fuentes de calidad y límites explícitos.
Introducción
Las organizaciones reciben evidencia en formatos muy distintos: artículos académicos, encuestas internas, benchmarks, reportes de consultoría, estudios de mercado, experimentos A/B y análisis de proveedores. El error común es tratarlos como piezas equivalentes porque todos contienen números.
El diseño del estudio determina qué pregunta puede responder. Un experimento puede aportar evidencia causal bajo ciertas condiciones; una encuesta describe respuestas; un estudio longitudinal puede mostrar secuencias y asociaciones; una revisión sistemática integra múltiples estudios.
Pero el diseño no basta. Un experimento pequeño, mal medido o con mucha pérdida de participantes puede ser menos útil que un buen estudio observacional para una pregunta concreta. Cochrane recomienda valorar también riesgo de sesgo, inconsistencia, imprecisión, indirectitud y sesgo de publicación.
En el trabajo, la meta no es convertirse en metodólogo. Es adquirir suficientes preguntas de control para evitar que una cifra espectacular, una marca conocida o un gráfico convincente sustituyan el análisis.
📐 Concepto: fuerza de evidencia
Grado de confianza que merece una conclusión considerando diseño, ejecución, medición, consistencia, tamaño del efecto, sesgos y pertinencia para la pregunta concreta.
Desarrollo del tema
Tipos de estudio y nivel de evidencia
Los estudios descriptivos muestran qué ocurre. Los observacionales comparan exposiciones o grupos sin asignarlos experimentalmente. Los ensayos aleatorizados manipulan una intervención y utilizan azar para reducir diferencias sistemáticas entre grupos. Las revisiones sistemáticas sintetizan un cuerpo de estudios mediante métodos explícitos.
Una jerarquía puede servir como orientación para preguntas de intervención, pero no debe convertirse en dogma. Cochrane advierte que la certeza depende también de limitaciones metodológicas, indirectitud, heterogeneidad, imprecisión y sesgo de publicación.
En 2000, Concato y colegas compararon resultados de estudios observacionales y ensayos aleatorizados en cinco temas clínicos y encontraron que los observacionales bien diseñados no sobreestimaban sistemáticamente los efectos. El hallazgo ayudó a cuestionar lecturas demasiado rígidas de las jerarquías.
En una organización, un ensayo A/B puede ser excelente para comparar dos mensajes, pero inútil para comprender por qué un cliente abandona un servicio. La mejor evidencia depende también de la pregunta.
La posición orienta; la calidad real y la pregunta pueden modificar la confianza.
Cómo leer artículos e informes sin perderse
Comienza por la pregunta y el método antes de mirar la conclusión. ¿Qué población se estudió? ¿Cómo se seleccionó? ¿Qué se comparó? ¿Cómo se midió el resultado? Esas cuatro preguntas suelen revelar más que una lectura rápida del resumen ejecutivo.
Después revisa magnitud e incertidumbre. “Estadísticamente significativo” no significa necesariamente importante. Una mejora de 0.5% puede ser real y al mismo tiempo irrelevante para una decisión operativa.
También importa la pérdida de participantes o datos. Si un estudio inicia con 1,000 personas pero analiza 430 y no explica bien el resto, existe una pregunta seria sobre quién quedó fuera y cómo podría alterar el resultado.
En un informe empresarial, busca denominadores. “Las ventas crecieron 30%” cambia de significado si la base eran 10 ventas mensuales o 10,000. Un porcentaje sin escala puede exagerar o esconder importancia.
Si eliminas la conclusión del autor, ¿los datos y el diseño te llevarían por sí mismos a una interpretación parecida?
Sesgo de publicación, financiamiento y selección de resultados
El sesgo de publicación aparece cuando la probabilidad de que un estudio se publique depende de su resultado. Esto distorsiona el conjunto visible de evidencia: las investigaciones con resultados llamativos pueden quedar sobrerrepresentadas.
Una revisión de Cochrane encontró evidencia de que estudios con resultados positivos tenían mayor probabilidad de publicación; en el análisis resumido, la razón de riesgo fue aproximadamente 1.78 frente a resultados negativos. Eso significa que “lo que está publicado” puede no ser todo lo que se investigó.
El financiamiento no invalida automáticamente un estudio, pero crea un interés que debe declararse. La pregunta útil es si patrocinadores participaron en diseño, análisis, acceso a datos o decisión de publicación.
En informes de consultoría aparece otro riesgo: seleccionar indicadores que apoyan una narrativa comercial. Antes de utilizar un estudio como evidencia para comprar una solución, revisa quién definió la pregunta y si el informe permite examinar metodología y resultados completos.
Clasifica la señal: “El informe fue financiado por la empresa que vende la solución, pero publica metodología y datos principales”.
Correlación, causalidad y explicaciones alternativas
Dos variables correlacionadas pueden relacionarse porque A causa B, B causa A, una tercera variable influye en ambas o la asociación surge parcialmente por azar o sesgo de medición. El patrón por sí mismo no elige entre estas explicaciones.
La temporalidad es necesaria para causalidad: la causa debe preceder al efecto. Pero que A ocurra antes que B tampoco basta. Después de una capacitación pueden mejorar ventas porque comenzó temporada alta, cambió el territorio o entró un producto nuevo.
En 1965, Austin Bradford Hill propuso consideraciones para razonar sobre causalidad, como temporalidad, fuerza, consistencia, plausibilidad y gradiente. No son una lista mecánica de requisitos, sino preguntas para examinar un cuerpo de evidencia.
En el trabajo conviene formular la frase con precisión: “X está asociado con Y en esta muestra” cuando eso es lo que el diseño permite. Reservar “X produjo Y” para evidencia causal más sólida mejora la calidad de los argumentos.
💫 La evidencia más “alta” en una jerarquía puede ser poco útil si responde otra pregunta.
Calidad metodológica, pertinencia y capacidad causal deben evaluarse juntas; el nombre del diseño no sustituye la lectura crítica.
Usar evidencia en argumentos y leer estudios de consultoría
Citar evidencia exige conectar fuente y afirmación. Una referencia no debe funcionar como decoración al final de un párrafo: el lector necesita entender exactamente qué afirmación respalda y con qué nivel de confianza.
Conviene distinguir dato, interpretación y recomendación. Un estudio puede mostrar una asociación; el autor interpreta el mecanismo; el consultor recomienda una herramienta. Esas tres capas requieren soportes distintos.
En reportes de consultoría, revisa muestra, definición de variables, patrocinio, acceso a metodología, comparación utilizada y si las conclusiones exceden los datos. Una encuesta a 150 clientes de la propia firma no necesariamente describe todo un mercado regional.
Finalmente, la evidencia debe integrarse con contexto y criterio profesional. Una fuente rigurosa puede haber estudiado otra industria o país. Explicar esa limitación fortalece el argumento porque muestra dónde termina la evidencia y comienza la inferencia.
👇 Haz clic en cada tarjeta para revelar su definición
Conclusión
Evaluar evidencia significa preguntar qué conclusión permite realmente un método y qué incertidumbres siguen abiertas. La competencia no consiste en desconfiar de todo, sino en asignar confianza proporcional a la calidad y pertinencia de la evidencia.
En decisiones de equipo, expresar límites aumenta credibilidad. “Esta evidencia sugiere…” puede ser una formulación más rigurosa y útil que presentar como certeza una asociación que el diseño nunca estuvo preparado para demostrar.
🔭 Para seguir aprendiendo
- ¿Qué fuente utiliza tu equipo como autoridad sin revisar su método?
- ¿Qué argumento reciente confundió asociación con causalidad?
- ¿Qué dato necesitarías para cambiar de opinión sobre una decisión actual?
Actividad de aprendizaje autónoma
Producto: auditoría crítica de una evidencia usada en tu trabajo
Selecciona un estudio, benchmark o informe que tu organización haya citado o pueda utilizar para tomar una decisión. No necesitas demostrar que está equivocado: debes establecer qué permite concluir razonablemente.
- Escribe la afirmación principal que quieres evaluar.
- Identifica tipo de estudio, muestra, comparación y variable de resultado.
- Registra tres fortalezas y tres limitaciones.
- Distingue correlación de posible causalidad.
- Revisa financiamiento o conflicto de interés.
- Redacta una conclusión de máximo 120 palabras que indique qué usarías, qué no afirmarías y qué información adicional buscarías.
Completa el criterio de lectura
Una entre dos variables no demuestra por sí sola .
Evidencia de logro: la auditoría distingue diseño, hallazgo e inferencia, identifica al menos tres límites y formula una conclusión proporcional a la evidencia disponible.
Reflexión final: ¿qué afirmación tuviste que volver más prudente después de revisar cómo se produjo la evidencia?
Referencias principales: Higgins, J. P. T., et al. (Eds.). (2024). Cochrane Handbook for Systematic Reviews of Interventions; Concato, J., Shah, N., & Horwitz, R. I. (2000). Randomized, controlled trials, observational studies, and the hierarchy of research designs. New England Journal of Medicine; Hill, A. B. (1965). The environment and disease: Association or causation?