La respuesta corta: un valor p es la probabilidad de obtener un estadístico de prueba al menos tan extremo como el observado, suponiendo que la hipótesis nula es verdadera. Un valor p pequeño significa que los datos son poco habituales bajo ese supuesto, no que la hipótesis nula tenga una probabilidad pequeña de ser verdadera. Tampoco dice nada sobre el tamaño ni la importancia práctica de un efecto.

Puntos clave

  • p es una probabilidad condicional. Se calcula suponiendo la hipótesis nula, no como una probabilidad sobre la hipótesis nula.
  • Un p más pequeño significa menos compatibilidad con la nula, no un efecto mayor ni más importante.
  • Alfa es un umbral de decisión elegido de antemano. La línea de 0.05 es una convención, no una frontera natural.
  • Las muestras grandes hacen significativas diferencias mínimas. Acompaña siempre un valor p con un tamaño del efecto y un intervalo de confianza.
  • Muchas pruebas inflan los falsos positivos. Veinte pruebas independientes con α = 0.05 tienen alrededor de un 64 % de probabilidad de al menos una falsa alarma.

La lógica de una prueba de significación

Una prueba de significación parte de una hipótesis nula, normalmente una afirmación de ausencia de diferencia o de efecto: una máquina llenadora dispensa 500 ml en promedio, un fármaco funciona igual que un placebo, una moneda es justa. La hipótesis alternativa dice que el parámetro difiere de ese valor, o es mayor, o es menor, según la pregunta.

Después se calcula un estadístico de prueba a partir de la muestra y se compara con la distribución que seguiría si la nula fuera verdadera. El valor p es el área de la cola, o de las colas, más allá del estadístico observado. Los valores extremos son poco probables bajo la nula, así que un área pequeña en la cola es evidencia en contra. La lógica es indirecta: la nula nunca se demuestra, solo se juzga como más o menos compatible con los datos.

Qué es exactamente el valor p

Para una prueba unilateral con un estadístico T y un valor observado t, el valor p es P(T ≥ t | H0). Para una prueba bilateral es la probabilidad de un resultado al menos tan alejado de la nula en cualquiera de las dos direcciones. La barra vertical es la parte crucial: el cálculo se condiciona a que la hipótesis nula sea verdadera y a los demás supuestos del modelo.

Las pruebas bilaterales son la opción por defecto cuando cualquiera de las dos direcciones resultaría interesante, porque elegir un lado después de ver los datos duplica la probabilidad de un falso positivo. Las pruebas unilaterales son defendibles cuando un resultado en la dirección opuesta se trataría como ausencia de efecto y la dirección se especificó antes de recoger los datos.

Ejemplo resuelto: una máquina llenadora

Se supone que una máquina llena botellas hasta una media de 500 ml con una desviación estándar de 10 ml. Una muestra de 25 botellas promedia 503 ml. El error estándar es 10 ÷ √25 = 2 ml, así que z = (503 − 500) ÷ 2 = 1.50. La probabilidad de la cola superior es aproximadamente 0.0668, y el valor p bilateral es aproximadamente 0.1336.

Con α = 0.05, el resultado no es estadísticamente significativo. La media muestral está 3 ml por encima del objetivo, pero una diferencia de ese tamaño no es poco habitual cuando el error estándar es de 2 ml. Supón ahora que la muestra hubiera sido de 100 botellas y que la media siguiera siendo 503 ml. El error estándar pasa a 1 ml, z = 3.00 y el valor p bilateral es aproximadamente 0.0027. La diferencia estimada es idéntica; solo cambió la precisión. Por eso un valor p no puede leerse como un tamaño del efecto.

Alfa y la regla de decisión

El nivel de significación α es la tasa de falsos positivos que estás dispuesto a tolerar antes de que lleguen los datos. Si p ≤ α, el resultado se considera estadísticamente significativo y se rechaza la nula. Si p > α, no se rechaza la nula, lo que no es lo mismo que aceptarla o demostrar que es verdadera.

La convención de 0.05 es una convención. Un resultado con p = 0.049 y otro con p = 0.051 son prácticamente indistinguibles, pero la regla de decisión los trata como opuestos. Informa el valor p exacto y deja que los lectores vean qué tan cerca estuvo la decisión. En los cribados de alto impacto, α = 0.001 puede ser más apropiado; en el trabajo exploratorio, un umbral más laxo puede ser aceptable si los hallazgos se etiquetan como exploratorios.

Lo que un valor p no es

El error más común es leer p = 0.03 como «un 3 % de probabilidad de que la hipótesis nula sea verdadera». Eso invierte la probabilidad condicional. El valor p es P(datos tan extremos | nula), no P(nula | datos tan extremos). Para obtener lo segundo necesitas una probabilidad previa para la nula, que la prueba no proporciona.

La inversión importa. Supón que 100 de 1,000 hipótesis de un programa de investigación son verdaderas, la prueba tiene un 80 % de potencia y α = 0.05. De las 100 hipótesis verdaderas se detectan unas 80. De las 900 falsas, unas 45 producen falsos positivos. Entre los 125 resultados significativos, solo 80 ÷ 125 = 64 % son verdaderos, así que el 36 % son falsos descubrimientos. Un hallazgo «significativo» puede seguir siendo más probablemente falso que verdadero cuando las probabilidades previas son bajas.

Valores p, tamaño del efecto e intervalos de confianza

Un valor p combina el tamaño de un efecto y la precisión de su estimación. Por eso un estudio enorme puede informar p < 0.001 para una diferencia demasiado pequeña como para importar, y un estudio pequeño puede informar p = 0.20 para una diferencia que sería importante si fuera real. El intervalo de confianza separa esos dos ingredientes: muestra tanto la magnitud plausible como la incertidumbre.

Informa el efecto en las unidades del problema. «El fármaco redujo la presión arterial en 2 mmHg (IC del 95 %, 1 a 3; p = 0.01)» es mucho más útil que «el resultado fue significativo». Un valor p responde si los datos son compatibles con la ausencia de efecto; el intervalo responde qué tan grande podría ser el efecto, que suele ser la pregunta que de verdad importa.

Multiplicidad: muchas pruebas, muchas falsas alarmas

Si realizas 20 pruebas independientes con α = 0.05 cuando todas las hipótesis nulas son verdaderas, la probabilidad de al menos un falso positivo es 1 − 0.95²⁰ ≈ 0.64. Esa aritmética explica por qué la pesca de subgrupos y las baterías extensas de desenlaces producen «hallazgos» irreproducibles. La corrección de Bonferroni prueba cada hipótesis con α/m, lo que controla la tasa de error por familia pero es conservadora cuando las pruebas están correlacionadas.

La tasa de falsos descubrimientos es una alternativa que controla la proporción esperada de falsos positivos entre las hipótesis rechazadas, lo que a menudo es más adecuado para cribar miles de genes o de ítems de encuesta. En cualquier caso, la corrección debe planificarse, no elegirse después de ver qué resultados sobreviven.

Errores comunes

  • Decir «hay un 5 % de probabilidad de que la nula sea verdadera» en lugar de «los datos son poco probables bajo la nula».
  • Tratar p > 0.05 como prueba de que no hay efecto o de que los grupos son equivalentes.
  • Llamar «muy significativo» a un resultado porque p es minúsculo, cuando el efecto es trivial.
  • Cambiar la prueba, el desenlace o el subgrupo después de ver los datos.
  • Informar solo valores p y omitir tamaños del efecto, intervalos de confianza y tamaños de muestra.
  • Comparar valores p entre estudios como si midieran la fuerza de la evidencia en una escala común.

Informar valores p correctamente

Da el valor p exacto con dos o tres cifras significativas, el estadístico de prueba y los grados de libertad, el tamaño del efecto con unidades y un intervalo de confianza. Indica si la prueba fue unilateral o bilateral y cuál era la hipótesis nula. Si se realizaron varias pruebas, explica cómo se ajustaron y distingue los análisis preespecificados de los exploratorios.

Por último, escribe las conclusiones en el lenguaje que el diseño permite. «Los datos son compatibles con un efecto positivo pequeño» es honesto. «El tratamiento funciona» es una afirmación causal que un valor p por sí solo no puede autorizar.

Preguntas frecuentes

¿Qué significa p = 0.05?

Significa que, si la hipótesis nula y los supuestos del modelo son verdaderos, hay alrededor de un 5 % de probabilidad de obtener un estadístico de prueba al menos tan extremo como el observado. No significa que haya un 5 % de probabilidad de que la nula sea verdadera.

¿Un valor p más pequeño es evidencia más fuerte?

Dentro de una única prueba preespecificada, un p más pequeño significa que el resultado observado es menos probable bajo la nula. Entre estudios, tamaños de muestra y modelos distintos, los valores p no son medidas comparables de evidencia.

¿Un resultado puede ser significativo pero poco importante?

Sí. Con una muestra lo bastante grande, una diferencia mínima puede producir un valor p muy pequeño. Por eso el tamaño del efecto y los intervalos de confianza deben acompañar a cada valor p.

¿Y si p es exactamente 0.05?

La decisión es arbitraria en el límite. Informa el valor exacto, señala que está en el umbral e interprétalo junto con el intervalo en lugar de tratar el umbral como un precipicio.

¿Por qué algunos estudios usan 0.01 o 0.001?

Los umbrales más estrictos reducen los falsos positivos cuando se realizan muchas pruebas o cuando una afirmación falsa resulta costosa. La elección debe justificarse por las consecuencias de cada tipo de error, no solo por convención.

¿Un valor p es lo mismo que un intervalo de confianza?

No, pero están vinculados. Un intervalo de confianza del 95 % que excluye el valor nulo corresponde a una prueba bilateral con p < 0.05. El intervalo añade el rango plausible de tamaños del efecto.