Comparações Múltiplas na Tese: Quando Corrigir o Alfa (e Quando Não) (2026)
A tabela de correlações tem 12 variáveis, o que dá 66 coeficientes. Onze estão assinalados com asterisco. O orientador olha para a página e diz: «e a correção para comparações múltiplas?»
A pergunta é legítima e a resposta não é «aplicar Bonferroni a tudo». Corrigir e não corrigir são ambos defensáveis consoante a situação, e a diferença entre uma tese que domina o assunto e uma que não domina está em saber qual é a família de hipóteses — um conceito que decide tudo e que quase nunca é explicado.
O problema, com números
Fixar α = 0,05 significa aceitar 5% de probabilidade de declarar significativo um efeito inexistente em cada teste. Se os testes forem independentes, a probabilidade de pelo menos um falso positivo cresce depressa: 1 − 0,95k.
| Número de testes | Probabilidade de ≥1 falso positivo | Alfa de Bonferroni |
|---|---|---|
| 1 | 5% | 0,050 |
| 3 | 14% | 0,017 |
| 10 | 40% | 0,005 |
| 20 | 64% | 0,0025 |
| 66 (matriz de 12 variáveis) | 97% | 0,00076 |
A última linha explica a inquietação do orientador perante a matriz de correlações: com 66 coeficientes, é praticamente garantido que alguns asteriscos são ruído. E explica também porque é que a correção de Bonferroni nesse caso é quase inútil na prática — exigir p < 0,00076 elimina, com os falsos positivos, quase todos os efeitos verdadeiros de magnitude realista numa amostra de tese.
Família de hipóteses: o conceito que decide tudo
Uma família é um conjunto de testes que, em conjunto, respondem a uma pergunta de investigação. A correção aplica-se dentro de cada família, não ao total de testes da tese.
Exemplos que tornam o conceito operacional:
- Uma família: as comparações par a par entre quatro grupos depois de uma ANOVA significativa — seis testes que respondem todos à pergunta «onde estão as diferenças?».
- Uma família: cinco escalas de sintomatologia comparadas entre dois grupos, quando a hipótese é «o grupo A tem pior estado psicológico». Os cinco desfechos são operacionalizações da mesma pergunta.
- Famílias distintas: H1 sobre satisfação, H2 sobre intenção de saída e H3 sobre desempenho, cada uma com fundamentação teórica própria e formulada antes da recolha. São três perguntas, não uma; corrigir entre elas penaliza o investigador por ter tido três hipóteses em vez de uma.
Ninguém corrige por todos os testes que fez ao longo da carreira, e é a mesma lógica que impede corrigir por todos os testes de uma tese. O critério é conceptual, não aritmético — e por isso tem de ser declarado. Uma tese que escreve «considerou-se cada hipótese pré-especificada como família independente e aplicou-se correção apenas às comparações par a par dentro de cada hipótese» está protegida; uma tese que não diz nada deixa a pergunta em aberto para a defesa.
Quando corrigir e quando não
| Situação | Corrigir? |
|---|---|
| Comparações par a par após ANOVA/Kruskal-Wallis significativos | Sim, sempre — é o caso paradigmático |
| Vários desfechos que operacionalizam a mesma hipótese | Sim |
| Análises de subgrupos exploratórias | Sim, e identificar como exploratórias |
| Matrizes de correlação com dezenas de coeficientes | Sim, ou reduzir a matriz às correlações teoricamente previstas |
| Hipóteses distintas, pré-especificadas, com literatura própria | Não — cada uma é a sua família |
| Coeficientes individuais dentro de um único modelo de regressão | Não na prática corrente — o teste F global já enquadra o modelo |
| Estudos de natureza descritiva e geradora de hipóteses | Não obrigatoriamente — mas assuma o estatuto exploratório no texto |
A posição «não corrigir» tem defensores de peso e vale a pena conhecê-los, porque dá segurança para defender a escolha. Kenneth Rothman argumentou em Epidemiology (DOI 10.1097/00001648-199001000-00010) que os ajustamentos por comparações múltiplas aumentam os falsos negativos e penalizam a investigação exaustiva; Thomas Perneger fez o mesmo raciocínio no BMJ (DOI 10.1136/bmj.316.7139.1236), num artigo cujo título — What’s wrong with Bonferroni adjustments — resume o argumento. A conclusão prática dessa literatura não é «nunca corrigir», é: a correção tem um custo em potência e deve ser uma escolha justificada, não um reflexo.
Bonferroni, Holm e Benjamini-Hochberg
Bonferroni. Compare cada p com α/k, ou multiplique cada p por k (é o que o SPSS faz, apresentando p ajustados que podem chegar a 1,000). Vantagens: simples, universalmente reconhecido, não assume independência. Desvantagem: muito conservador com muitos testes.
Holm. Um procedimento sequencial: ordene os p por ordem crescente; compare o menor com α/k, o seguinte com α/(k−1), o terceiro com α/(k−2), e assim por diante, parando na primeira não rejeição. Controla exatamente o mesmo erro global que o Bonferroni e é uniformemente mais potente — não há situação em que o Bonferroni detete algo que o Holm não detete. É, na prática, uma melhoria gratuita, e ainda pouco usada em teses portuguesas.
Benjamini-Hochberg. Muda de objetivo: em vez de controlar a probabilidade de qualquer falso positivo, controla a proporção esperada de falsas descobertas entre os resultados declarados significativos. Proposto em 1995 no Journal of the Royal Statistical Society (DOI 10.1111/j.2517-6161.1995.tb02031.x), tornou-se o padrão em contextos com muitos testes — genómica, neuroimagiologia, mineração de dados. Numa tese com uma matriz de correlações grande e propósito exploratório, é a escolha mais defensável.
A decisão tem de ser tomada antes de ver os resultados. Escolher o método depois de saber quais os testes que sobrevivem a cada um é seleção de resultados — a mesma prática que a correção pretende combater. Escreva a regra na secção de análise de dados enquanto planeia, não depois de correr.
Como se faz no SPSS
- Depois de uma ANOVA entre-sujeitos: o separador Post Hoc oferece Bonferroni, Tukey, Scheffé, Games-Howell e outros. Tukey é o mais eficiente para todas as comparações par a par com variâncias homogéneas; Games-Howell é a opção quando as variâncias diferem.
- Em medidas repetidas e ANCOVA: o separador Post Hoc não se aplica ao fator intra-sujeitos. Use Opções (ou EM Means) → «Comparar efeitos principais» → ajustamento Bonferroni. O procedimento está descrito em ANOVA de medidas repetidas e em ANCOVA na tese. Nunca escolha «LSD (nenhuma)», que não corrige nada apesar de estar listada entre os ajustamentos.
- Depois de um Kruskal-Wallis: o procedimento de amostras independentes do SPSS produz comparações par a par com significância ajustada por Bonferroni — está descrito em testes não paramétricos.
- Holm e Benjamini-Hochberg: não estão no menu. Calculam-se com facilidade numa folha de cálculo ordenando os p, ou no R com
p.adjust(p, method = "holm")emethod = "BH".
Um cuidado adicional: não corrija duas vezes. Se pediu ao SPSS comparações com ajustamento de Bonferroni, os valores-p já saem ajustados — voltar a dividir o alfa por k aplica a penalização ao quadrado. Verifique sempre se a coluna se chama «Sig.» ou «Sig. ajustada».
O que escrever na tese
Na secção de análise de dados, uma frase que declare a regra:
«Cada hipótese pré-especificada foi tratada como uma família independente de testes. Dentro de cada família, as comparações par a par subsequentes a testes globais significativos foram ajustadas pelo método de Holm, que controla a taxa de erro por família com maior potência do que a correção de Bonferroni. As análises de subgrupos, de natureza exploratória, são identificadas como tal e os respetivos valores-p apresentam-se sem ajustamento, não sendo utilizados como base de conclusões.»
Nos resultados, indique sempre se o valor é ajustado ou bruto: «p = 0,012 (ajustado por Bonferroni)». E acrescente o tamanho do efeito a cada comparação — a correção altera a significância, nunca a magnitude, e é a magnitude que sobrevive à discussão.
Se o resultado que sustentava a hipótese principal deixar de ser significativo depois da correção, isso é um achado a discutir, não um desastre a esconder: o guião está em as hipóteses não se confirmaram. E se ainda está a decidir a estrutura da própria análise, comece pelo guia de decisão sobre que teste usar.
Declarar a regra antes de correr as análises
Escrever a estratégia analítica antes de ver os resultados é o que separa uma decisão metodológica de uma justificação a posteriori. O Tesify ajuda a redigir a secção de análise de dados enquanto o plano ainda está em aberto — 100% escrito por si. Comece a sua tese no Tesify →
Perguntas frequentes
Tenho de corrigir por todos os testes que fiz na tese?
Não. A correção aplica-se dentro de cada família de hipóteses, isto é, de cada conjunto de testes que em conjunto respondem à mesma pergunta de investigação. Hipóteses distintas, pré-especificadas e com fundamentação própria constituem famílias separadas. O que é indispensável é declarar explicitamente na metodologia como definiu as famílias.
O que é a correção de Bonferroni exatamente?
Consiste em dividir o nível de significância pelo número de testes da família, ou de forma equivalente multiplicar cada valor-p por esse número. Com vinte testes, o limiar passa de 0,05 para 0,0025. É simples e não exige independência entre os testes, mas é muito conservadora, elevando substancialmente a probabilidade de não detetar efeitos reais.
Porque é que o método de Holm é preferível ao Bonferroni?
Porque controla exatamente o mesmo erro global sendo uniformemente mais potente: não existe situação em que o Bonferroni detete um efeito que o Holm não detete, e existem muitas em que sucede o inverso. O procedimento ordena os valores-p e compara cada um com um limiar progressivamente menos exigente, o que se calcula numa folha de cálculo em poucos minutos.
Preciso de corrigir os coeficientes de uma regressão múltipla?
Na prática corrente, não. Os coeficientes de um único modelo são interpretados no contexto do teste global do modelo e cada um responde a uma hipótese distinta sobre o seu preditor. A situação muda se estiver a estimar dezenas de modelos alternativos e a reportar apenas os preditores que resultaram significativos — nesse caso o problema já não é a correção, é a seleção.
O que fazer com uma matriz de correlações com dezenas de coeficientes?
Duas soluções defensáveis. A primeira é reduzir a matriz às correlações teoricamente previstas e apresentar a matriz completa em anexo com estatuto descritivo. A segunda é aplicar o controlo da taxa de falsas descobertas de Benjamini-Hochberg, mais adequado do que Bonferroni quando o número de testes é grande e o propósito é exploratório.
Posso escolher o método depois de ver que resultados sobrevivem?
Não. Selecionar o procedimento de ajustamento em função dos resultados obtidos é uma forma de seleção de resultados, precisamente aquilo que a correção pretende evitar. A regra deve ser definida e escrita na secção de análise de dados antes de correr os testes, e mantida mesmo quando o resultado deixa de ser favorável.
Escreve a tua tese ou TCC com IA
Editor inteligente, bibliografia automática (APA e ABNT) e verificação antiplágio num só sítio. Mais de 9.000 estudantes já escrevem em metade do tempo.