Concordância Entre Avaliadores na Tese: Kappa, Kappa Ponderado e ICC — e Que Valor É Aceitável (2026)

Resultado-chave: a estatística que deve reportar depende do tipo de dados, não da preferência do orientador. Categorias nominais com dois avaliadores → kappa de Cohen. Categorias ordenadas → kappa ponderado. Três ou mais avaliadores em categorias → kappa de Fleiss. Medidas contínuas → coeficiente de correlação intraclasse (ICC). E, em nenhum dos casos, a percentagem de acordo simples é resposta suficiente.

Se a sua tese tem dois codificadores, dois observadores, dois avaliadores clínicos ou dois investigadores a triar artigos numa revisão, precisa de um destes números. Este artigo dá-lhe a tabela de escolha, as faixas de interpretação com a fonte de cada uma, e a frase exacta que escreve nos resultados.

Porque a percentagem de acordo não chega

Imagine dois avaliadores a classificar 100 casos como «presente» ou «ausente», e que 90 % dos casos são realmente «ausente». Se ambos disserem sempre «ausente», o acordo bruto é 100 %. Se ambos responderem completamente ao acaso, mas com a mesma tendência de 90/10, ainda assim concordam em cerca de 82 % dos casos — só por acaso.

É esta a razão de ser das estatísticas de kappa: corrigem o acordo observado pelo acordo que seria esperado ao acaso. Um kappa de 0 significa «não melhor do que o acaso»; 1 significa acordo perfeito; valores negativos significam acordo pior do que o acaso, o que normalmente sinaliza um erro de codificação das categorias.

Reportar apenas «os codificadores concordaram em 87 % dos casos» é, por isso, insuficiente. Reporte a percentagem de acordo e a estatística corrigida — a primeira é intuitiva, a segunda é interpretável.

Tabela de escolha: que estatística usar

As faixas de interpretação, e de onde vêm

Não invente adjectivos. Use uma referência publicada e cite-a — o júri vai perguntar de onde veio a palavra «substancial».

Kappa — as faixas de Landis e Koch (1977)

São as faixas mais citadas na literatura, e os próprios autores as apresentaram como convenções arbitrárias e não como critérios absolutos. Em investigação qualitativa é comum exigir-se, na prática, um patamar mais alto do que a mera «moderada» antes de dar a codificação por estabilizada.

ICC — as faixas de Koo e Li (2016)

A referência é T. K. Koo e M. Y. Li, «A Guideline of Selecting and Reporting Intraclass Correlation Coefficients for Reliability Research», Journal of Chiropractic Medicine, 15 (2016), 155–163. É a fonte a citar quando escrever «boa fiabilidade» a propósito de um ICC — e o mesmo artigo é a referência habitual para justificar a forma de ICC escolhida.

ICC: escolher a forma certa é metade do trabalho

O ICC não é um coeficiente, é uma família. Programas como o SPSS pedem-lhe três decisões antes de calcular, e um relatório que não as declara é irreproduzível:

1. Modelo. Efeitos aleatórios de duas vias quando os seus avaliadores são uma amostra de uma população maior de avaliadores possíveis e quer generalizar para essa população. Efeitos mistos de duas vias quando os avaliadores são precisamente estes e não pretende generalizar — o caso típico de uma tese com dois codificadores. Efeitos aleatórios de uma via quando cada caso foi avaliado por avaliadores diferentes.
2. Tipo. Concordância absoluta se lhe interessa que os avaliadores atribuam o mesmo valor. Consistência se lhe basta que ordenem os casos da mesma maneira, ainda que um seja sistematicamente mais severo. Na maioria das teses o que interessa é a concordância absoluta.
3. Unidade. Medidas individuais se na análise final vai usar a classificação de um único avaliador. Medidas médias se vai usar a média dos avaliadores. O ICC de medidas médias é sempre mais alto — usá-lo quando a análise depende de um só avaliador inflaciona artificialmente a fiabilidade reportada.

Reporte sempre as três escolhas, e reporte o intervalo de confiança a 95 % do ICC. Com amostras pequenas o intervalo é largo, e um ICC pontual de 0,82 com intervalo de 0,41 a 0,94 não sustenta a palavra «boa».

Onde calcular

• SPSS. O kappa de Cohen sai das tabelas cruzadas: coloque um avaliador nas linhas, o outro nas colunas e peça Kappa nas estatísticas. É indispensável que as duas variáveis tenham exactamente as mesmas categorias com os mesmos códigos — se um avaliador usou uma categoria que o outro nunca usou, o procedimento falha ou produz um resultado enganador. O ICC está no procedimento de análise de fiabilidade, onde escolhe modelo, tipo e unidade. O kappa ponderado não é oferecido nos menus.
• R. Os pacotes de concordância cobrem tudo o que o SPSS não faz: kappa ponderado com ponderação linear ou quadrática, kappa de Fleiss, alfa de Krippendorff e as várias formas de ICC com intervalos de confiança.
• Calculadoras online. Suficientes para um cálculo pontual a partir de uma tabela que já tem. Confirme sempre o tipo de kappa que a ferramenta devolve antes de copiar o número.
• Programas de análise qualitativa. As versões comerciais calculam concordância entre codificadores internamente; as alternativas gratuitas, em geral, não — nesse caso exporte as duas codificações para uma folha de cálculo e calcule à parte.

O procedimento, na prática

1. Defina o livro de códigos antes. Categorias mutuamente exclusivas, com definição e exemplo. A maior parte dos kappas baixos não é problema de avaliadores — é problema de categorias mal definidas.
2. Treine com material que não entra na análise. Dois ou três casos discutidos em conjunto poupam dezenas de desacordos depois.
3. Codifiquem em cego e em paralelo. Sem consultas durante o processo. Um segundo codificador que vê as decisões do primeiro não produz uma medida independente.
4. Escolha a subamostra. Em codificação qualitativa é prática corrente que o segundo codificador trate uma parte do corpus, não a totalidade. Declare que parte e como foi seleccionada — aleatoriamente, de preferência.
5. Calcule antes de discutir. O kappa mede o acordo independente. Se discutirem primeiro e só depois calcularem, o número deixa de significar o que diz que significa.
6. Resolva os desacordos por regra declarada — discussão até consenso, ou arbitragem por um terceiro. Diga qual usou.
7. Se o kappa for baixo, reveja o livro de códigos e repita. Não é fraude: é o procedimento correcto, desde que declare que houve duas rondas e reporte o valor final.

Como escrever nos resultados

«Vinte e cinco por cento das entrevistas (n = 5), seleccionadas aleatoriamente, foram codificadas de forma independente por um segundo codificador. A concordância entre codificadores foi substancial (kappa de Cohen = 0,74; acordo bruto = 88,3 %), de acordo com as faixas de Landis e Koch (1977). Os desacordos foram resolvidos por discussão até consenso e o livro de códigos foi actualizado em conformidade.»

Para uma medida contínua:

«A fiabilidade entre avaliadores foi estimada por ICC (modelo de efeitos mistos de duas vias, concordância absoluta, medidas individuais). O ICC foi de 0,86 (IC 95 % [0,71; 0,93]), indicando boa fiabilidade segundo Koo e Li (2016).»

Note o que ambas as frases incluem: o número, a variante exacta da estatística, a fonte da faixa e — no segundo caso — o intervalo de confiança. É esta densidade que distingue um relato defensável de uma menção decorativa. As convenções gerais de reporte estatístico estão no guia de estatística descritiva e inferencial.

Perguntas frequentes

Preciso mesmo de um segundo codificador na minha tese?

Depende da abordagem. Em análise de conteúdo com pretensão de fiabilidade, é esperado e frequentemente exigido — o artigo sobre análise de conteúdo com categorias discute quando. Em abordagens interpretativas como a análise fenomenológica, a exigência não é a mesma, e o critério de qualidade passa por auditoria de decisões e reflexividade em vez de um coeficiente. Não force um kappa numa metodologia cujo referencial não o pede.

O meu kappa deu 0,45. É suficiente?

Está na faixa «moderada» de Landis e Koch, que é habitualmente considerada insuficiente para dar a codificação por concluída. O caminho é rever as categorias em que os desacordos se concentram — normalmente são duas ou três — clarificar as definições e recodificar. Reporte que houve duas rondas e o valor final.

Porque é que o kappa é baixo se o acordo bruto é alto?

É o chamado paradoxo do kappa e acontece quando a distribuição das categorias é muito desequilibrada: se 95 % dos casos pertencem a uma categoria, o acordo esperado ao acaso já é altíssimo e sobra pouca margem para o kappa. Nessas situações reporte ambos os valores e explique o desequilíbrio; existem índices alternativos concebidos precisamente para prevalências extremas.

Posso usar a correlação de Pearson para medir concordância?

Não. A correlação mede associação linear, não concordância. Dois avaliadores em que um pontua sistematicamente dois pontos acima do outro produzem uma correlação perfeita e uma concordância absoluta má. É exactamente esta a diferença entre o ICC de consistência e o ICC de concordância absoluta.

Que percentagem do corpus deve o segundo codificador codificar?

Não há regra universal. Uma fracção substancial e seleccionada aleatoriamente — frequentemente entre 10 % e 25 % do material — é a prática corrente em teses. O que não é aceitável é escolher a dedo os casos mais fáceis, nem deixar de declarar a fracção usada.

E se os dois avaliadores forem eu e o meu orientador?

É comum e aceitável, desde que a codificação seja independente e cega. Declare quem foram os codificadores e a sua formação — a experiência dos avaliadores é informação relevante para o leitor interpretar o valor obtido.

O kappa aplica-se à triagem de artigos numa revisão sistemática?

Sim, e é uma das utilizações mais frequentes: dois revisores decidem incluir ou excluir cada registo, e o kappa quantifica a concordância dessa decisão binária. Reporte-o na secção de selecção de estudos, com o procedimento de resolução de conflitos.

Qual escolho entre kappa ponderado linear e quadrático?

A ponderação quadrática penaliza os desacordos distantes muito mais do que a linear, pelo que tende a devolver valores mais altos quando os desacordos são sobretudo entre categorias adjacentes. A escolha deve ser feita antes de ver os resultados e justificada pela gravidade relativa dos erros no seu contexto. Declare sempre qual usou — «kappa ponderado» sem qualificação é ambíguo.

Preciso de calcular concordância se codifiquei tudo sozinho?

Não pode calcular concordância entre avaliadores com um único avaliador. O que pode fazer é concordância intra-avaliador: recodificar uma subamostra passadas algumas semanas, em cego relativamente às suas próprias decisões anteriores, e calcular o kappa entre as duas rondas. É uma evidência de fiabilidade mais fraca do que a inter-avaliadores, mas é muito melhor do que nenhuma.

Reporte a fiabilidade com a variante e a fonte certas

A maior parte dos problemas com estas estatísticas não está no cálculo — está no reporte: a variante não declarada, a faixa sem fonte, o ICC de medidas médias usado num desenho de medida única. O Tesify ajuda-o a redigir a secção de fiabilidade com todos os elementos que o júri procura. Comece gratuitamente.

Se o que precisa é da fiabilidade de uma escala e não de avaliadores, o problema é outro e a estatística também: veja como validar um questionário com o alfa de Cronbach.