Validade e Fiabilidade Instrumentos de Medida: Guia Prático para a Tese

Um questionário com itens bem redigidos pode, mesmo assim, medir mal. É este o ponto de partida de qualquer reflexão rigorosa sobre validade e fiabilidade instrumentos de medida numa dissertação de mestrado ou numa tese de doutoramento: a qualidade de uma escala não se avalia pela aparência dos itens, mas pelas evidências de que os escores são consistentes e de que as inferências retiradas desses escores se justificam teórica e empiricamente.

Na prática, o júri raramente pergunta apenas se o instrumento é válido. Pergunta coisas mais finas: que evidências de validade existem para esta população específica? Que coeficiente de consistência interna obteve na sua própria amostra, e não apenas no estudo original? Porque usou o alfa de Cronbach numa escala com várias dimensões? Estas perguntas expõem, em poucos minutos, se o candidato compreende o que está a medir ou se se limitou a copiar valores de um artigo de validação.

Este guia organiza os conceitos essenciais, os pontos de corte mais usados, os limites conhecidos do alfa de Cronbach e a forma de redigir a secção de propriedades psicométricas no capítulo de método. Inclui ainda uma comparação entre revisão narrativa vs revisão integrativa como estratégias para localizar instrumentos já validados, com exemplos de áreas como enfermagem, psicologia e ciências da saúde.

O que é a fiabilidade e como se desdobra

A fiabilidade (na literatura brasileira, frequentemente designada por confiabilidade) diz respeito à consistência, estabilidade e reprodutibilidade dos escores de um instrumento ao longo do tempo e do espaço, ou seja, à ausência de erros aleatórios de medida. Um instrumento fiável, aplicado duas vezes ao mesmo participante em condições equivalentes, deve produzir resultados semelhantes, desde que o construto não tenha mudado.

Operacionalmente, a fiabilidade desdobra-se em três dimensões, e cada uma responde a uma pergunta diferente:

• Estabilidade temporal (teste-reteste): o instrumento produz escores semelhantes quando aplicado em dois momentos? É especialmente relevante para traços relativamente estáveis, como a personalidade ou certas atitudes. Para estados que flutuam, como a ansiedade situacional, um baixo acordo teste-reteste pode refletir mudança real e não erro.
• Equivalência entre avaliadores ou entre formas: dois observadores que usam a mesma grelha chegam às mesmas classificações? Duas versões paralelas do mesmo teste produzem resultados comparáveis? Esta dimensão é central em escalas de observação clínica, grelhas de avaliação de desempenho ou codificação de entrevistas.
• Consistência interna: os itens que pretendem medir o mesmo construto variam em conjunto? É a dimensão mais reportada em teses, quase sempre através do alfa de Cronbach.

A escolha da dimensão a reportar depende do desenho. Numa tese de medicina veterinária com grelhas de observação clínica, a concordância entre avaliadores pesa mais do que a consistência interna; é o tipo de decisão discutida em detalhe no guia sobre a metodologia de uma tese de medicina veterinária com caso clínico e estudo experimental. Num estudo transversal com questionários de autorrelato, pelo contrário, a consistência interna será o indicador principal.

Validade: um conjunto de evidências, não uma etiqueta

O erro conceptual mais comum em teses é escrever que um instrumento “é válido”. A validade não é uma propriedade fixa do instrumento em si, mas o grau em que as evidências empíricas e teóricas apoiam as inferências feitas a partir dos seus escores. Uma escala de burnout validada para enfermeiros hospitalares não transporta automaticamente essa validade para professores do ensino básico ou para estudantes universitários.

Tradicionalmente, as evidências de validade organizam-se em três grandes famílias:

A validade de construto está intimamente ligada ao enquadramento teórico. Se a sua escala de autoeficácia deriva da teoria social cognitiva, a estrutura fatorial esperada e as correlações previstas com outras variáveis devem decorrer dessa teoria. Por isso convém articular o capítulo de método com o capítulo teórico; o guia sobre o enquadramento teórico de uma tese de psicologia e as teorias que a área realmente usa mostra como essa ponte se constrói.

Fiabilidade é condição necessária, mas não suficiente

Um instrumento pode ser altamente fiável e pouco válido: uma balança mal calibrada dá sempre o mesmo peso errado. O inverso não se sustenta, porque escores dominados por erro aleatório não permitem inferências válidas. Esta relação assimétrica deve ficar clara na sua escrita: primeiro demonstra que mede com consistência, depois que mede aquilo que pretende.

Alfa de Cronbach: pontos de corte e limites

Na avaliação da consistência interna em investigação científica, valores de alfa de Cronbach acima de 0,70, e preferencialmente superiores a 0,80, são amplamente adotados como patamar de fiabilidade satisfatória. Estes valores funcionam como referência, não como lei: interpretá-los mecanicamente é precisamente o que a literatura psicométrica mais recente critica.

O alfa como estimador conservador

O estudo de referência dos investigadores portugueses João Marôco e Teresa Garcia-Marques, publicado na revista Laboratório de Psicologia em 2006, mostra que o alfa de Cronbach tende a subestimar a verdadeira fiabilidade de uma escala. A subestimação é mais acentuada quando os itens violam o pressuposto da tau-equivalência (isto é, quando não contribuem de forma igual para o construto), quando são heterogéneos ou quando a escala tem uma estrutura multifatorial.

Os mesmos autores advertem que o alfa é frequentemente usado de forma acrítica e recomendam o recurso a soluções psicométricas modernas, nomeadamente a fiabilidade compósita calculada a partir de modelos de equações estruturais ou de análise fatorial confirmatória. Para uma tese, a consequência prática é simples: se realizou uma análise fatorial confirmatória para testar a validade de construto, já tem os pesos fatoriais necessários para calcular a fiabilidade compósita, e deve reportá-la ao lado do alfa.

Sensibilidade ao número de itens

O alfa é muito sensível à extensão do instrumento. Escalas com poucos itens podem apresentar coeficientes artificialmente baixos, mesmo medindo o construto com rigor; escalas longas podem atingir valores elevados apenas por terem muitos itens, ainda que alguns sejam redundantes. Nas subescalas curtas, a literatura recomenda analisar também a correlação média inter-itens, com valores acima de 0,30 como referência.

Alfa por dimensão, nunca só global

Se o instrumento tem várias subescalas, o alfa global é pouco informativo e pode até ser enganador. A Escala de Burnout de Maslach, por exemplo, assenta em dimensões distintas que não devem ser somadas num único escore; o artigo sobre a escala de burnout MBI na tese de enfermagem, itens e forma de aplicação ilustra bem porque a consistência interna deve ser reportada dimensão a dimensão.

Encontrar instrumentos validados: revisão narrativa vs revisão integrativa

Antes de medir, é preciso escolher o instrumento, e essa escolha deve resultar de uma pesquisa documentada. Aqui surge uma decisão metodológica frequentemente ignorada: revisão narrativa vs revisão integrativa. Ambas servem para mapear instrumentos e as suas propriedades psicométricas, mas com níveis de rigor e de transparência muito diferentes.

Para uma dissertação de mestrado, uma revisão narrativa bem fundamentada pode bastar para justificar um instrumento consolidado. Numa tese de doutoramento, ou quando existem vários instrumentos concorrentes para o mesmo construto, a revisão integrativa dá uma justificação muito mais defensável perante o júri. Um bom exemplo de como sistematizar instrumentos concorrentes é o banco de itens de instrumentos validados para medir autoeficácia na amamentação.

Onde pesquisar

• RCAAP: dissertações e teses portuguesas, essenciais para identificar adaptações e estudos de validação para a população portuguesa.
• b-on: acesso às principais editoras científicas internacionais através das instituições de ensino superior.
• SciELO e BVS: estudos de validação em língua portuguesa, com forte presença das ciências da saúde brasileiras e portuguesas.
• Google Scholar: útil para rastrear citações do artigo original de validação e descobrir aplicações posteriores do instrumento.

Combine os descritores do construto com termos como validação, propriedades psicométricas, adaptação cultural, análise fatorial ou consistência interna. Registe cada pesquisa: data, base de dados, descritores e número de resultados, porque essa informação sustenta a revisão integrativa.

Instrumentos traduzidos e adaptados

Grande parte dos instrumentos usados em teses portuguesas foi desenvolvida em inglês. Usar uma tradução própria, sem processo de adaptação, equivale na prática a usar um instrumento novo sem evidências de validade. Se existir uma versão portuguesa validada, use-a e cite tanto o estudo original como o estudo de adaptação.

Quando não existe versão adaptada, o processo mínimo inclui tradução por tradutores independentes, síntese das versões, retroversão, revisão por um painel de peritos (evidência de validade de conteúdo), pré-teste com participantes da população-alvo e, por fim, análise das propriedades psicométricas na amostra. Atenção também à forma de citar itens no original: a discussão sobre citações em inglês numa tese em português, traduzir, manter ou os dois aplica-se diretamente à apresentação de itens de escalas estrangeiras.

Note ainda que os instrumentos qualitativos, como guiões de entrevista, não se avaliam com coeficientes psicométricos, mas com critérios de credibilidade, transferibilidade e consistência. Nesses casos, o rigor demonstra-se pela construção fundamentada do guião e pela sua testagem prévia, como se explica no protocolo de guião de entrevista para uma tese de serviço social.

Como redigir a secção de propriedades psicométricas

Cada instrumento deve ter, no capítulo de método, uma descrição autónoma com uma ordem previsível. Uma estrutura que funciona bem é a seguinte:

1. Identificação: nome completo, autores originais, autores da versão portuguesa e ano de cada estudo.
2. Construto e estrutura: o que mede, número de itens, dimensões e formato de resposta.
3. Cotação: como se calculam os escores, itens invertidos e interpretação dos valores.
4. Evidências prévias: resultados de validade e fiabilidade reportados nos estudos de validação.
5. Evidências na presente amostra: consistência interna por dimensão e, se aplicável, resultados da análise fatorial confirmatória e fiabilidade compósita.

Um exemplo de redação para o ponto cinco: “Na presente amostra, a consistência interna foi avaliada para cada dimensão separadamente. Todas as dimensões apresentaram valores de alfa de Cronbach acima do patamar de 0,70 recomendado na literatura, à exceção da dimensão de despersonalização; dado o reduzido número de itens desta dimensão, analisou-se adicionalmente a correlação média inter-itens, que se situou acima de 0,30, e a fiabilidade compósita obtida a partir do modelo fatorial confirmatório, ambas indicando consistência adequada.” Esta formulação mostra ao júri que conhece os limites do alfa e que não o tratou como critério único.

Checklist de validade e fiabilidade instrumentos de medida

Antes de submeter o capítulo de método ao orientador, confirme cada um dos pontos seguintes:

• A escolha do instrumento está justificada por uma revisão documentada da literatura, narrativa ou integrativa.
• Cita o estudo original e o estudo de validação para a população portuguesa ou brasileira, conforme o caso.
• A versão usada coincide com a versão validada: mesmo número de itens, mesma escala de resposta, mesmas instruções.
• Reporta a consistência interna na sua amostra, por dimensão e não apenas globalmente.
• Interpreta os coeficientes à luz do número de itens e da estrutura da escala.
• Se fez análise fatorial confirmatória, reporta também a fiabilidade compósita.
• Distingue claramente evidências de validade de evidências de fiabilidade no texto.
• Obteve autorização dos autores quando o instrumento o exige.

Erros frequentes que o júri deteta

Copiar o alfa do estudo original

A fiabilidade é uma propriedade dos escores obtidos numa amostra, não do papel onde o questionário está impresso. Reportar apenas o valor do artigo de validação deixa o júri sem saber como o instrumento se comportou nos seus participantes.

Eliminar itens para subir o alfa

Remover itens apenas porque o software indica que o alfa aumentaria compromete a validade de conteúdo e a comparabilidade com outros estudos. Qualquer eliminação deve ter justificação teórica e ser assumida como limitação.

Somar dimensões que a teoria separa

Calcular um escore total numa escala multidimensional, quando os autores não o recomendam, produz uma variável sem significado teórico claro, por mais elevado que seja o alfa global.

Confundir fiabilidade com validade

Escrever que um alfa elevado demonstra que o instrumento é válido é um erro conceptual que surge com frequência em defesas e que pode ser evitado com uma frase bem construída no capítulo de método.

Perguntas frequentes

Qual é a diferença entre validade e fiabilidade?

A fiabilidade indica se o instrumento produz escores consistentes e livres de erro aleatório, avaliada por teste-reteste, equivalência entre avaliadores ou formas e consistência interna. A validade indica se as evidências teóricas e empíricas apoiam as interpretações feitas a partir desses escores. Um instrumento pode ser fiável sem ser válido, mas não pode ser válido se for pouco fiável.

Um alfa de Cronbach abaixo de 0,70 invalida o meu instrumento?

Não necessariamente. O alfa é sensível ao número de itens e tende a subestimar a fiabilidade real, sobretudo em escalas heterogéneas ou multidimensionais. Em subescalas curtas, analise a correlação média inter-itens, com referência acima de 0,30, e, se possível, a fiabilidade compósita obtida por análise fatorial confirmatória, discutindo o resultado como limitação quando se justificar.

Preciso de calcular a fiabilidade se uso uma escala já validada em Portugal?

Sim. A fiabilidade é uma propriedade dos escores numa amostra concreta, pelo que deve reportar a consistência interna obtida nos seus participantes, por dimensão, além de citar os valores do estudo de validação.

Devo fazer uma revisão narrativa ou integrativa para escolher o instrumento?

Para um instrumento consolidado numa dissertação de mestrado, uma revisão narrativa bem fundamentada pode ser suficiente. Quando há vários instrumentos concorrentes ou numa tese de doutoramento, a revisão integrativa, com pergunta, descritores, bases de dados e critérios de inclusão explícitos, oferece uma justificação mais reprodutível e defensável.

O que é a fiabilidade compósita e quando a devo usar?

A fiabilidade compósita é um índice de consistência interna calculado a partir dos pesos fatoriais de um modelo de análise fatorial confirmatória ou de equações estruturais. Não exige que todos os itens contribuam de forma igual para o construto, ao contrário do alfa, e deve ser reportada sempre que realizou uma análise fatorial confirmatória na sua amostra.