Um questionário que parece cristalino ao investigador pode falhar logo na primeira pergunta quando chega a um enfermeiro em turno noturno ou a um estudante do primeiro ano. É para detetar estas falhas antes da recolha definitiva que existe a sequência pré-teste do questionário validação. Primeiro verifica-se se o instrumento funciona na prática. Depois demonstra-se, com métodos psicométricos, que mede aquilo que pretende medir.

Nas dissertações de mestrado e nas teses de doutoramento, em Portugal e no Brasil, as duas etapas confundem-se com frequência. O júri pergunta se o questionário foi validado e o candidato responde que fez um pré-teste com colegas de curso. São procedimentos diferentes, com objetivos, amostras e evidências diferentes. Essa distinção pesa no capítulo de metodologia e pesa ainda mais na defesa.

As secções seguintes descrevem o que fazer, com quantas pessoas, como registar os problemas, quando parar e como relatar todo o processo, com exemplos que pode adaptar diretamente ao seu projeto.

Pré-teste do questionário validação: duas etapas distintas

A literatura metodológica indexada na SciELO separa com clareza os dois momentos. O pré-teste incide sobre a operabilidade e a inteligibilidade prática do instrumento. A validação psicométrica avalia a validade de conteúdo, através de um comité de juízes e do Índice de Validade de Conteúdo (IVC), a validade de construto, através de análise fatorial exploratória ou confirmatória, e a consistência interna.

Se usa uma escala já validada para a população portuguesa ou brasileira, o pré-teste continua a ser recomendável. Confirma que o contexto concreto, as instruções e a plataforma de recolha não introduzem problemas novos. Se construiu o instrumento de raiz ou o traduziu, precisa das duas etapas completas.

Do modelo conceptual aos itens: como construir modelo conceptual da tese antes de testar

Muitos problemas que surgem no pré-teste não são de redação. São de conceção: itens que não pertencem a nenhuma dimensão, ou dimensões sem itens suficientes. Antes de testar, convém saber como construir modelo conceptual da tese de forma explícita, porque é esse modelo que dará sentido à análise fatorial mais tarde.

1. Identifique os construtos a partir do enquadramento teórico. Se trabalha em psicologia, o guia sobre o enquadramento teórico de uma tese de psicologia e as teorias que a área realmente usa ajuda a escolher modelos com tradição de medição.
2. Defina cada construto operacionalmente, numa frase que diga o que é observável e o que fica de fora.
3. Decomponha em dimensões. Por exemplo, o burnout no modelo de Maslach organiza-se em dimensões fixas. Respeitá-las é essencial quando aplica uma escala consagrada, como se explica no artigo sobre a escala de burnout MBI na tese de enfermagem.
4. Mapeie itens por dimensão numa matriz com três colunas: construto, dimensão e item. Cada item deve ter uma única linha.
5. Formule as relações esperadas entre construtos, que serão as hipóteses do estudo principal.

Quando procura instrumentos já existentes, consultar repositórios de itens poupa semanas de trabalho. O banco de itens para medir autoeficácia na amamentação é um bom exemplo de como comparar versões validadas antes de decidir.

Quem e quantos participantes incluir

O pré-teste não exige amostragem probabilística. Os artigos metodológicos na SciELO apontam amostras reduzidas mas representativas do público-alvo, geralmente entre 5 e 30 participantes, consoante a complexidade do instrumento. Na mesma linha, a síntese de metodologistas disponível na ResearchGate refere que 10 a 30 respondentes, ou 5 a 15 em instrumentos mais curtos, chegam para revelar os principais erros estruturais e de compreensão.

A composição da amostra importa mais do que a sua dimensão:

• Inclua pessoas com as mesmas características da população final, como a profissão, a escolaridade, a faixa etária e o contexto de resposta.
• Procure diversidade dentro do público-alvo, por exemplo participantes com mais e com menos experiência na área.
• Evite usar apenas colegas de mestrado, que partilham o vocabulário técnico do investigador.
• Garanta que estes participantes não voltam a responder na recolha definitiva.

Se o pré-teste decorre numa organização, as questões de acesso, consentimento e confidencialidade aplicam-se desde a primeira aplicação. O artigo sobre fazer a tese dentro de uma empresa em psicologia organizacional detalha estes cuidados.

Protocolo do pré-teste passo a passo

As finalidades operacionais estão bem estabelecidas: avaliar a compreensão semântica, clarificar termos técnicos ou ambíguos, medir o tempo médio de resposta e verificar a fluidez e o layout. O protocolo seguinte cobre estas quatro frentes.

1. Prepare uma ficha de registo com colunas para o número do item, o problema observado, a citação do participante e a decisão tomada.
2. Aplique nas condições reais, com o mesmo formato (papel ou plataforma online), as mesmas instruções e o mesmo dispositivo que serão usados no estudo.
3. Registe o tempo do início ao fim e anote os itens onde o participante hesita.
4. Conduza uma entrevista cognitiva breve no final. Use sondagens como estas: o que entendeu por esta expressão? Como escolheu esta opção? Houve alguma pergunta a que lhe foi difícil responder?
5. Verifique filtros e saltos, como perguntas condicionais, campos obrigatórios e escalas que mudam de sentido.
6. Peça uma avaliação global da extensão, da ordem das secções e do tom das instruções.

As sondagens funcionam melhor quando são planeadas como um pequeno guião. Os princípios descritos no guião de entrevista para uma tese de serviço social aplicam-se aqui: perguntas abertas, neutras e numa sequência lógica.

Analisar problemas e decidir quando parar

A análise do pré-teste é sobretudo qualitativa. Agrupe as anotações por item e por tipo de problema, e depois decida o ajuste correspondente.

O critério de paragem é a saturação. Como resume a Doutora Nathalia, o pré-teste cumpre o seu papel quando os mesmos tipos de dúvidas ou erros começam a repetir-se. A partir daí, revê o instrumento. Se as alterações forem profundas, faz uma nova ronda curta para confirmar que as correções resultaram.

Depois do pré-teste: validade de conteúdo, construto e fidedignidade

Com a versão revista, entra na fase psicométrica do percurso pré-teste do questionário validação. São três os blocos de evidência:

Validade de conteúdo

Um comité de juízes especialistas avalia a relevância e a clareza de cada item face ao construto. A concordância é sintetizada no IVC. Itens com fraca concordância são revistos ou eliminados.

Validade de construto

A análise fatorial exploratória investiga a estrutura subjacente quando o instrumento é novo. A confirmatória testa se os dados se ajustam ao modelo conceptual definido à partida. É aqui que uma matriz construto–dimensão–item bem feita se revela decisiva.

Consistência interna

O Coeficiente Alfa de Cronbach é a métrica mais difundida para a consistência interna dos fatores ou do instrumento total, aceitando-se geralmente valores iguais ou superiores a 0,70, segundo a literatura metodológica na SciELO. Calcule-o por dimensão, e não apenas para a escala global. Desconfie de valores obtidos com a amostra reduzida do pré-teste, que não foi desenhada para estimativas estáveis.

Se o instrumento original está em inglês, as decisões sobre tradução e citação dos itens têm de ficar documentadas. O artigo sobre citações em inglês numa tese em português ajuda a decidir entre traduzir, manter o original ou apresentar as duas versões.

Como relatar o pré-teste e a validação na metodologia

Um relato sólido permite ao júri reconstruir cada decisão. Inclua os seguintes elementos:

• a versão de partida e a origem dos itens;
• as características e a dimensão da amostra do pré-teste, bem como o critério de seleção;
• o procedimento seguido (aplicação, registo de tempo, entrevista cognitiva);
• os problemas encontrados e as alterações feitas, idealmente num quadro de antes e depois;
• o critério de saturação usado para encerrar a fase;
• a indicação expressa de que esses dados foram excluídos da análise final;
• os procedimentos e resultados da validação psicométrica, apresentados em separado.

Esta lógica de transparência é a mesma que sustenta o resto do capítulo. Um pré-teste bem documentado mostra ao júri que o instrumento foi pensado, testado e corrigido antes de produzir os dados que fundamentam as conclusões.

Perguntas frequentes

Quantas pessoas devo incluir no pré-teste do questionário?

A literatura metodológica indica uma amostra intencional e reduzida, geralmente entre 5 e 30 participantes representativos do público-alvo. O número exato depende da extensão e da complexidade do instrumento. Mais importante do que o número é atingir a saturação, ou seja, o momento em que os problemas identificados começam a repetir-se.

Fazer um pré-teste significa que o questionário está validado?

Não. O pré-teste avalia a compreensão, a clareza dos termos, o tempo de resposta e o layout. A validação psicométrica exige evidências adicionais: validade de conteúdo através de juízes e do IVC, validade de construto através de análise fatorial e consistência interna, geralmente aferida pelo Alfa de Cronbach.

Posso usar os dados do pré-teste na análise final da tese?

Por regra metodológica habitual, não. O questionário é alterado depois do pré-teste, pelo que as respostas recolhidas com a versão anterior não são comparáveis com as da versão final. Esses participantes também não devem voltar a responder na recolha definitiva.

Que valor de Alfa de Cronbach é considerado aceitável?

Na literatura científica aceita-se correntemente um valor igual ou superior a 0,70 como indicador de consistência interna adequada. Deve calculá-lo por dimensão e com a amostra do estudo principal, e não com a amostra reduzida do pré-teste.

Preciso de pré-teste se uso uma escala já validada?

É recomendável. Mesmo uma escala validada pode gerar dificuldades no seu contexto específico, nas instruções que redigiu ou na plataforma online que escolheu. Um pré-teste curto confirma que o instrumento funciona nas condições reais de aplicação.