Você está aqui: Página Inicial > Avaliação e Gestão da Informação > Desmistificando as avaliações de impacto

Desmistificando as avaliações de impacto

Mito 1: “Avaliações de impacto são antiéticas”

A suposta crítica ética refere-se ao fato de as avaliações dividirem potenciais beneficiários em grupos que participam ou não de um programa: como estamos lidando com pessoas muitos vulneráveis, todas teriam direito de receber o programa ao mesmo tempo. Mas será que a participação em um programa é sempre benéfica? Isto é, quem não participa necessariamente está sendo prejudicado?

Muitos programas têm efeito zero ou até mesmo negativo nos participantes (veja a tabela abaixo). Enquanto não tivermos evidências, não é possível ter certeza de que os participantes de um programa estão de fato sendo beneficiados pela ação. Portanto, é arriscado defender a inclusão de todos os potenciais beneficiários em um programa sem evidências de que o efeito é o esperado!

 

Mito 2: “Avaliações de impacto são muito caras e demoram demais”

Outro mito sobre avalições é que elas são caras, e por isso é melhor destinar os recursos integralmente aos programas. É necessário saber diferenciar o custo do programa, o custo do desenho da pesquisa e o custo da coleta de dados. A coleta de dados é o custo mais expressivo de uma pesquisa, que pode ser bastante reduzido com o uso de registros administrativos. Quando falamos de políticas públicas de larga escala, os custos de não fazer uma avaliação são sempre maiores do que fazê-la. É a avaliação que revela se os efeitos atingidos são os esperados, e muitas vezes ajuda a corrigir rumos.  

Quanto à demora da pesquisa, a avaliação de impacto leva o tempo que se espera que o programa promova seus efeitos no público-alvo. Se um programa pretende trazer benefícios em uma semana de implementação, pode-se avaliar o impacto deste programa em apenas uma semana para verificar se a expectativa corresponde. Porém, principalmente na área social, leva tempo para produzir impacto. Programas sociais que visam melhorar índices de saúde ou empregabilidade não têm efeito imediato. A avaliação deve se adequar ao horizonte da ação.

 

Mito 3: “Avaliações são reducionistas”

Outro mito bastante difundido é que as avaliações de impacto são reducionistas e que, por envolverem uma mensuração numérica, deixam de capturar importantes dimensões do comportamento humano. Em geral, esse argumento é usado contra pesquisas quantitativas e em favor de pesquisas qualitativas. Isso é uma falsa dicotomia: pesquisas qualitativas podem e devem acompanhar avaliações de impacto.

As duas formas de fazer pesquisa são complementares, não antagônicas. Pesquisas de avaliação de impacto são sempre enriquecidas por grupos focais e entrevistas semiestruturadas com gestores e beneficiários, quando é possível captar nuances do programa que não foram pensadas no desenho do questionário quantitativo.

 

Mito 4: “Avaliações só têm valor se forem generalizáveis”

A validade interna refere-se à capacidade da avaliação associar o programa a um resultado causal. Já a validade externa é a possibilidade de extrapolar aquele efeito para outras realidades. Todo e qualquer estudo – de avaliação de impacto ou não – possui validade apenas nas condições em que foi realizado. Isso, porém, não invalida os resultados em qualquer área de conhecimento. Para que sejam úteis às políticas públicas, as avaliações de impacto devem ser conduzidas com frequência, testando os efeitos do programa para diferentes grupos de indivíduos, para diferentes localidades, sob diferentes instituições políticas e administrativas. É assim que se constrói a validade externa.

 

Resumindo...

Avaliações não são antiéticas: avaliar os impactos da intervenção de maneira rigorosa, antes de pressupor que todo programa é benéfico, significa tratar os cidadãos com respeito. Do mesmo modo, a discussão não se sustenta quando se alega a demora, o custo, o reducionismo e a especificidade dos resultados obtidos.

A duração da pesquisa depende do tempo que o programa leva para produzir efeitos observáveis; os custos de uma pesquisa são pequenos perto do risco de não ter dados sobre o impacto; a dicotomia sobre pesquisas qualitativas x quantitativas é falsa, pois ignora a complementariedade entre elas; por fim, como em qualquer estudo, a validade externa é construída ao avaliar o mesmo desenho de programa em contextos diferentes. Isto não é uma particularidade de avaliações de impacto, e sim do processo de construção da evidência científica.  

 

Acesse à íntegra do artigo "Por que fazer avaliação de impacto de programas sociais?" no Caderno de Estudos – Desenvolvimento Social em Debate número 28. Nele, acesse também o artigo "Como fazer avaliação de impacto de programas sociais?" para conhecer as diversas metodologias de avaliação de impacto.