A importância da Linha de Base para a Avaliação de Impacto na Gestão de Políticas Públicas

Fonte: Blog da Plan Avaliação Monitoramento Pesquisa Social

Publicado por fernando

Certamente você já deve ter visto propagandas de gestores públicos dizendo quanto foi investido em determinado programa, quantas pessoas foram beneficiadas, quantos uniformes escolares foram distribuídos, etc… À primeira vista isso pode parecer suficiente para avaliar uma gestão, contudo, é importante ter em mente que divulgar o montante investido ou o número de beneficiários é muito diferente de informar o impacto que os investimentos públicos tiveram na vida da população.

Ou seja, dizer que mil pessoas foram atendidas no novo posto de saúde não significa exatamente que a qualidade do serviço de saúde aumentou. Afirmar que houve uma expansão na capacidade do serviço diz pouco ou quase nada sobre o impacto que esta ação teve na vida dos cidadãos atingidos. Para saber qual o efeito desta ação seria necessário averiguar como esta ampliação de atendimento resultou na melhora dos indicadores de saúde, se é que estes indicadores realmente melhoraram. Isto permitiria ao gestor divulgar não apenas o número de atendidos, mas o efeito produzido por esta ação.

Ainda que isso não pareça uma prioridade dentre a maior parte dos gestores, avaliar o impacto das políticas não é apenas uma maneira de melhorar o accountability da gestão, mas também uma forma de gerar dados que possam subsidiar as decisões que devem ser tomadas.

Além de não ser comum a preocupação com a mensuração do impacto das políticas implementadas, ainda há entre os gestores muita insegurança sobre como fazer uma avaliação deste tipo. Vejamos um exemplo claro de como uma avaliação de efeito de uma política pode ser equivocada.

Imagine que um gestor observou que os alunos de uma determinada escola aumentaram suas notas depois que houve uma mudança no cardápio da merenda escolar. A partir desta observação ele elaborou um relatório apontando essa melhora no desempenho escolar como sendo efeito da mudança no cardápio merenda. Até aqui tudo parece coerente, certo? Errado! A conclusão que o gestor chegou pode estar completamente equivocada e seu relatório pode passar a falsa ideia de que o um novo cardápio vai auxiliar na melhora do rendimento escolar.  Isso acontece porque diversos outros fatores podem ter influenciado as notas dos alunos e, talvez, a mudança no cardápio não tenha relação alguma com o desempenho escolar destes estudantes.

Qual seria então a maneira ideal para se mensurar o efeito de uma determinada política pública na vida dos beneficiários? A resposta é: a partir de uma avaliação de impacto[1] que permita uma comparação da evolução do indicador analisado com um contrafactual. A princípio isso pode parecer muito complexo, mas este exercício analítico é muito mais simples do que parece, na realidade todo o raciocínio deste tipo de investigação parte de uma pergunta trivial: o que teria acontecido com os beneficiários da política pública caso ela não tivesse sido implementada?

Seguindo no mesmo exemplo da mudança no cardápio da escola, a pergunta a ser respondida seria: o que teria acontecido com estes estudantes caso o cardápio tivesse permanecido como era anteriormente?

Sabendo como eram as notas dos alunos antes e depois da mudança no cardápio e estimando o que teria acontecido caso tal mudança nunca tivesse sido implementada é possível comparar os dois cenários e mensurar o verdadeiro impacto da política pública em questão.

Apesar de não ser difícil fazer tal comparação, ela requer uma preparação anterior à implementação da política pública a ser avaliada, e isso ocorre por dois motivos. Primeiro porque neste tipo de análise é necessário ter informações sobre o antes (Linha de Base) e o depois da intervenção (Avaliação Final dos Resultados). Segundo porque para fazer um contrafactual é fundamental ter informações não apenas sobre as pessoas que serão beneficiadas pela política pública (Grupo de Tratamento), mas também é necessário reunir dados sobre os indivíduos que não vão ter acesso a tal benefício (Grupo de Controle). A ideia aqui é comparar a evolução destes dois grupos de indivíduos ao longo do tempo e, a partir disso, calcular o real impacto da política avaliada.

A Linha de Base é importante para medir a condição anterior à intervenção e desta maneira municiar o gestor com informações da situação dos indicadores que deverão ser afetados com a implementação da política pública; a Avaliação Final busca identificar quais os resultados obtidos com as ações dos governos. Por fim, o papel do Grupo de Controle é servir como parâmetro da comparação, este grupo de pessoas será analisado para que se possa estimar o que teria acontecido caso o cardápio não tivesse sido alterado.

Na ilustração abaixo podemos visualizar melhor como é feita tal comparação.

A diferença na evolução da nota do Grupo de Tratamento e a evolução da nota do Grupo de Controle é o impacto obtido pela implementação da política pública, no caso a mudança no cardápio da escola.

Neste início de 2017, mais de 4 mil novos prefeitos e prefeitas estão assumindo seus cargos e com eles e elas surgem novas ideias e muito provavelmente novas políticas públicas. Ou seja, neste momento abre-se uma janela de oportunidade para que os gestores possam planejar não apenas suas intervenções, mas também tracem planos sobre como avaliá-las adequadamente.  Apenas desta forma eles poderão ter certeza dos reais impactos que os recursos públicos investidos proporcionaram aos cidadãos beneficiados. Com isso toda a sociedade ganha, pois teremos maior transparência e confiabilidade acerca das transformações sociais que as políticas públicas implementadas alcançaram. Ademais, ao fim de uma gestão, ter esses dados pode ser uma peça chave para mostrar à população que a contribuição deixada para o município é muito mais do que uma simples peça publicitária.


[1] Importante ressaltar que a avaliação de impacto pode ser prospectiva ou retrospectiva . Como o objetivo do texto é propor um modelo de avaliação mais próximo do ideal, aqui vamos tratar apenas do modo prospectivo porque é ele que oferece maior confiabilidade na mensuração do impacto. (Gertler, Paul J., Sebastian Martinez, Patrick Premand, Laura B. Rawlings, and Christel M. J.Vermeersch. 2016. Impact Evaluation in Practice, second edition. Washington, DC: Inter-American Development Bank and World Bank. doi:10.1596/978-1-4648-0779-4. License: Creative Commons Attribution CC BY 3.0 IGO http://www.worldbank.org/en/programs/sief-trust-fund/publication/im...)

Exibições: 100

Comentar

Você precisa ser um membro de Rede Brasileira de Monitoramento e Avaliação para adicionar comentários!

Entrar em Rede Brasileira de Monitoramento e Avaliação

Associe-se

Revista Brasileira de Monitoramento e Avaliação

Pessoal, todas as edições da Revista estão aqui na Plataforma, mas alguns membros se queixaram da dificuldade de localizar os números anteriores. Então, estou abrindo aqui essa janela novamente e colocando todos os números aqui.

A boa notícia é que estamos planejando retomar a Revista em 2020. Aguardem! 

A Diretoria

Revista_BMA_1.pdf

Revista_BMA_2.pdf

Revista_BMA_3.pdf

Revista_BMA_4.pdf

Revista_BMA_5.pdf

Revista_BMA_6.pdf

Revista_BMA_7

Revista_BMA_8

Revista_BMA_9

Siga-nos no Facebook!

Últimas atividades

Ilka Camarotti curtiram o evento Tecnologia para Gestão de Indicadores de Impacto Social de Gustavo Valentim
15 horas atrás
Michael Becker postou um status
"Olá @Gustavo Valentim estamos usando sales force para a gestão de projetos. Poderia mandar as apresentações, não podemos estar em SP."
23 horas atrás
Michael Becker curtiram o evento Tecnologia para Gestão de Indicadores de Impacto Social de Gustavo Valentim
23 horas atrás
Adriana de Queiroz curtiram o evento Tecnologia para Gestão de Indicadores de Impacto Social de Gustavo Valentim
ontem

© 2019   Criado por Marcia Joppert.   Ativado por

Badges  |  Relatar um incidente  |  Termos de serviço

a.next_photo_link img:hover {transform:scale(1.20);-ms-transform:scale(1.20);-o-transform:scale(1.20);-webkit-transform:scale(1.20);-moz-transform:scale(1.20); transform:scale(1.20);-webkit-transition:all 1s ease-out;-moz-transition:all 1s ease-out;transition:all 1s ease-out;-ms-transition:all 1s ease-out;-o-transition:all 1s ease-out;}