Rede Brasileira de Monitoramento e Avaliação

Missão: promover diálogos entre os diversos atores do campo de M&A

O fetiche da avaliação de impacto - publicado na Folha, 9 de Março

Compartilhando...

O que vocês acham?


O fetiche da avaliação de impacto

09/03/2017  09h00

É crescente o clamor por avaliações de impacto. E não se trata apenas do lobby dos economistas: a demanda por parte de agências de fomento e financiadores de projetos sociais vem sendo cada vez mais intensa.

Esse movimento, que visa basear o gasto social em evidências, é razoável. E, no setor social, são poucos os que negam a necessidade de termos avaliações. Posto isso, é preciso cuidado para "não se jogar fora a criança junto com a água do banho".

Avaliações de impacto não são simples, e aqueles que oferecem receitas de bolo nessa área estão vendendo ilusão. Identificamos pelo menos cinco questões importantes a serem consideradas nas iniciativas de avaliação com que interagimos.

Avaliações podem ser muito caras. Quando são utilizadas as metodologias mais reconhecidas internacionalmente, como os modelos experimentais (randomized control trials), os custos podem ser elevados.

Avaliações deste tipo fazem muito sentido para grandes programas públicos, como o Bolsa Família, mas podem ser um exagero metodológico para pequenos projetos sociais. Já encontramos situações onde a avaliação é mais cara que o projeto social em si. Faz pouco sentido.

Avaliações podem ser muito longas. Existem avaliações de impacto que demoram mais de um ano para serem realizadas, dependendo do problema a ser examinado. No caso dos projetos sociais que lutam para sobreviver e se financiar, podemos ver um programa morrer antes que a avaliação termine. Parece meio absurdo.

Avaliações podem ser incompatíveis com o timing do projeto. Muitos empreendedores sociais fazem "das tripas coração" para viabilizar suas propostas e construir soluções inovadoras. Avaliações são exigentes em termos de tempo e engajamento por parte do time empreendedor, podendo sobrecarregar um grupo já no limite.

Neste cenário, impor uma avaliação sem compreender o momento do projeto pode colocar um estresse adicional muito significativo. Pode ser injusto.

Avaliações de impacto são reducionistas. Nem tudo que é importante pode ser medido, e nem sempre o que pode ser medido é importante.

Para realizar uma avaliação, o grupo responsável tem de encontrar as chamadas "variáveis instrumentais", aquelas que serão utilizadas na hora do julgamento: desempenho escolar, taxa de desemprego, reincidência prisional, pressão arterial.

Por razões operacionais, o time avaliador vai sempre preferir variáveis fáceis de medir, como aquelas que já estão no banco de dados do programa. Às vezes, pouco relevantes.

Avaliações podem ter impactos desdobrados no futuro, para além do período da avaliação. Algumas organizações sociais que atuam com causas difusas –como democracia e direitos humanos, por exemplo– podem ver o impacto da sua ação verificar-se somente décadas depois do início das atividades.

Ainda assim, dependendo da conjuntura, tais iniciativas podem ser muito relevantes, ou mesmo essenciais. Pode ser fundamental persistir.

Como tudo na vida, avaliar requer bom senso e cuidado. Não há regra única. Ao formular uma tese de impacto, o empreendedor social será capaz de estabelecer um foco mais preciso e construir um diálogo claro com apoiadores.

Ao mesmo tempo, os avaliadores podem ganhar espaço ao ter mais humildade intelectual e reconhecer que seus instrumentos são limitados. Vale enfatizar: para jogarmos esse jogo, precisamos entender que o importante mesmo é cooperar para transformar a complexa realidade que nos cerca.

HAROLDO TORRES, economista, demógrafo e doutor em ciências sociais, e MARCEL FUKAYAMA, administrador de empresas, MBA e mestrando em administração pública. Os dois são cofundadores da Din4mo, empresa especializada em apoiar negócios com impacto social e parceira do Prêmio Empreendedor Social 

Exibições: 527

Responder esta

Respostas a este tópico

Enviado por Aline Hellmann, que segue conversa, texto de Januzzi relativizando a adequação da avaliação de impacto na avaliação de politicas públicas...

http://alertasocial.com.br/?p=3180#_ftnref7

Avaliar Políticas e Programas é muito mais que “experimentos laboratoriais” podem entregar, por Paulo Jannuzzi

O desembarque do grupo de acadêmicos do J-Pal/MIT aqui no Brasil responde à estratégia dos mesmos em buscar novos mercados para o produto em franca obsolescência que tem, garantindo a continuidade dos programas de formação e investimentos em trajetórias acadêmicas.

Publicado em 19 de março de 2017

Não é verdade que o setor público brasileiro não faz avaliações de políticas como recentemente registrou-se em matéria publicada na revista Exame. Temos universidades e instituições como IBGE, IPEA, INEP e a antiga SAGI – Secretaria de Avaliação e Gestão da Informação do Ministério de Desenvolvimento Social e Combate à Fome- que produzem informações, pesquisas e estudos que tem contribuído para o desenho, implementação e avaliação de programas[1].

Não teríamos conseguido manter, de 2003 a 2014, a queda sistemática da pobreza, da fome, da insegurança alimentar, da desigualdade e ampliado o acesso a direitos sociais a públicos mais vulneráveis se não dispuséssemos de dados e pesquisas com a qualidade e profundidade analítica como as que se tem produzido nessas instituições e universidades brasileiras[2].

Acho que os pesquisadores do MIT não conhecem suficientemente a produção técnica-científica em Politicas Publicas no Brasil, nem a qualidade técnica de nossa burocracia técnica federal. A experiência deles me parece muito baseada na África e Leste Asiático, em contextos de baixa capacidade de gestão e projetos sociais de pequena escala ou baixa intersetorialidade.

Política Pública como a operada no Brasil é empreendimento complexo, operado por milhares de agentes em arranjos institucionais interfederativos e intersetoriais, em contextos de gestão e realidade socioeconômicas diversos; não é projeto social de fundação de um Banco, que atende apenas centenas de beneficiários, com equipe técnica bem remunerada, formada e incentivada. Tal complexidade de Política Pública requer abordagens de avaliação muito mais amplas que os experimentos caso-controle, tão comuns no teste de medicamentos, podem entregar.

O que fazemos no Brasil e em parte dos Ministérios da área social é que temos chamado de Avaliação Sistêmica de Políticas e Programas, que envolve a produção de diagnósticos para formulação de programas, análises de problemas de implementação e mensuração de resultados e impactos. São pesquisas e estudos com desenhos sofisticados e multi-métodos que procuram se adequar às demandas de uma arquitetura complexa de politicas públicas[3].

Também se faz avaliação de impacto, como fizemos na SAGI em várias situações de 2004 a 2016, inclusive para o Bolsa Família. Mas esse tipo de desenho metodológico só responde, em geral, a questões específicas de intervenções públicas mais simples como projetos sociais de pequena escala. Nem mesmo para o Programa Bolsa Família, essas avaliações responderam questões centrais como o impacto na melhoria nutricional e sobrevivência de crianças, resultados constatados em outros estudos, como o estudo longitudinal com integração de dados do Cadastro Único, Folha de Pagamento e Sistema de Vigilância Alimentar e Nutricional do Bolsa Família[4].

Na realidade, para os problemas de desenho e implementação que temos no Brasil as avaliações de impacto clássicas que estão propondo não tem muito a contribuir. O campo da avaliação está se movendo para uso integrado de abordagens qualitativas e quantitativas, análise estruturada de textos, estudos longitudinais com integração de bases de dados – como fizemos na antiga SAGI – e painéis de acompanhamento longitudinal de famílias – como há muito desejado pelo IBGE. Estudos longitudinais com Cadastro Unico, Censo Escolar, RAIS e outras bases de dados estão cada vez mais comuns ao longo dos últimos 5 anos.

Avaliações de impacto como as propostas pelo J-Pal tiveram seu auge nos anos 1970 nos EUA, perdendo o fetiche nas décadas seguintes, por não responderem de fato às perguntas que ajudam aprimorar programas sociais. Para técnicos e gestores de políticas e programas as questões centrais a responder por avaliações estão relacionadas às características dos públicos-alvos e dos seus contextos de vivência para um desenho adequado de intervenção; dos problemas e gargalos de implementação das atividades previstas na formulação; e naturalmente, se garantido um bom desenho e adequada implementação; os resultados e impactos do programa. Nessa ordem de prioridades. De fato, é isso que Martin Ravallion, ex-economista chefe do Banco Mundial registrou em texto que causou bastante mal estar entre os “randomistas”, termo como ele se referiu à comunidade fetichista de avaliação experimental de impacto[5]. Ignácio Moral-Arce, pesquisador de projetos financiados pelo Eurosocial revela que tal fetichismo da técnica chega ao absurdo de que ela seja recomendada mesmo quando as questões a serem investigadas não se tratam de avaliação de resultados[6]. Na comunidade de avaliação há vários outros pesquisadores críticos a mitificação com que a técnica é – literalmente- “vendida” a governos e financiadores de programas sociais[7].

O desembarque do grupo de acadêmicos do J-Pal/MIT aqui no Brasil responde à estratégia dos mesmos em buscar novos mercados para o produto em franca obsolescência que tem, garantindo a continuidade dos programas de formação e investimentos em trajetórias acadêmicas. Nos EUA e países que já apostaram pesado nisso acabaram se frustrando pelo tipo de resposta que oferecem aos gestores que, de fato, estão comprometidos com aprimoramento de programas. É o tipo de ‘mercadorização’ de conhecimento técnico por que passa a Ciência, tão bem conhecido dos Estudos Sociais do Conhecimento.

Entendo também que o desembarque recente e fetiche por tais abordagens de avaliação no Brasil é que elas atendem à lógica de privilegiar a eficiência econômica como critério de julgamento do recurso público, e não a efetividade social e sustentabilidade ambiental da ação pública. É a abordagem preferida por Economistas de formação liberal, para quem a Política Pública deveria ser a mais residual possível. Acreditam que o Mercado produz mais bem-estar e igualdade de oportunidades que qualquer intervenção operada pelo Estado. Nessa abordagem de avaliação, invariavelmente a Política Social e a Política Ambiental já estão condenadas antes de sentar no banco dos réus do Tribunal de Avaliação. As evidências produzidas nos laboratórios de econometria só oferecem uma roupagem técnica para a decisão anterior de deslegitimar ou descontinuar as Políticas e Programas. É preciso deixar o mercado operar, abrandando a regulamentação de toda ordem, para que os agentes ofertantes de serviços possam produzir com mais eficiência. Nessa visão, Política Pública já está condenada por existir; há que se ter uma técnica que empreste uma legitimidade técnica para isso.

Foi o que ocorreu com o Pronatec: a avaliação sistêmica do programa, com vários estudos qualitativos e quantitativos – com resultados sobre universo de 2,5 milhões de alunos em mais de quatro mil municípios – revelou o mérito, acertos e desafios a enfrentar; um estudo com 90 mil pessoas desempregadas, com uma série de supostos questionáveis produziu, contudo, a evidência que o então Ministro da Fazenda queria para derrubar o programa[8].

No fundo, o que eles queriam e querem – cada vez mais – em vários setores de intervenção pública- na qualificação profissional, saúde, previdência e educação – é abrir novos mercados para o mercado. Precisam pois deslegitimar políticas e programas públicos, sejam meritórios ou não. Não se pode ser tão ingênuo em supor que a técnica não está serviço de um propósito ideológico anterior. Não se enganem, o tipo de avaliação proposta responde à necessidade de deslegitimação da políticas, não seu aprimoramento.

Eficiência econômica é importante como critério-meio, não como critério finalístico. Política Pública precisa ser julgada à luz dos valores republicanos que a orientou desde a Constituição de 1988. Coesão social, equidade, sustentabilidade ambiental têm presidido o desenho e formulação de muitas Políticas Públicas no Brasil nesse período. Se foram esses os critérios de formulação, seriam esses os critérios de avaliação.

Enfim, quem sabe a equipe do MIT, tal como ocorreu com os economistas do Banco Mundial, aprendam com brasileiros e gestores públicos como se faz, de fato, avaliação que se prestam para decisão esclarecida de políticas públicas e não apenas para alimentar a cadeia de produtivismo acadêmico nas revistas que eles mesmo criam, escolhem os textos para publicar e disseminam.

A sociedade quer que as Políticas Públicas entreguem o que ela delegou ao Estado fazer. Avaliações sistêmicas contribuem para isso, trazendo subsídios para seu aprimoramento. Política Pública não pode ser decidida em laboratórios de econometria ou em tribunais de pluto-tecnocratas. Política Pública precisa ser debatida de forma transparente e esclarecida e em fóruns mais amplos, em que a pluralidade de interesses e valores da sociedade – e princípios do Contrato Social de 1988- estejam adequadamente representados.

Paulo de Martino Jannuzzi é professor da Escola Nacional de Ciências Estatísticas do IBGE

 

Notas

[1] Vide experiência da Secretaria no livro de memória institucional SAGI e os Cadernos de Estudos Desenvolvimento Social em Debate ns.16 e 27 na pasta pública compartilhada em https://drive.google.com/drive/folders/0B0rv-8MCU4JdS1Jua1NKb01uU0E...

[2] Veja, nesse sentido, a respeito da intensidade das mudanças sociais de 1992 a 2014, o Caderno de Estudos Desenvolvimento Social em Debate n.25 na na pasta pública compartilhada em https://drive.google.com/drive/folders/0B0rv-8MCU4JdS1Jua1NKb01uU0E...

[3] Veja em http://publicacoes.fcc.org.br/…/…/eae/article/view/4168/3268

[4] Veja os estudos e pesquisas sobre resultados do programa no livro Bolsa Família: 10 anos e  Cadernos de Estudos Desenvolvimento Social em Debate n.17  na pasta pública compartilhada em https://drive.google.com/drive/folders/0B0rv-8MCU4JdS1Jua1NKb01uU0E...

[5] Veja em http://siteresources.worldbank.org/…/Should_the_randomistas…

[6] Veja em http://www.sia.eurosocial-ii.eu/fil…/docs/1400665227-DT6.pdf

[7] Veja matéria recente em diário nacional em Veja  http://www1.folha.uol.com.br/…/1864699-o-fetiche-da-avaliac…   e também as “10 maiores críticas aos desenhos randomizados de avaliação em ,  https://larspsyll.wordpress.com/…/…/05/top-10-rct-critiques/ .

[8] Vide Cadernos de Estudos Desenvolvimento Social em Debate n.24  na pasta pública compartilhada em https://drive.google.com/drive/folders/0B0rv-8MCU4JdS1Jua1NKb01uU0E...

Muito interessante esse texto. Concordo que muitas vezes há exageros nos processos avaliativos junto aos projetos e programas sociais, e que o contexto sociocultural, político e histórico devem ser considerados, pois fazer uma avaliação que não tenha essa preocupação nem esse olhar, é sobretudo colocar em risco todo um trabalho desenvolvido e a própria instituição social.

Acredito que para uma boa avaliação de impacto, é necessário definir muito bem os indicadores e as ferramentas necessárias ao processo. Procedimentos metodológicos muito rígidos e escritos em pedra que não podem ser alterados e/ou adequados à realidade, deixam muitas vezes de evidenciar as riquezas e grandezas das ações que proporcionaram determinadas mudanças naquela realidade. Muitas vezes essas mudanças nos parecem pequenas, mas naquele contexto, e na vida daquelas pessoas, elas são enormes. 

Forte Abraço!

Martina, eu achei muito bom o artigo e te agradeço por ter compartilhado aqui. Mas ele coloca a avaliação de impacto como algo inatingível e não acho que seja bem assim... é preciso trazer a informação de que há vários métodos alternativos aos modelos experimentais, na linha do "não existe padrão" e que métodos quantitativos muitas vezes não são adequados a avaliar impactos de certos tipos de objeto. O que acha?

Carla Silva Ferreira, concordo com você e já vi isso acontecer na prática: a possibilidade de mensuração determinando o foco da avaliação e não o que é importante naquele projeto definindo o que vai ser mensurado.

Marcia Joppert, muito interessante o que você diz. Veja, para muitos falar e avaliação de impacto equivale a falar de uma determinada metodologia e desenho avaliativo. Portanto, acho fundamental começarmos a ter clareza e talvez nomear essa abordagem de um jeito menos abrangente e de assumirmos e trabalharmos na perspectiva de que há outras possibilidades de acessar os impactos de iniciativas que não apenas os métodos experimentais, com grupo controle e aleatorização.

Eu também acho que colocarmos esses desenhos "nos seus devidos lugares", ou seja compreender ao que veem e ao que não veem, podemos também percebê-los com potencialidades e limites, como qualquer outro método investigativo. Tampouco precisamos negar essa metodologia ou dar de barato que são caras, etc.

Agora o que Januzzi traz é mais tenso... Ele diz que há uma agenda de "venda" dessa metodologia por determinados agentes, mesmo ela sendo, segundo ele, ultrapassada, ou algo assim. Me chamou bastante a atenção essa percepção de que há agendas de disseminação de determinadas metodologias, acredito que isso seja real. Porém, não acho nem que a metodologia esteja "ultrapassada" e nem de que agendas de "venda"sejam exclusividade da dita "avaliação de impacto". Aliás, basta ir ao Seminário da AEA para observar cada "especialista" com seu livro e sua "abordagem específica criada"... Interesses diversos estão presentes na disseminação e na escolha dos métodos, né?

Amigos e colegas,

Comento esse assunto no blog ligado ao meu site, www.avaliacaoamazonia.com (inscrevam-se!). Eis um trecho do comentário:

<Faz sentido que um programa de 4 ou 5 anos de duração, oferecendo apoio a várias entidades, cada uma das quais com vários projetos locais em aldeias e comunidades tradicionais da Amazônia e na academia, tenha uma avaliação de impacto, relacionada a diversas outras avaliações menores. Melhor dizendo, que a pesquisa avaliativa incorpore todos os cinco critérios do Comitê de Assistência ao Desenvolvimento da Organização para Cooperação Econômica e Desenvolvimento (CAD/OCED), um dos quais é impacto (os outros são relevância, eficiência, efetividade – ou eficácia – e “sustentabilidade” – no sentido de poder andar com as próprias pernas).>

Robert K. Walker

Responder à discussão

RSS

Associe-se

OUTRAS REDES

MAPA INTERATIVO DE REDES NO MUNDO: 

© 2017   Criado por Marcia Joppert.   Ativado por

Badges  |  Relatar um incidente  |  Termos de serviço

a.next_photo_link img:hover {transform:scale(1.20);-ms-transform:scale(1.20);-o-transform:scale(1.20);-webkit-transform:scale(1.20);-moz-transform:scale(1.20); transform:scale(1.20);-webkit-transition:all 1s ease-out;-moz-transition:all 1s ease-out;transition:all 1s ease-out;-ms-transition:all 1s ease-out;-o-transition:all 1s ease-out;}