Boa noite pessoal.

Oriento uma aluna em uma monografia que pretende avaliar parte do processo de implementação de uma dada política pública.

A "parte" da implementação a ser avaliada seriam os editais de financiamento de projetos (a política é implementada por parceiros externos, como municípios, universidades, organizações da sociedade civil, etc. Ao governo cabe selecionar projetos, destinar recursos e avaliar a utilização dos recursos e resultados obtidos).

A partir de entrevistas com os coordenadores dos projetos financiados, gostaríamos de saber em que medida o "desenho" e a "gestão" dos editais facilita ou dificulta o atingimento dos objetivos mais gerais da política. Os parceiros avaliam como bom/adequado o desenho do edital, ou ao contário, avaliam que ele dificulta a execução dos projetos?

Podemos pensar nisso como uma típica avaliação de processos?

Alguém conhece trabalhos em uma linha semelhante, que busquem avaliar aspectos mais operacionais, ou em outras palavras, "as regras do jogo"? Vejo muitas avaliações de resultado e impacto, mas tenho tido dificuldades em achar exemplos de construção de uma avaliação de processo.

A partir desta "pergunta de pesquisa", a ideia é construir um questionário para captar as percepções e opiniões destes coordenadores (a partir das regras estipuladas nos editais), aliada à pesquisa de alguns indicadores quantitativos  bem básicos (como número de projetos apresentados, número de projetos financiados, recursos previstos, recursos dispendidos, etc...)

Toda ajuda será muito bem vinda! Obrigado.

Luiz

Exibições: 358

Responder esta

Respostas a este tópico

Prezado Luiz, 

Para mim não fica muito bem claro o que significa avaliar os editais... acho que na verdade o que está sendo avaliado, pelo que vc conta, é o processo de execução (que é descentralizado), cuja estratégia é repassar recursos a parceiros, cujo instrumento são os editais, que geram um contrato de financiamento ou repasse. 

Se vocês acham que quem deve ser avaliado é o instrumento (e isso tem que ser discutido com os diversos atores), partimos daí. Mas pensem se o que deve ser avaliado não é a eficácia, a eficiência e a efetividade desta política pública.... claro, para uma monografia isso pode ser muito complexo.... mas, deve haver uma hipótese que sustenta essa escolha de objeto... por que os editais?

Quem são os interessados na avaliação deste instrumento? primeiro, o gestor da ação, que tem que cumprir metas e prazos no menor custo possível, com a máxima qualidade. Ou seja, ele é o responsável pelas dimensões eficácia, eficiência e qualidade. Os órgãos de controle (interno e externo) vão querer saber se este instrumento garante os princípios da legalidade, da equidade e da economicidade. São outras dimensões. Por fim, chegamos nos parceiros: a eles interessa que os editais sejam factíveis, ou seja, que ele permita a execução dos projetos sem prejuízo de sua gestão - por exemplo, os contratos não podem ser firmados com prejuízo de nenhuma das partes. 

A partir dessas dimensões, há que discutir qual método será usado para avaliá-las - metodos mais quantitativos (com uso de indicadores?), métodos mais qualitativos, com questionários e entrevistas? 

Enfim... são as contribuições que consigo dar de bate-pronto... Fiz uma avaliação que incluía a dimensão processo para o Progrma de Qualidade e Produtividade do Habitat - Ministério das Cidades... se interessar... posso te mandar....

Abraços

Olá Márcia, muito obrigado pelas colocações, elas ajudam muito a clarificar o que pode ser avaliado. Acho que você está certa, a ideia de avaliar os editais passa por uma tentativa de avaliar o processo de execução/implementação da política. Nesse sentido, a pergunta: o formato descentralizado (materializado nos editais e suas regras) consegue fazer isso de forma satisfatória?  (você acha que poderíamos começar com esta "pergunta de pesquisa" ou você sugere outra/s?)

Dado este breve cenário, como você formularia a pergunta avaliativa?

A ideia de analisar os editais passa pelo fato de que são apenas 3, de que há poucos projetos financiados por edital e por que haverá pouco tempo para a pesquisa. Ainda, parte dos projetos não está finalizada, não sendo possível saber quais foram os resultados finais gerados.

Os interessados na avaliação são, como vc disse, os gestores da política, que nunca fizeram uma avaliação deste programa, em nenhum dos seus aspectos e também as entidades financiadas, que poderão contribuir para um processo mais eficiente/eficaz nos futuros editais que serão lançados.

O método mais factível seria um questinário a ser enviado aos coordenadores de projetos financiados e entrevistas com os gestores governamentais do programa. Podemos pensar em alguns indicadores quantitativos, que poderiam complementar a avaliação quali, mas isso seria bem "marginal". 

Um abraço!

Olá Luiz,

Posto aqui o resultado de nossas conversas e da troca de ideias sobre os processos de avaliação de políticas públicas - a monografia elaborada para a conclusão da especialização em gestão de políticas públicas intitulada Análise da Implementação do Programa Genoprot.

Abraços.

Anexos

òtimo Andrea, que bacana disponibilizar aqui, acho que pode ser de grande ajuda para outros alunos que trabalham com o mesmo tema! Parabéns pelo seu esforço e dedicação, que se traduzem no conteúdo daa própria monografia! 



Marcia Joppert disse:

Prezado Luiz, 

Para mim não fica muito bem claro o que significa avaliar os editais... acho que na verdade o que está sendo avaliado, pelo que vc conta, é o processo de execução (que é descentralizado), cuja estratégia é repassar recursos a parceiros, cujo instrumento são os editais, que geram um contrato de financiamento ou repasse. 

Se vocês acham que quem deve ser avaliado é o instrumento (e isso tem que ser discutido com os diversos atores), partimos daí. Mas pensem se o que deve ser avaliado não é a eficácia, a eficiência e a efetividade desta política pública.... claro, para uma monografia isso pode ser muito complexo.... mas, deve haver uma hipótese que sustenta essa escolha de objeto... por que os editais?

Quem são os interessados na avaliação deste instrumento? primeiro, o gestor da ação, que tem que cumprir metas e prazos no menor custo possível, com a máxima qualidade. Ou seja, ele é o responsável pelas dimensões eficácia, eficiência e qualidade. Os órgãos de controle (interno e externo) vão querer saber se este instrumento garante os princípios da legalidade, da equidade e da economicidade. São outras dimensões. Por fim, chegamos nos parceiros: a eles interessa que os editais sejam factíveis, ou seja, que ele permita a execução dos projetos sem prejuízo de sua gestão - por exemplo, os contratos não podem ser firmados com prejuízo de nenhuma das partes. 

A partir dessas dimensões, há que discutir qual método será usado para avaliá-las - metodos mais quantitativos (com uso de indicadores?), métodos mais qualitativos, com questionários e entrevistas? 

Enfim... são as contribuições que consigo dar de bate-pronto... Fiz uma avaliação que incluía a dimensão processo para o Progrma de Qualidade e Produtividade do Habitat - Ministério das Cidades... se interessar... posso te mandar....

Abraços

Não sou avaliadora, mas como professora universitária tive que orientar muitos alunos. No caso específico, se ela quer avaliar os editais é possivel sim, desde que ela explicite isso, e demonstre até que ponto os editais resultaram em uma boa escolha do avaliador ou organização avaliadora, indicavam ao vencedor, praticamente, e de modo claro  as bases dos termos de referencia para quem ganhasse a avaliaçao. Outro item do julgamento seria a completude do edital para que resultasse em uma escolha capaz de produzir os resultados acima indicados pela Marcia.

Professora Rosinethe Monteiro Soares-aposentada UNB- esserebr@yahoo.com

Entendi o que vc falou. Trabalho na avaliação de editais da Fundação Nacional de Artes. Acabamos de fazer um mapeamento em relação a isso e vamos disponibilizar.

 

Na verdade você vai avaliar a gestão do  edital, ou seja, no nosso caso , sob a ótica do premiado , proponente que executou a ação, enviaremos uma série de preguntas quantitativas e qualitativas para verificarmos o seu atingimento, mas principalmente a avaliação se dará em diversos níveis, podendo alcançar desde sua eficácia, até a gestão e o processo com que se deu, dependendo da forma com que baliza e mede seus instrumentos.

 

Meu contato é : fl.ribeiro@globo.com

 

Abraços.

Responder à discussão

RSS

Revista Brasileira de Monitoramento e Avaliação

#Eval4Action

Siga-nos no Facebook!

© 2021   Criado por Marcia Joppert.   Ativado por

Badges  |  Relatar um incidente  |  Termos de serviço

a.next_photo_link img:hover {transform:scale(1.20);-ms-transform:scale(1.20);-o-transform:scale(1.20);-webkit-transform:scale(1.20);-moz-transform:scale(1.20); transform:scale(1.20);-webkit-transition:all 1s ease-out;-moz-transition:all 1s ease-out;transition:all 1s ease-out;-ms-transition:all 1s ease-out;-o-transition:all 1s ease-out;}