Uma nota, maestro – IDSUS, IDEB, IDH, e algumas ideias sobre como fazer um bom uso de índices de desempenho em políticas públicas

Republico aqui o blog "Política & Políticas" publicado por Daniel de Bonis, membro da nossa Rede, (link abaixo), com uma interessante análise sobre o IDSUS e o bom uso de índices de desempenho em geral. 

http://danieldebonis.org/2012/03/09/uma-nota-maestro-idsus-ideb-idh...

Uma nota, maestro – IDSUS, IDEB, IDH, e algumas ideias sobre como fazer um bom uso de índices de desempenho em políticas públicas

Publicado em 09/03/2012

Este mês, Ministério da Saúde lançou uma inovação importante em termos de gestão pública: o IDSUS – Índice de Desempenho do SUS, um novo indicador síntese da situação da saúde pública em cada um dos municípios e Estados brasileiros.

A saúde se destaca, dentre as demais políticas públicas, pela disponibilidade e qualidade dos dados e indicadores disponíveis aos pesquisadores e gestores, um resultado, sem dúvida, de uma cultura profissional advinda das ciências médicas. A inovação do IDSUS é a tentativa, ousada, de sintetizar a realidade da saúde pública em uma localidade num único número numa escala de zero a dez – a exemplo do que já faz o Ideb – Índice de Educação Básica. Ambos são, de certa forma, frutos da iniciativa pioneira do Pnud, órgão da ONU, de criar o IDH – Índice de Desenvolvimento Humano, sobre o qual já escreviaqui.

Segundo os números divulgados pelo Ministério, o Brasil como um todo obteve a “nota” 5,4. Os estados mais bem avaliados foram Santa Catarina e Paraná; os piores, Pará e Rondônia. Entre as capitais, Vitória e Curitiba tiveram as melhores avaliações, e Rio de Janeiro e Belém as piores. São Paulo obteve o sétimo lugar entre os Estados e o oitavo entre as capitais. O resultado muito ruim do Rio de Janeiro (pior capital e terceiro pior Estado) gerou reações bastante estridentes das autoridades locais.

Não pode haver dúvida que a disponibilidade de um índice como esse é um passo no caminho certo. Trata-se de enorme ganho de accountability, ou seja, da capacidade da sociedade avaliar adequadamente os avanços públicos numa área essencial para o seu bem estar, o que possibilita uma maior responsabilização de políticos e gestores pelos resultados de suas ações. Apesar disso, parece evidente que traduzir a complexidade de todo um conjunto de políticas públicas num único número é uma tarefa que não pode ser feita sem gerar distorções e injustiças. Daí que, se o índice é importante, há que se ter muito cuidado em seu uso e sua divulgação.

O IDSUS é calculado por um processo complexo: ele se compõe de 24 indicadores, 14 associados à cobertura (acesso da população ao SUS) e 10 à efetividade (resultados esperados) em cada localidade. Os indicadores de cobertura abrangem a atenção básica, atenção ambulatorial e hospitalar enquanto os indicadores de efetividade tomaram os diversos níveis de atenção em conjunto. Os municípios foram agregados em seis grupos dentro dos quais as realidades demográficas e epidemiológicas seriam comparáveis.

Pra quem se interessar em uma avaliação profunda da metodologia do IDSUS e alguns de seus problemas, recomendo altamente o post do especialista André Médici em seu blog. André mostra como há sim distorções importantes no cálculo do índice, que aparentemente dá pouco peso relativo às políticas de atenção básica em relação às de média e alta complexidade, entre outras questões.

Para além da questão técnica, o ponto mais crítico sem dúvida são as formas de entendimento e uso do índice. Isso porque a tendência é que as nuances técnicas se percam quando da divulgação dos dados para a opinião pública. A paixão da mídia por rankings e notas faz com que números cujo significado se desconhece sejam trombeteados como vereditos finais e objetivos, em que os mais bem avaliados são festejados, os piores são condenados, sem que se entenda muito bem por que.

O especialista em educação Francisco Soares fez recentemente um comentário importante, no blog de Simon Schwartzman, sobre as limitações do IDEB na educação, do qual retiro um trecho:

“Tem-se divulgado, principalmente a imprensa, que se pode usar a experiência de interpretação de notas escolares, usualmente atribuídas com números entre 0 e 10, para interpretar o IDEB. Isso facilitaria a compreensão do índice. No entanto, o IDEB só atinge o valor mais alto em uma situação inusitada, aquela em que todos os alunos de uma mesma escola têm a mesma nota e essa nota é a maior nota possível. Isto obviamente não ocorre em situações educacionais reais. A interpretação ingênua do IDEB como nota da escola é muito problemática, pois toma como reais situações que são apenas construções estatísticas. Por exemplo, um IDEB de 5 não é tão baixo como a nota 5 e escolas com IDEB de 4 e 5 estão muito longe uma das outras, ao invés de próximas como as notas sugerem” [grifo nosso].

O que Chico Soares mostra é que a escala de 0 a 10, feita para tornar o resultado do índice facilmente compreensível, paradoxalmente acaba gerando uma distorção grave de entendimento na sociedade sobre o real significado do Ideb.

Como lidar com esse tipo de situação sem jogar fora o bebê com a água do banho, ou seja, sem abandonar os índices, que são sem dúvida marcos importantes na transparência relação entre Estado e sociedade? Aponto humildemente alguns palpites.

Em primeiro lugar, devagar com o andor. Os índices apontam um caminho promissor para a contratualização de resultados na gestão pública – possibilitando, por exemplo, premiar os gestores com melhores resultados – mas não devem se transformem no único parâmetro, e o ideal é que sejam utilizados com cautela, enquanto se avaliam, ao longo do tempo, as possibilidades de correção de deficiências, ajustes etc.

Em segundo lugar, é importante sempre ter cuidado na comunicação dos resultados. Índices como Ideb e o IDSUS são ideais para que se tenha uma visão de longo prazo da evolução da área, e não ano a ano ou mesmo gestão a gestão (o IDH cumpre exatamente esse objetivo, como demonstram os magníficos gráficos do professor Hans Rosling). Note-se que no caso do IDSUS alguns números são relativos a 2008, ou seja, anteriores ao mandato atual dos prefeitos. Assim, o ideal teria sido divulgar não apenas os números atuais, mas uma série histórica com alguns anos para trás, dando maior perspectiva aos resultados (naturalmente digo isso sem saber se seria tecnicamente possível). Sua divulgação, da forma como foi feita, e num ano de eleições municipais, já está levando muitos políticos a questionar e atacar o índice, o que pode prejudicar sua legitimidade.

Um terceiro ponto é levantado por Médici em seu texto: a opção de se utilizar um painel de indicadores, ao invés do índice único. Um exemplo seriam as Metas do Milênio definidas pela ONU para o desenvolvimento social no mundo até 2015. As vantagens são claras: evita-se o fetiche do ranking e da “nota”; ao invés disso, são escolhidos alguns indicadores fundamentais e de simples entendimento, que passam a ser monitorados de forma pública e transparente. Afinal, é mais fácil entender o significado do índice de mortalidade infantil do que se embrenhar nas complexidades estatísticas do IDSUS

(Ou, como diria um crítico dos índices de políticas públicas atuais: imagine que o painel do seu carro, ao invés dos mostradores de velocidade, rotações por minuto do motor e volume do tanque de gasolina, apresentasse um único e grande número, em mostrador digital, o IDV – Índice de Desempenho Veicular – variando de 0 a 10 e calculado a partir de uma média que levasse em conta ao mesmo tempo a velocidade, as rotações e o combustível. Seria mais fácil ou mais difícil dirigí-lo?)

Um último comentário, que extrapola a esfera governamental, diz respeito ao papel da mídia na divulgação e na reflexão sobre os resultados. É muito difícil discutir políticas públicas com propriedade se os meios de comunicação se limitam a reproduzir números sem nem mesmo o cuidado de explicar ao público seus significados. Sim, a nota “de 0 a 10” mexe com o imaginário infantil de todos, mas é preciso ir mais fundo que isso se queremos qualificar o debate e fortalecer a democracia.

Exibições: 978

Comentar

Você precisa ser um membro de Rede Brasileira de Monitoramento e Avaliação para adicionar comentários!

Entrar em Rede Brasileira de Monitoramento e Avaliação

Comentário de Daniel De Bonis em 14 março 2012 às 18:18

Obrigado por compartilhar o texto, Márcia. Mais reflexões minhas sobre políticas públicas podem ser encontradas em http://danieldebonis.org .

Associe-se

#Eval4Action

Revista Brasileira de Monitoramento e Avaliação

Pessoal, todas as edições da Revista estão aqui na Plataforma, mas alguns membros se queixaram da dificuldade de localizar os números anteriores. Então, estou abrindo aqui essa janela novamente e colocando todos os números aqui.

A boa notícia é que estamos planejando retomar a Revista em 2020. Aguardem! 

A Diretoria

Revista_BMA_1.pdf

Revista_BMA_2.pdf

Revista_BMA_3.pdf

Revista_BMA_4.pdf

Revista_BMA_5.pdf

Revista_BMA_6.pdf

Revista_BMA_7

Revista_BMA_8

Revista_BMA_9

Siga-nos no Facebook!

© 2020   Criado por Marcia Joppert.   Ativado por

Badges  |  Relatar um incidente  |  Termos de serviço

a.next_photo_link img:hover {transform:scale(1.20);-ms-transform:scale(1.20);-o-transform:scale(1.20);-webkit-transform:scale(1.20);-moz-transform:scale(1.20); transform:scale(1.20);-webkit-transition:all 1s ease-out;-moz-transition:all 1s ease-out;transition:all 1s ease-out;-ms-transition:all 1s ease-out;-o-transition:all 1s ease-out;}