RELATÓRIO E PARECER PRÉVIO DO TCE - EXERCÍCIO 2017

Seção Analítica: Planejamento e gestão das ações de política pública TRIBUNAL DE CONTAS DO ESTADO DA BAHIA 43 2.2.5.3 Quanto à avaliação realizada  Fragilidade da metodologia para avaliação de desempenho na dimensão efetividade A lei que aprovou o PPA 2016-2019 assim estabelece quanto à avaliação na dimensão efetividade: Art. 4º – […] § 1º – O Programa terá sua efetividade aferida por meio de Indicadores compatíveis com a capacidade de promoção de mudanças do conjunto de Compromissos setoriais formulados. § 2º – Os Indicadores do Programa buscam mensurar a variação da realidade como uma aproximação do resultado das ações do programa de governo. (grifos da Auditoria) No exercício de 2017, de acordo com o Relatório de Execução do PPA, adotou-se uma nova sistemática de avaliação dos programas por meio dos indicadores, com data de corte de 31/10/2017, na qual foi verificada se a evolução ocorreu em conformidade com as respectivas polaridades, atribuindo-se os seguintes conceitos: positiva (evolução no sentido da polaridade), nula (se constante/sem alteração) e negativa (evolução contrária ao sentido da polaridade). Entretanto, a metodologia adotada para avaliação dos 20 Programas do Executivo Estadual por meio dos seus indicadores 16 , fundamentada apenas na movimentação do indicador no sentido da sua polaridade, mostra-se insuficiente, tendo em vista que: (i) não sinaliza que aspectos dos compromissos do programa impactariam seus resultados; (ii) não apresenta qualquer análise da evolução dos indicadores em relação ao valor de referência (que representam a realidade aferida no marco inicial dos programas, considerando os dados parciais de 2017 em relação aos parciais apurados em 2016); e (iii) não informa, quando aplicáveis, justificativas para existência de indicadores sem dados válidos para avaliação. Para se avaliar o resultado das ações dos Programas de Governo e os impactos gerados pelos produtos/serviços, o critério a ser utilizado deve ter por premissa que os indicadores definidos permitem vincular à intervenção realizada, com maior grau de aproximação, as mudanças produzidas na realidade. De acordo com o “Guia Referencial para Medição de Desempenho e Manual para Construção de Indicadores”, do Ministério do Planejamento, Orçamento e Gestão (MPOG), fl. 19, a análise de desempenho dos programas na dimensão efetividade refere-se aos impactos gerados pelos produtos/serviços, processos ou projetos, visto que, de acordo com o Guia, “a efetividade está vinculada ao grau de satisfação ou ainda ao valor agregado, a transformação produzida no contexto em geral”. Trata-se de verificar se as transformações produzidas no contexto em geral foram realmente causadas pelas ações desenvolvidas e não por outros fatores. Assim, haveria necessidade de avaliação das diversas variáveis envolvidas, visando a atribuir correlação dos efeitos apresentados com as ações executadas, ou seja, a evolução ou involução de acordo com a polaridade dos mesmos não concluiria a avaliação. Sobre esse aspecto, destaca-se o apontamento da AGE no Parecer nº 01/2018: “Dada a dimensão dos programas finalísticos do PPA 2016-2019, é necessário que a própria evolução (dos indicadores) seja mais discutida, para que se possa concluir também sobre a intensidade do efeito da política pública ”. (grifo da Auditoria) 16 Quadros “3 – Evolução dos Indicadores por Programa, Bahia 2016-2017” (fl. 61) e “4 – Desempenho do Programa, páginas” (p. 69-220).