WhatsApp Image 2019 10 03 at 09.24.35O Projeto Integrar foi desenvolvido com a cooperação técnica da OCDE e em parceria com nove Tribunais de Contas brasileiros. Ele tem como objetivo o desenvolvimento de uma ferramenta de coordenação entre as ações dos Tribunais de Contas na análise de políticas públicas descentralizadas.

Inicialmente, o piloto do projeto está acontecendo na área de educação e, por isto, é atribuído à coordenação do Comitê de Educação do IRB, participando do Projeto os Tribunais de Contas membros deste Comitê.

Em 2018 houve a assinatura do Acordo de Cooperação entre os Tribunais e deu-se início às primeiras pesquisas e desenvolvimento do referencial analítico do projeto.

Agora, o Projeto está em fase de apresentação e debates sobre o primeiro protótipo da ferramenta de coordenação.

Nos dias 1 e 2 de outubro, na Assembleia Legislativa do Estado do Paraná, os integrantes do Projeto estão reunidos para avançarem nas fases do Projeto.

A reunião foi aberta, nesta manhã, contando com a presença, na mesa de abertura, do TCU, através da coordenadora do Projeto, Renata Carvalho e a Secretária da SECEX Educação, Vanessa Lopes, do Comitê de Educação, por meio de Nelson Nei Granato Neto, do IRB, pela sua Diretora, Cons. Naluh Gouveia (TCEAC), e da OCDE, via telepresencial, por meio da consultora Estela Souto.

Do Protótipo apresentado pela OCDE
Do Protótipo apresentado pela OCDE Com base na metodologia de design thinking, que partiu da definição conjunta da demanda, e com o objetivo de apoiar os Tribunais de Contas, a OCDE buscou uma proposta de ferramenta de como os TCs podem selecionar da melhor forma auditorias em educação em um contexto descentralizado.

ond estamos copy

 

A proposta inicial é criação de uma ferramenta para o uso de indicadores, análise de dados e fluxograma, somado com mecanismos de colaboração:

Premissas principais do protótipo

Para desenhar o protótipo, a OCDE se baseou nas seguintes premissas:

1. Para que a utilização da ferramenta em colaboração com vários TCs seja possível, é necessário um sistema simples, com um número limitado de indicadores;
2. A legislação nacional e os planos formalmente adotados em todo o país são as melhores definições disponíveis de quais são os objetivos do sistema educacional;
3. O desempenho do sistema educacional (ou de seus elementos) deve ser analisado com base em indicadores de produtos e resultados, ao invés de insumos e processos.
4. Os relacionamentos lógicos entre todos os elementos do sistema e processos não podem ser capturados por meio de modelos ou de indicadores quantitativos, havendo a necessidade de pesquisas qualitativas adicionais que estão fora do escopo da seleção de auditoria;
5. A governança multinível é um elemento contratual importante que influencia a execução e o resultado final de políticas públicas e deve ser um objeto especifico de análise durante a seleção de auditoria;

Com o uso de uma ferramenta de interação com os membros participantes do projeto, a OCDE apresentou as premissas principais do protótipo que foram avaliadas pelos presentes.

etapas de análise

 

Num primeiro nível, usaríamos indicadores do PNE, como forma de avaliar o desempenho chave: quais setores tem baixo desempenho? Que regiões apresentam baixo desempenho? Quais municípios tem baixo desempenho? Quais escolas tem baixo desempenho?

Num segundo nível, utiliza-se indicadores de educação:

Nas escolas: proporção aluno/recursos financeiros; proporção aluno/professor, competência do professor.
No sistema: responsabilidades atribuídas, responsabilidade financiadas, capacidade, coordenação, mensuração de desempenho, governança multinível.
E, por fim, faz-se uma análise temática, considerando: áreas de políticas publicas, governança, entidades, temas transversais em políticas públicas, temas transversais de governança, questões de diversas entidades.

Para avaliação do protótipo apresentado, sugeriu-se aos participantes opinando sobre as seguintes questões:

O modelo consistirá em um modelo mínimo, relativamente fácil de implementar e que poderá ser expandido ao longo do tempo;
O modelo utilizará as metas do Plano Nacional de Educação (PNE) como principal referência dos objetivos da política educacional brasileira;
O modelo incluirá um número limitado de indicadores de primeiro nível para diferentes setores do sistema educacional, em relação aos quais existem dados em níveis estaduais e/ou municipal, de maneira a permitir o monitoramento do desempenho local e regional;
Sempre que possível, os indicadores de primeiro nível serão indicadores de produtos e de resultados do sistema educacional;
Os indicadores de primeiro nível serão complementados por um Segundo nível de indicadores relacionados aos mesmos setores do sistema educacional, e esses indicadores capturarão variáveis que supostamente influenciam o desempenho dos indicadores de primeiro nível;
Os indicadores de segundo nível serão indicadores relativos às condições das escolas e às questões de governança multinível;
Seria mais apropriado implementar o modelo por meio de uma ferramenta de dados digital, que auxiliasse o monitoramento e a seleção de auditorias, e que permitisse a categorização e a organização de dados relevantes de maneira lógica e estruturada.

Do Primeiro Nível de Indicadores Chaves

Na medida do possível devem ser indicadores de resultado. O que se pretende é que sejam indicadores de desempenho e cobertura.

Isto é, saber se os alunos realmente estão na escola e se realmente adquirem habilidades, utilizando-se indicadores disponíveis.

A partir deste primeiro nível, conseguiremos identificar as fragilidades dos setores educacionais em diferentes níveis. E, para tanto, sugeriu-se o seguinte compilado de indicadores:

setor educação

 

Assim, para se decidir o que de fato auditar e quais energias serão necessárias, é preciso juntar esta análise com os próximos níveis.

Entendendo o primeiro nível, os participantes se debruçaram a opinar sobre:

1. A análise da tendência dos resultados dos indicadores nos permitirá identificar deficiências gerais de desempenho em cada setor educacional, nos níveis nacional, estadual, municipal e no nível das escolas;
2. Você tem sugestão de outros indicadores-chaves de desempenho, baseados em resultados, que devam ser incluídos no modelo?

Segundo Nível: Escolas

O plano Nacional de Educação inclui apenas algumas metas das variáveis que estão sendo discutidas no Projeto.

Enquanto que no primeiro nível se verificam praticamente percentual, neste nível deve-se comparar a média nacional, estadual e municipal destes resultados.

Para o segundo nível, especificamente na análise das escolas, sugere-se os seguintes indicadores:

indicadores

O que se deve analisar deste segundo nível:

1. Se uma análise da tendência dos resultados dos indicadores nos permitirá identificar os insumos essenciais e/ou os pontos fraco operacionais que podem contribuir para a explicação de baixos desempenhos nos níveis nacional, estadual, municipal e no nível das escolas;
2. Você tem sugestões de outros dados quantitativos de insumos ou indicadores de processo no nível das escolas que devam ser incluídos no modelo?

Segundo nível: Sistema

Segundo nível: Sistema Neste nível, não existem metas legais expostas objetivamente e também quase não existem indicadores consistentes em relação à governança multinível.

Está parte esta sendo desenvolvida, por isto não tem respostas prontas de quais indicadores usar. É um dos temas mais delicados do Projetos, mas sugere-se que com base em evidências qualitativas se consiga ver:

segundo nivel

Assim, em cada um destes pontos atribui-se uma pontuação. E, analisando sistematicamente com outras informações quantitativas, pôde-se chegar ao melhor escopo e objeto nas auditorias.

Em relação a esta proposta de segundo nível: sistemas, é preciso analisar se:

1. As pontuações de maturidade dos indicadores de sistema nos permitirão identificar deficiências críticas no sistema de governança multinível que podem contribuir para a explicação de baixos desempenhos nos níveis nacional, estadual, municipal e no nível das escolas.
2. Você tem sugestões de outros indicadores qualitativos de governança que deva ser incluídos no modelo?

Da fase da análise temática

É a combinação das fases anteriores. Está em desenvolvimento e consistirá na consolidação dos resultados das etapas anteriores para formular questões passíveis de serem consideradas para auditoria, que possam auxiliar na explicação dos resultados e do desempenho de políticas públicas.

Pelo cronograma do Projeto, na próxima missão OCDE no Brasil, ao final de novembro, espera-se ter uma proposta mais aprofundada desta fase de análise temática.

Ainda assim, é importante avaliar sobre esta fase se o resultado desejado da análise temática será a identificação dos principais desafios de desempenho que são necessários (mas não suficientes) para priorizar as auditorias por tópicos, setor de educação e localização geográfica.

Do modelo conceitual do Projeto Integrar

modelo

O protótipo baseou-se no modelo conceitual partindo da Governança, dos insumos, passando pela análise das escolas / alunos e chegando nos resultados.

Não foram todos os itens do modelo conceitual que foram usados no protótipo, uma vez que se considerou os indicadores existentes.

A OCDE considerou que o protótipo tem o mínimo e necessário para atingir o objetivo, mas destaca a possibilidade do protótipo ampliar sua abrangência para englobar outros itens do modelo conceitual.

Reforça-se que a ideia é ter um modelo mínimo alcançável por todos os Tribunais.

Visão Geral do Projeto

2018- Pesquisa, envolvimento e Referencial Analítico

2019- Pesquisa e análise de desenvolvimento de modelo de indicadores, pesquisa e análise sobre seleção de auditorias pelos TCs, duas missões no brasil, planejamento inicial da fase de testes

2020- Realização dos testes.

Próximos passos

passos