Indicadores são um aspecto fundamental para que as iniciativas sociais possam prestar contas à sociedade e mostrar o impacto que seu trabalho gerou. No entanto, apesar de sabermos que são importantes, este ainda é um gargalo, ou por desconhecimento sobre o tema ou por dificuldade de estabelecer indicadores relevantes e mensuráveis.
Para nos ajudar na compreensão desse assunto, conversamos com a especialista em gestão de projetos e líder do Programa Rede Mulheres do Maranhão, Solange Machado, que nos explicou como os indicadores são construídos, suas características e suas diferenças, além de dar dicas para quem está começando a construir as bases de sua própria iniciativa.
O que são os indicadores de impacto, de resultados e qual a diferença entre eles?
Os indicadores, sejam eles de impacto ou resultados, são o guia do gestor de uma iniciativa ou organização para mensurar a eficácia, a eficiência e a efetividade do trabalho.
A eficácia diz respeito a quais práticas melhor utilizaram os recursos disponíveis, a eficiência representa as medidas que geraram os melhores resultados e a efetividade se refere às ações que alcançaram o maior impacto, seja nas pessoas ou no território em que a iniciativa atua.
Esses indicadores podem ser mensurados de duas formas: quantitativa e qualitativamente. Na primeira opção, a base são os números, por exemplo um indicador que mede a quantidade de famílias atendidas por um programa de distribuição de cestas básicas, já na segunda a apuração é subjetiva, ou seja, expressam variáveis que não podem ser medidas com números. Alguns exemplos são valores, liderança, autoestima, entre outros.
Os indicadores de resultado avaliam se as metas estabelecidas no planejamento estratégico da iniciativa foram atingidas. Solange Machado explica que essa medida traz “retorno imediato, por exemplo, número de inscritos, índice de satisfação, número de beneficiários do projeto”.
Já o indicador de impacto analisa se os objetivos, ou seja, a promessa do projeto, resultou em mudança no território, comunidade ou espaço em que está sendo desenvolvido. Solange dá ainda um exemplo prático de como esses dois indicadores se cruzam e se complementam com base nos eixos de atuação da Fundação ABH.
A espinha dorsal da Fundação ABH é o desenvolvimento comunitário local e para atingir este objetivo possui quatro áreas de apoio: investimento financeiro, capacitação, atuação em rede e mentoria.
A especialista em gestão comenta que, na área de investimentos, se a mensuração tivesse como base um investimento de x reais para que uma iniciativa comprasse materiais e equipamentos para realizar oficinas de arte e cultura em um determinado território, o resultado seria o projeto ter se tornado o primeiro centro cultural local, já o impacto se refletiria na contribuição para que moradores da região tenham acesso a cultura, por exemplo. Essa é uma hipótese levando-se em conta uma situação específica, mas, no geral, Solange ressalta que o impacto de um determinado investimento vai depender dos benefícios que o projeto trouxer para a sociedade.
Na área de capacitação, o resultado poderia ser mensurado no número de iniciativas da periferia sul de São Paulo inscritas na formação em requerimentos e processo de formalização em 2022, já o impacto estaria refletido no número de associações regularizadas que estão trazendo novos projetos para as comunidades onde estão inseridas.
Para o campo de atuação em rede, o resultado seria ter x iniciativas na nossa rede de apoio, o impacto seria representado no número de organizações que estão efetivamente trabalhando juntas em prol do território em que estão inseridas.
Por fim, na área de mentoria, o resultado seria x líderes do território inscritos na mentoria do ano de 2022, por exemplo; já o impacto seriam os mentorados desse período buscando novos conhecimentos e multiplicando os conhecimentos adquiridos no processo.
Como definir os indicadores para a sua iniciativa?
Antes de explicar como definir os indicadores para a sua iniciativa, é necessário entendermos porque é importante defini-los. Esse processo é fundamental, porque através dos indicadores construímos uma base objetiva que nos permite avaliar o funcionamento das partes de uma iniciativa. Mas, por onde começamos? A resposta é: pela Teoria da Mudança.
A Teoria da Mudança é uma metodologia de planejamento a partir da qual você vai construir um mapa que traduz as mudanças pretendidas por sua organização no território de atuação, ou seja, responde o porquê a sua iniciativa existe e consequentemente o que é preciso para atingir os seus objetivos.
Com a Teoria da Mudança desenhada, partimos para o planejamento estratégico. Mas, o que é isso? O planejamento estratégico é um documento que reúne todas as informações possíveis e necessárias sobre a sua iniciativa, dentre elas os objetivos a curto, médio e longo prazo.
Os objetivos definem aquilo que você pretende com seu projeto e é a partir deles que definimos quais são as metas necessárias para alcançar aquilo que a iniciativa se propõe a fazer.
A partir deste planejamento, é fundamental criar um questionário com perguntas que estejam alinhadas com os objetivos estratégicos da iniciativa, acordar com as partes envolvidas que essas questões serão a linha de base dos indicadores e definir o prazo de medição.
“E determinar principalmente quanto tempo após o fim do projeto a medição continua, pois isso interfere em questões burocráticas e de orçamento”, explicou Solange, que acrescentou que a resposta para todas essas questões varia de acordo com o segmento do projeto e o tipo de indicador que será criado.
O planejamento estratégico e a teoria da mudança são pontos extremamente importantes para que a iniciativa tenha bases sólidas que direcionam as ações da iniciativas nos mais diversos setores, como na forma de se comunicar com o público.
Por exemplo, de acordo com a diretora executiva da Fundação ABH, Marina Fay, apesar de já ter passado pelo processo de criação do planejamento estratégico, a organização está repassando por esse processo ao longo de 2022, junto ao seu Comitê Consultivo, para fazer essa construção de maneira colaborativa, trazendo a voz do território para sua estratégia.
Características dos indicadores
Para ser efetivo, um indicador precisa ter 5 características. Solange Machado explica que existe uma metodologia, chamada SMART, que serve como um padrão para garantir a efetividade dos indicadores.
Confira na tabela abaixo:
Para cada um destes itens, a especialista em gestão de projetos apresenta uma pergunta que deve ser respondida de forma positiva para que os indicadores criados sejam estabelecidos de forma assertiva.
- Específico: Qualquer pessoa que ler não vai ter dúvida do que será medido?
- Mensurável: Tem certeza de que isso que todos sabem que vai ser medido pode ser medido?
- Atingível: Isso pode ser medido dentro do prazo, escopo e orçamento do seu projeto?
- Realista: É realmente importante para o projeto e para a sociedade medir isso?
- Temporizável: De quanto em quanto tempo a coleta desses dados será realizada?
Solange comenta que alguns gestores costumam se perder por querer medir mais de uma coisa em um mesmo indicador.
Ela destaca ainda que, para projetos patrocinados, não alinhar com o patrocinador os indicadores que serão medidos e não fazer o questionário para criar o ponto de partida da organização são erros comuns de serem cometidos. Ela deixa uma dica para quem está começando a construir as bases de sua iniciativa:
“É necessário que as pessoas façam esse questionário e tenham certeza de que essas perguntas estão alinhadas com aquilo que se pretende medir, por isso é tão necessário ter o padrão dos Indicadores Smart. Pensem em que tipo de indicador você quer, em qual o padrão de medida que você vai utilizar, se vai ser comparativo ou vai usar um grupo de controle, para fazer com esse indicador de impacto seja medido”.
Meios de análise e monitoramento
Depois de cumprir todos os passos anteriores e estabelecer os indicadores necessários para analisar a sua iniciativa, existe um trabalho constante de monitoramento e avaliação que é realizado através do método científico que você definir para o seu projeto.
Solange Machado relata que em seu processo de trabalho costuma utilizar dois métodos científicos que são classificados em níveis.
Nível 1- Comparativo
“No Nível 1, comparamos dados do grupo (ou projeto analisado) com ele mesmo, com estatísticas, pesquisas ou outras fontes seguras”. Um exemplo do Nível 1 seria comparar os dados de um projeto antes de executá-lo e após um determinado período de tempo.
Para compreendermos melhor, a gestora usou como exemplo o impacto que uma capacitação em empreendedorismo realizada teria em um território.
O indicador de resultado já sabemos que seria a quantidade de participantes inscritos na formação, já para saber se a capacitação impactou o território, uma opção seria fazer um questionário, antes das formações, com perguntas direcionadas para medir o nível de conhecimento sobre o tema e uso dos conteúdos que vai aplicar antes e depois das aulas.
Nível 2 – Grupo de Controle
De acordo com Solange, o Nível 2 se trata da análise feita entre dois grupos com características iguais, sendo que um participa da capacitação e outro não, “mas ambos serão monitorados para que possamos avaliar ao longo e depois do projeto quais mudanças ocorreram no grupo atendido e no grupo não atendido pelo projeto”.
Vamos supor que abramos inscrição para uma capacitação em empreendedorismo, a organização recebe 30 adesões, mas dispõe de somente 20 vagas. No final da seletiva, os 10 inscritos que ficaram de fora da formação vão ficar como grupo de controle.
E como medir o impacto desse projeto através desse método? A gestora explica que os 10 participantes do grupo de controle vão responder o mesmo questionário inicial que os 20 selecionados para a capacitação.
Além disso, a cada três meses, a organização deverá conversar novamente com eles para ver o que andam fazendo, como estão desenvolvendo suas atividades cotidianas, fazer alguns comparativos entre os grupos e, no final, comparar a evolução dos 10 participantes do grupo de controle e das 20 pessoas que passaram pelo processo de capacitação.
Dicas de por onde começar!
Para te ajudar neste processo, indicamos o Guia de Indicadores da Vitrine de ONGs para o Terceiro Setor produzido pelo Instituto Liga Social com apoio do Fundo BIS. A publicação auxilia as Organizações da Sociedade Civil a se autoavaliarem, registrarem e reportarem o resultado de suas ações.
Solange recomenda também outras duas publicações: a primeira é a Avaliação de Políticas Públicas – Guia prático de análise ex post coordenada pela Casa Civil da Presidência da República em parceria com os Ministérios da Fazenda, da Transparência e Controladoria-Geral da União (CGU), do Planejamento, Desenvolvimento e Gestão e o Instituto de Pesquisa Econômica Aplicada (Ipea).
A segunda é Avaliação de Impacto na Prática desenvolvida pelo Grupo Banco Mundial e o Banco Interamericano de Desenvolvimento.
Por que é importante avaliar os indicadores de resultado e impacto?
As métricas apuradas através dos indicadores de resultado e impacto permitem que uma iniciativa monitore e avalie ações desenvolvidas ao longo de um ano, por exemplo, e crie uma base objetiva que possibilita ao gestor tomar decisões sobre o futuro do projeto.
Solange Machado acrescenta que “o monitoramento dos resultados ajuda a planejar ações de melhoria e avaliar tendências, já o monitoramento dos indicadores de impacto social ajudam a definir que tipo de intervenção deverá ser desenvolvida para apoiar um determinado grupo a melhorar o “x” indicador social que foi avaliado”.
Para entender como funciona esse processo na prática, acompanhe as próximas publicações da Fundação ABH! Como estamos passando por esse processo, detalharemos o passo a passo a medida que tudo for sendo desenvolvido. Semana que vem falaremos sobre a Teoria de Mudança e, em breve, esperamos ter a nossa redesenhada coletivamente para apresentar!