Comments received to the discussion:

How can we measure the impact of M&E work?

Comment pouvons-nous mesurer l'impact du travail de S & E?¿Cómo podemos medir el impacto del trabajo de M&E?

November 2018

Participants

1. Abubakar Muhammad Moki, Office of the Prime Minister, Uganda...................................................2

2. Naser Qadous, independent consultant, Palestine..............................................................................4

3. Samuel Boakye, ICED, Kenya...............................................................................................................6

4. Abubakar Muhammad Moki – response to Naser...............................................................................9

5. Abubakar Muhammad Moki – response to Samuel...........................................................................10

6. Ronald Reagan Ojok, Uganda Development Bank.............................................................................11

7. Abubakar Muhammad Moki – response to Reagan...........................................................................13

8. Zahid Shabbir, State Bank of Pakistan................................................................................................15

9. Abubakar Muhammad Moki – response to Zahid..............................................................................18

10. Emile Houngbo, University of Agriculture, Benin...........................................................................20

11. Zahid Shabbir, State Bank of Pakistan............................................................................................22

12. Mustapha Malki, Independent Consultant, Canada......................................................................23

13. Tarek Sheta, DevSpaces International, Egypt.................................................................................27

14. Reagan Ronald Ojok, Uganda Development Bank.........................................................................29

15. Abubakar Moki – collective responses...........................................................................................31

16. Isha Miranda, independent consultant, Sri Lanka..........................................................................34

17. Abubakar Moki – response to Isha Miranda..................................................................................39

18. Samuel Boakye, ICED, Kenya..........................................................................................................40

19. Abubakar Moki – response to Samuel...........................................................................................42

20. Abubakar Moki – concluding remarks...........................................................................................44

1. Abubakar Muhammad Moki, Office of the Prime Minister, Uganda

Dear members,

I am trying to think how best we can measure the impact of monitoring and evaluation work and would be grateful if you could share your experience and ideas with me.

In my organization, (the central unit in charge of monitoring and evaluation at the Office of the President), monitoring and evaluation is being carried out in different sectors and involving a variety of stakeholders, but we are not seeing improvement in service delivery being informed by the various monitoring and evaluation work.

For agriculture in particular, we are now facing issues of low production, productivity and quality of produce along with the challenges of seasonality due to rainfed agriculture. We do monitoring and evaluation at national, district and sub-district levels: however it is hard to see improvements in the sector as the data collected though the monitoring and evaluation do not seem to inform policies or interventions to change the situation. This happens despite the fact that we often involve parliamentarians and decision-makers in the process, including from the Ministry of Agriculture, Animal Industry and Fisheries.

I am therefore contemplating the idea that we as monitoring and evaluation staff should establish some indicators or yardsticks for our monitoring and evaluation function that could help us measure the contribution of our work in improving service delivery and help us to refocus where necessary.

What is your take on how to measure the impact or changes that are informed by the monitoring and evaluation? Thank you in advance. Abubakar Muhammad MokiUganda

***

Chers membres,J'essaie de penser à la meilleure façon de mesurer l'impact du travail de suivi et d'évaluation et vous serais reconnaissant de bien vouloir partager votre expérience et vos idées avec moi.Dans mon organisation (l'unité centrale chargée du suivi et de l'évaluation au Bureau du Président), le suivi et l'évaluation sont effectués dans différents secteurs et impliquent un éventail de parties prenantes, mais nous ne constatons aucune amélioration de la prestation de services façonné par les différents travaux de suivi et d’évaluation.Pour l'agriculture en particulier, nous sommes maintenant confrontés à des problèmes de faible production, de productivité et de qualité des produits, ainsi qu'à des problèmes de saisonnalité

dus à l'agriculture pluviale. Nous effectuons le suivi et l’évaluation aux niveaux national, de district et de sous-district: il est toutefois difficile d’observer des améliorations dans le secteur, car les données collectées lors du suivi et de l’évaluation ne semblent pas éclairer les politiques ou les interventions destinées à changer la situation. Cela se produit en dépit du fait que nous impliquons souvent des parlementaires et des décideurs dans le processus, y compris ceux du ministère de l'Agriculture, de l'Industrie Animale et de la Pêche.J'envisage donc l'idée qu'en tant que membres du personnel de suivi et d'évaluation, nous devrions établir des indicateurs ou des critères pour notre fonction de suivi et d'évaluation, qui pourraient nous aider à mesurer la contribution de notre travail à l'amélioration de la prestation de services et à nous recentrer si nécessaire.Que pensez-vous sur la manière possible de mesurer l’impact ou les changements induits par le suivi et l’évaluation?Merci d’avance. Abubakar Muhammad MokiOuganda

***

Queridos miembros,Estoy tratando de pensar en la mejor manera de medir el impacto del trabajo de monitoreo y evaluación, y le agradecería que compartiera su experiencia e ideas conmigo.En mi organización, (la unidad central a cargo del monitoreo y evaluación en la Oficina del Presidente), el monitoreo y la evaluación se están llevando a cabo en diferentes sectores e involucrando a una variedad de partes interesadas, pero no estamos viendo una mejora en la prestación de servicios informada por los diversos trabajos de seguimiento y evaluación.En particular, para la agricultura, ahora nos enfrentamos a problemas de baja producción, productividad y calidad de los productos, junto con los desafíos de la estacionalidad debido a la agricultura de secano. Hacemos monitoreo y evaluación a nivel nacional, de distrito y sub-distrito: sin embargo, es difícil ver mejoras en el sector, ya que los datos recopilados a través del monitoreo y la evaluación no parecen informar las políticas o intervenciones para cambiar la situación. Esto sucede a pesar del hecho de que a menudo participamos parlamentarios y tomadores de decisiones en el proceso, incluso del Ministerio de Agricultura, Industria Animal y Pesca.Por lo tanto, estoy considerando la idea de que nosotros, como personal de monitoreo y evaluación, establezcamos algunos indicadores o criterios para nuestra función de monitoreo y evaluación que puedan ayudarnos a medir la contribución de nuestro trabajo para mejorar la prestación de servicios y ayudarnos a reenfocar cuando sea necesario.¿Cuál es su opinión sobre cómo medir el impacto o los cambios que informa el monitoreo y la evaluación?Gracias de antemano.Abubakar Muhammad Moki

2. Naser Qadous, independent consultant, PalestineDear AbuBakr,Once I read your Email I felt I have to respond soon. It is a very interesting and very advanced topic "The impact of M&E, and Indicators for this Impact". I think it is much related to utility/ use of the outputs of M&E. Now in most cases sharing of the results of M&E is questionable even at the organizational level with exceptions of some very advanced learning organizations who make their reports available for the public. Again I think that our role in informing policy as consultants is having a good output of our work following the best consulting practices and working with clients not for them bearing in mind the learning objective of M&E. The M&E people do not have direct authority on policy. This is what evaluation voluntary organizations (VOPEs) are trying to do through awareness and lobbying with Parliamentarians and I think they succeeded in some countries.For evaluating the role of M&E I think it would not be easy to measure the contribution at the impact level, but going down to outcome and output level would be easier.To give example of indicators:

# the number of downloads of an evaluation report or # the number of reaches/ views % of M&E reports shared on websites of related organizations

Many others can be mentioned. For agriculture, the research results in general not only evaluation need to be adapted to the field and be applied research not only scientific. The research in developing countries is weak and needs to be adapted to meet local needs and employed in the field.At the end I say nothing is impossible and can be done even the Impact evaluation of Evaluations or a systematic Review.The discussion could be very longThanks Naser QadousPalestinian Evaluation AssociationAgriculture/ Evaluation Expert

***

Cher AbuBakr,

Une fois que j'ai lu votre email, j'ai senti que je devais répondre rapidement. C'est un sujet très intéressant et très avancé "L'impact du S&E et les indicateurs de cet impact". Je pense que cela est très lié à l'utilité / utilisation des résultats du S&E. Maintenant, dans la plupart des cas, le partage des résultats du S&E est discutable, même au niveau organisationnel, à l'exception de

certaines organisations d'apprentissage très avancées qui mettent leurs rapports à la disposition du public. Encore une fois, je pense que notre rôle d’information en tant que consultants consiste à bien mener nos travaux en suivant les meilleures pratiques de conseil et en travaillant avec les clients, sans se soucier de l’objectif d’apprentissage du suivi et évaluation. Les responsables du S&E n’ont pas d’autorité directe sur les politiques. C’est ce que tentent de faire les associations d’évaluation (VOPEs) par le biais de la sensibilisation et du lobbying auprès des parlementaires. Je pense qu’ils ont réussi dans certains pays.

Pour évaluer le rôle du S&E, j'estime qu'il ne serait pas facile de mesurer la contribution au niveau de l'impact, mais il serait plus facile de descendre au niveau des réalisations et des produits.

Pour donner des examples d’indicateurs: # le nombre de téléchargements d’un rapport d’évaluation ou le nombre de

contacts/vues % de rapports de S & E partagés sur les sites Web d'organisations apparentées

Beaucoup d'autres peuvent être mentionnés.

Pour l'agriculture, les résultats de la recherche en général et l'évaluation ne doivent pas uniquement être adaptés au domaine et la recherche appliquée ne doit pas être uniquement scientifique. La recherche dans les pays en développement est faible et doit être adaptée aux besoins locaux et utilisée sur le terrain.

Enfin, je dis que rien est impossible et même l’évaluation de l’impact des évaluations ou un examen systématique pourront servir.

La discussion pourrait être très longue

MerciNaser QadousAssociation palestinienne d'évaluationExpert en agriculture / évaluation

***

Querido AbuBakr,

Una vez que leí su correo electrónico sentí que debía responder pronto. Es un tema muy interesante y muy avanzado "El impacto del Seguimento y Evaluación y los indicadores para este impacto". Creo que está muy relacionado con la utilidad / uso de los productos de S&E.

Ahora, en la mayoría de los casos, el intercambio de los resultados del S&E es cuestionable incluso a nivel organizativo, con excepciones de algunas organizaciones de aprendizaje muy avanzadas que ponen sus informes a disposición del público. Nuevamente, creo que nuestro rol en informar a la política como consultores es tener un buen resultado de nuestro trabajo siguiendo las mejores prácticas de consultoría y trabajando con los clientes, no teniendo en cuenta el objetivo de aprendizaje de S&E. La gente de S&E no tiene autoridad directa en la política. Esto es lo que intentan hacer las organizaciones voluntarias de evaluación (VOPE) mediante la sensibilización y el cabildeo con parlamentarios, y creo que tuvieron éxito en algunos países.Para evaluar el papel del S&E, creo que no sería fácil medir la contribución en el nivel de impacto, pero sería más fácil bajar al nivel de efectos directos y de productos.

Para dar ejemplo de indicadores:• # el número de descargas de un informe de evaluación o # el número de visitas / accesos % de informes de M&E compartidos en sitios web de organizaciones relacionadas

Muchos otros pueden ser mencionados.

Para la agricultura, los resultados de la investigación en general no solo la evaluación debe adaptarse al campo y la investigación aplicada no solo científica. La investigación en los países en desarrollo es débil y debe adaptarse para satisfacer las necesidades locales y emplearse en el campo.

Al final, digo que nada es imposible y se puede hacer incluso la evaluación de impacto de las evaluaciones o una revisión sistemática.

La discusión podría ser muy larga.

GraciasNaser QadousAsociación Palestina de EvaluaciónExperto en Agricultura / Evaluación

3. Samuel Boakye, ICED, Kenya Dear Abubakar,

It is obvious from you discussion that your current M&E system is not functioning as designed. The challenges you mention are not unique to your country; I have found out in my recent work that in many African countries, existing national M&E systems face many challenges including:

a) Difficulty in accessing project and program level data for quick decision-making,b) Lack of standardization in data generation resulting in data that is of poor quality and unreliable, c) Delays in submission of periodic evaluation reports by various sector agencies and ministries, d) Little or no support for real time monitoring and reporting, hence, delays in decision-making and

remedial interventions,e) Existing national M&E system not providing for adequate citizen participation, f) Capacity of M&E personnel at all levels.

I also found that some sector ministries and agencies have their own M&E systems which, are specific to their needs and are not linked to the national M&E System therefore making it extremely difficult to compare and analyse national evaluation data.

My proposed solution is for your country to strengthen the existing M&E System to ensure that it is effectively coordinated and efficiently managed by developing a comprehensive, functional and integrated national M&E System that covers all levels of governance (national, district, sub-district), institutions (including sector ministries), projects and programs implementations. This solution must be backed by a legislative instrument/directive to ensure active participation of all stakeholders including Government leaders (Parliamentarians, Ministers and others). Developing a comprehensive M&E system would entail developing a national M&E framework which would define the theory of change, results chain, indicators etc. etc.

Let me know if you need further detailsBest regards,Samuel BoakyeICED ***

Cher Abubakar,

D'après vos discussions, il est évident que votre système de suivi et d'évaluation actuel ne fonctionne pas comme prévu. Les défis que vous mentionnez ne sont pas propres à votre pays. Dans mes travaux récents, j'ai découvert que dans de nombreux pays africains, les systèmes nationaux de S & E existants sont confrontés à de nombreux défis, notamment:

a) Difficulté à accéder aux données relatives aux projets et aux programmes pour une prise de décision rapide,b) Manque de normalisation dans la génération de données, ce qui entraîne des données de mauvaise qualité et peu fiables,

c) Retards dans la soumission des rapports d'évaluation périodiques par divers organismes et ministères du secteur,d) Peu ou pas d’appui à la surveillance et à l’établissement de rapports en temps réel, d’où des retards dans la prise de décision et les interventions correctives,e) Le système national de S & E existant ne permet pas une participation adéquate des citoyens, f) Capacité du personnel de S & E à tous les niveaux.

J'ai également constaté que certains ministères et agences sectoriels ont leurs propres systèmes de suivi et d'évaluation, qui sont spécifiques à leurs besoins et ne sont pas liés au système de suivi et d'évaluation national, ce qui rend extrêmement difficile la comparaison et l'analyse des données d'évaluation nationales.

La solution que je propose est que votre pays renforce le système de S & E existant afin de garantir sa coordination et sa gestion efficaces en développant un système de S & E national complet, fonctionnel et intégré couvrant tous les niveaux de gouvernance (national, district, sous-district), institutions (y compris les ministères sectoriels), la mise en œuvre des projets et programmes. Cette solution doit être étayée par un instrument législatif / directive garantissant la participation active de toutes les parties prenantes, y compris des dirigeants gouvernementaux (parlementaires, ministres et autres). Développer un système complet de S & E impliquerait de développer un cadre national de S & E qui définirait la théorie du changement, la chaîne de résultats, les indicateurs, etc. etc.

Faites-moi savoir si vous avez besoin de plus amples détails

***

Querido Abubakar,

Es obvio de su discusión que su sistema actual de S&E no está funcionando como fue diseñado. Los desafíos que mencionas no son exclusivos de tu país. En mi trabajo reciente descubrí que en muchos países africanos, los sistemas nacionales existentes de S&E enfrentan muchos desafíos, entre ellos:

a) Dificultad para acceder a los datos a nivel de proyecto y programa para una toma de decisiones rápida,b) Falta de estandarización en la generación de datos, lo que resulta en datos de baja calidad y poco confiables,c) Retrasos en la presentación de informes periódicos de evaluación por parte de varias agencias sectoriales y ministerios,d) Poco o ningún apoyo para el monitoreo y la presentación de informes en tiempo real, por lo tanto, retrasos en la toma de decisiones e intervenciones correctivas,e) El sistema nacional existente de S&E no proporciona una participación ciudadana adecuada.f) Capacidad del personal de S&E en todos los niveles.

También encontré que algunos ministerios y agencias sectoriales tienen sus propios sistemas de M&E, que son específicos a sus necesidades y no están vinculados al Sistema Nacional de M&E, por lo que es extremadamente difícil comparar y analizar los datos de las evaluaciones nacionales.

Mi solución propuesta es que su país refuerce el Sistema de M&E existente para garantizar que se coordine y administre de manera efectiva mediante el desarrollo de un Sistema de M&E nacional integral, funcional e integrado que cubra todos los niveles de gobernanza (nacional, distrito, subdistrito). Instituciones (incluyendo ministerios sectoriales), proyectos y implementaciones de programas. Esta solución debe estar respaldada por un instrumento / directiva legislativa para garantizar la participación activa de todas las partes interesadas, incluidos los líderes gubernamentales (parlamentarios, ministros y otros). Desarrollar un sistema integral de M&E implicaría desarrollar un marco nacional de M&E que definiría la teoría del cambio, la cadena de resultados, los indicadores, etc.

Déjame saber si necesitas más detalles.

4. Abubakar Muhammad Moki – response to Naser Dear Naser QadousThank you for the good feedback.As we all know, M&E is not carried out for the sake of it. One of the reasons behind carrying out M&E is to provide evidence for informing improvements in agricultural production, productivity, food security and service delivery in general. The issue now is, how do we determine that M&E carried out has contributed to informing improvements in agricultural production, productivity, food security and service delivery in general? How do we determine the contribution of the M&E carried out, so that there is value addition seen out of the investment in carrying out the M&E?This will help in documenting value addition of each M&E being carried out.GratefulAbubakar Muhammad MokiUganda***Cher Naser Qadous,Merci pour les bons commentaires.Comme nous le savons tous, le S & E n’est pas fait pour le plaisir de le faire. L’une des raisons qui justifient la mise en œuvre du suivi et de l’évaluation est de fournir des éléments d’information permettant d’améliorer les progrès de la production agricole, la productivité, la sécurité alimentaire et la prestation de services en général.Le problème est maintenant de savoir comment déterminer si le suivi et l’évaluation effectués ont contribué à améliorer la production agricole, la productivité, la sécurité alimentaire et la prestation de services en général.Comment déterminons-nous la contribution du S & E effectué, de manière à ce que l'investissement dans la réalisation du S & E apporte une valeur ajoutée?Cela aidera à documenter la valeur ajoutée de chaque suivi et évaluation mis en œuvre.Reconnaissant

Abubakar Muhammad MokiOuganda***Querido Naser Qadous,Gracias por los buenos comentarios.Como todos sabemos, el S&E no se lleva a cabo por el bien de él. Una de las razones detrás de la realización de S&E es proporcionar evidencia para informar mejoras en la producción agrícola, en la productividad, en la seguridad alimentaria y en la prestación de servicios en general.El problema ahora es, ¿cómo determinamos que el monitoreo y evaluación realizado ha contribuido a informar mejoras en la producción agrícola, la productividad, la seguridad alimentaria y la prestación de servicios en general?¿Cómo determinamos la contribución del S&E que se lleva a cabo, de modo que se vea el valor agregado de la inversión en la realización del S&E?Esto ayudará a documentar el valor agregado de cada S&E que se lleva a cabo.AgradecidoAbubakar Muhammad MokiUganda

5. Abubakar Muhammad Moki – response to Samuel Dear Samuel, Thank you for your feedback. What you raise is correct and I appreciate.However, is there a way we can measure the contribution of a good M&E system in informing better agricultural production, productivity, food security and service delivery? What are those parameters that should be considered and how should they be measured so that one knows the impact or change the M&E system has contributed?In other words, how can one determine what would have been missed due to an absence of an M&E systems - leaving out its contribution? or how to we carry out contribution analysis of an M&E system towards better agricultural production, productivity, food security and service delivery?GratefulAbubakar Muhammad Moki***

Cher Samuel,

Merci pour votre avis. Ce que vous soulevez est correct et j'apprécie.

Cependant, existe-t-il un moyen de mesurer la contribution d'un bon système de suivi et d'évaluation pour améliorer la production agricole, la productivité, la sécurité alimentaire et la prestation de services? Quels sont les paramètres à prendre en compte et comment doivent-ils être mesurés pour que l'on sache l'impact ou la modification apportée par le système de S & E?

En d'autres termes, comment peut-on déterminer ce qui aurait été oublié en raison de l'absence d'un système de S & E - en laissant de côté sa contribution? ou comment analyser la contribution d'un système de S & E pour améliorer la production agricole, la productivité, la sécurité alimentaire et la prestation de services?

ReconnaissantAbubakar Muhammad Moki***Querido Samuel,

Gracias por tus comentarios.

Lo que planteas es correcto y te lo agradezco.

Sin embargo, ¿existe alguna manera de medir la contribución de un buen sistema de S&E para informar una mejor producción agrícola, productividad, seguridad alimentaria y prestación de servicios? ¿Cuáles son los parámetros que deben considerarse y cómo deben medirse para que se sepa el impacto o cambio que ha contribuido el sistema de S&E?

En otras palabras, ¿cómo se puede determinar lo que se habría perdido debido a la ausencia de un sistema de S&E, dejando de lado su contribución? ¿O cómo realizar el análisis de contribución de un sistema de S&E hacia una mejor producción agrícola, productividad, seguridad alimentaria y prestación de servicios?

Agradecido

Abubakar Muhammad Moki

6. Ronald Reagan Ojok, Uganda Development BankGreetings Mr. Abubakar, If I hear you well, the challenge of measuring Monitoring and Evaluation work is just a symptom of a bigger problem with the national M&E system. Your ministry (office of the prime minister) has the mandate to oversee M&E functions in the country. The office of the president also carries out some parallel M&E work, including other government ministries (MoFPED-BMAU) charged with responsibility of carrying out budget M&E.In such setting how do we make all efforts complement each other? How do we measure the M&E work as government? The answer to these questions might not come at the end of my submission but am glad we are discussing it now. It is very important!While all the above is happening, there are also some pockets of project based M&E work in other government agencies and ministries (small scale). You rightly stated a possibility of coming up with some indicators of sort, that is a good proposal. However, locating the national

M&E system within the broader planning strategy for the country (NDP 2) and linking the system to the different efforts would help in aggregating all M&E efforts. This way, I think you might be able to measure the impact of M&E work, maybe by producing an annual series of Reports on Impact of M&E for government of Uganda "The Annual M&E Outlook". All the best and feel free to get in touch if need be. Thanks, Reagan Ronald OjokUganda Development Bank

***

Salutations M. Abubakar,Si je vous entends bien, le défi de mesurer le travail de suivi et d’évaluation n’est qu’un symptôme d’un problème plus important lié au système national de suivi et d’évaluation. Votre ministère (bureau du Premier ministre) a pour mandat de superviser les fonctions de S & E dans le pays. Le bureau du président effectue également des travaux de suivi et d'évaluation parallèles, y compris d'autres ministères (MoFPED-BMAU) chargés de mener à bien le suivi et l'évaluation budgétaires.Dans un tel contexte, comment fait-on pour que tous les efforts se complètent? Comment mesurons-nous le travail de S & E en tant que gouvernement? La réponse à ces questions ne viendra peut-être pas à la fin de mon mémoire, mais je suis heureux que nous en discutions maintenant. Il est très important!Alors que tout ce qui précède se produit, il existe également des poches de travail de S & E basé sur des projets dans d'autres agences et ministères gouvernementaux (à petite échelle). Vous avez à juste titre indiqué la possibilité de proposer quelques type d’indicateurs, c’est une bonne proposition. Cependant, situer le système national de S & E dans la stratégie de planification globale du pays (NDP 2) et le relier aux différents efforts aiderait à regrouper tous les efforts de S & E. De cette façon, je pense que vous pourrez peut-être mesurer l'impact du travail de S & E, par exemple en produisant une série annuelle de rapports sur l'impact du S & E pour le gouvernement ougandais "La perspective annuelle de S & E".Tous les meilleurs vœux et n'hésitez pas à entrer en contact.Merci,Reagan Ronald OjokBanque ougandaise de developpemet

*** Saludos Sr. Abubakar,Si lo escucho bien, el desafío de medir el trabajo de Monitoreo y Evaluación es solo un síntoma de un problema mayor con el sistema nacional de M&E. Su ministerio (oficina del primer ministro) tiene el mandato de supervisar las funciones de M&E en el país. La oficina del

presidente también lleva a cabo algunos trabajos paralelos de S&E, incluidos otros ministerios gubernamentales (MoFPED-BMAU) encargados de llevar a cabo el S&E presupuestario.En tal contexto, ¿cómo hacemos para que todos los esfuerzos se complementen? ¿Cómo medimos el trabajo de M&E como gobierno? Es posible que la respuesta a estas preguntas no llegue al final de mi presentación, pero me alegra que lo estemos discutiendo ahora. ¡Es muy importante!Si bien todo lo anterior está sucediendo, también hay algunos bolsillos de trabajo de S&E basados en proyectos en otras agencias gubernamentales y ministerios (pequeña escala). Usted ha indicado acertadamente la posibilidad de proponer algunos indicadores de tipo, esa es una buena propuesta. Sin embargo, ubicar el sistema nacional de S&E dentro de la estrategia de planificación más amplia para el país (NDP 2) y vincular el sistema a los diferentes esfuerzos ayudaría a agregar todos los esfuerzos de S&E. De esta manera, creo que podría medir el impacto del trabajo de S&E, tal vez mediante la producción de una serie anual de Informes sobre el impacto del S&E para el gobierno de Uganda, "The Annual M&E Outlook".Todo lo mejor y siéntase libre de ponerse en contacto si es necesario.Gracias,Reagan Ronald OjokBanco de desarrollo de Uganda

7. Abubakar Muhammad Moki – response to Reagan Dear Reagan Ronald Ojok, Thank you very much for your contribution.It is true M&E is being done at different levels being it at national, district, sub-country etc. Ministers, Parliamentarians, District Resident District Commissioners, their Deputies and Assistants technical officers at the Ministries, district Councilors and district technical officials, sub-county Councilors and technical officials etc all are involved in some kind of M&E work.Resources are being utilized for M&E work at the different levels. How do we then measure value for money of the M&E at the different levels? We should for example be to tell that M&E work being done at the lower levels is creating better impact than M&E being done at the national level because of lower M&E proximity to the service beneficiaries. So what yardsticks can we use to determine which of those different players has better M&E impact and is able to influence more resources to it due to its greater impact? I believe if we put our ideas together, we can come up with a framework of indicators that can be used to identify who does M&E better due to its better influence for better impact. This is yet to come.GratefulAbubakar Muhammad Moki

***

Cher Reagan Ronald Ojok,

Merci beaucoup pour votre contribution.

Il est vrai que le S & E est effectué à différents niveaux, que ce soit au niveau national, du district, du sous-pays, etc.

Les ministres, les parlementaires, les commissaires de district résidents, leurs adjoints et leurs assistants techniques dans les ministères, les conseillers de district et les responsables techniques de district, les conseillers de sous-comté et les responsables techniques, etc. participent tous à une sorte de travail de suivi et d'évaluation.

Les ressources sont utilisées pour le travail de S & E à différents niveaux. Comment pouvons-nous alors mesurer le rapport qualité-prix du S & E à différents niveaux? Nous devrions par exemple dire que le travail de S & E effectué aux niveaux les plus bas crée un meilleur impact que le S & E effectué au niveau national en raison de la proximité plus faible du S & E avec les bénéficiaires des services.Alors, quels critères pouvons-nous utiliser pour déterminer lequel de ces différents acteurs à un meilleur impact sur le S & E et est capable d'influencer davantage de ressources en raison de son impact plus important?

Je pense que si nous mettons nos idées en commun, nous pourrons élaborer un ensemble d’indicateurs pouvant être utilisés pour déterminer qui fait le meilleur suivi et évaluation en raison de sa meilleure influence pour un meilleur impact.

Ceci est encore à venir.Reconnaissant

Abubakar Muhammad Moki

***Querido Reagan Ronald Ojok,Muchas gracias por su contribución.Es cierto que el M&E se está realizando a diferentes niveles, ya sea a nivel nacional, distrital, sub-país, etc.Los ministros, parlamentarios, comisionados de distrito residentes del distrito, sus oficiales técnicos adjuntos y auxiliares de los ministerios, los consejeros de distrito y los funcionarios técnicos de distrito, los consejeros de sub-condado y los funcionarios técnicos, etc., están involucrados en algún tipo de trabajo de M&E.

Se están utilizando recursos para el trabajo de M&E en los diferentes niveles. ¿Cómo medimos la relación calidad-precio del M&E en los diferentes niveles? Por ejemplo, deberíamos decir que el trabajo de M&E que se realiza en los niveles más bajos está creando un mejor impacto que el M&E que se está realizando a nivel nacional debido a la menor proximidad de M&E a los beneficiarios del servicio.Entonces, ¿qué criterios de referencia podemos usar para determinar cuál de esos diferentes actores tiene un mejor impacto de M&E y puede influir en más recursos debido a su mayor impacto?Creo que si reunimos nuestras ideas, podemos crear un marco de indicadores que puedan usarse para identificar quién hace el M&E mejor debido a su mejor influencia para un mejor impacto.Esto está por venir.AgradecidoAbubakar Muhammad Moki

8. Zahid Shabbir, State Bank of Pakistan Dear Abubakar,

It was nice to see this discussion on the subject. I would like to share our experience in Pakistan as we developed an M&E system for National Financial Inclusion Strategy of Pakistan (NFIS) with the assistance of World Bank Group. I would limit my discussion relevant to your queries.

First of all, we need to put quite a discern between monitoring and evaluation systems, especially the design of monitoring mechanism is very important. Out here, we developed a three tiered architecture for M&E; (i) monitoring of headline indicators (somewhat similar to broader outcome over the period of time), (ii) Activity/Action level monitoring transliterating into programs, policy or regulatory interventions, (iii) bottom tier, a project level monitoring which could be strengthened using blended tools like result based monitoring (RBM), project performance management using Earned Value Management technique (depending upon nature of project through indicators like CPI – Cost Performance Index, SPI – Schedule Performance Index, etc). Similarly, various concepts like value for money (optimizing output through minimal input) could be used to assess possible impact during the design phase of project/intervention.

With regards to evaluation specifically, I think least kind would be participatory evaluation where organization itself could be involved to evaluate the impact of interventions it has undertaken in specific sectors. However, choice remains with the organizations how to go by this endeavor, especially if its novice in the area. In such cases, donors/ multilaterals could be engaged to seek professional assistance (as is the case with many developing economies). I am sure, you must be aware of some sort of project performance reports to cater the information about viability of projects/programs like PPARs – Performance Planning and Revies, ICRs – Investor Confidence Rating, MfDRs – Managing for

Development Resources, PfR-Project feasibility Reports, etc which are some of the common reporting mechanisms to assess the development effectiveness used by many multilaterals / donors.

As far as your queries regarding the monitoring of agricultural productivity/ service delivery are concerned, the technological developments have gone by far than required. For instance, you may begin a pilot with Unmanned Aerial Vehicle (UAV) technology in certain area to experiment the productivity results of specific corp/use of fertilizer etc. Similarly, Precision Agriculture is another important technological development which has yielded very good productivity results in case of India. The good thing about these systems is automated data storage and tracking capacities which can greatly assist in monitoring productivity and impact you are looking for can be deduced over the period of time and can witnessed though the ladder of Theory of Change (ToC).

I hope you would find our experience helpful to get fruitful results.

Regards,

Zahid ShabbirJoint Director | Program Management Division | AC & MFD |State Bank of Pakistan |

***

Cher Abubakar,

C'ést bien de voir cette discussion sur le sujet. J'aimerais partager notre expérience au Pakistan lorsque nous avons mis au point un système de S&E pour la Stratégie nationale d'inclusion financière du Pakistan (SNIF) avec l'aide du Groupe de la Banque mondiale. Je limiterais ma discussion à vos questions.

Tout d’abord, nous devons faire la différence entre les systèmes de suivi et d’évaluation, en particulier la conception du mécanisme de suivi est très importante. Ici, nous avons développé une architecture à trois niveaux pour le suivi et l'évaluation; (i) suivi des indicateurs principaux (un peu similaire à un résultat plus général sur une période donnée), (ii) suivi des activités / niveaux d’action traduisant les interventions en programmes, politiques ou réglementations, (iii) niveau inférieur, suivi au niveau des projets pouvant être renforcé à l'aide d'outils combinés tels que le suivi basé sur les résultats (RBM), la gestion de la performance de projet utilisant la technique de gestion de la valeur acquise (en fonction de la nature du projet à l'aide d'indicateurs tels que l'IPC, le SPI, etc.). De même, divers concepts tels que le rapport qualité-prix (optimisation de la production avec un minimum d’apport) pourraient être utilisés pour évaluer l’impact éventuel au cours de la phase de conception du projet / de l’intervention.

En ce qui concerne plus particulièrement l’évaluation, j’estime qu’au moindre l’évaluation participative devrait être impliquée, oú l’organisation elle-même pourrait être impliquée dans l’évaluation de l’impact des interventions qu’elle a entreprises dans des secteurs spécifiques.

Cependant, il reste le choix des organisations sur la manière de procéder, en particulier si elles sont novices dans la région. Dans de tels cas, les donateurs / organisations multilatérales pourraient être sollicités pour rechercher une assistance professionnelle (comme dans de nombreux pays en développement). Je suis sûr que vous devez connaître certains types de rapports sur l’exécution des projets afin de fournir des informations sur la viabilité de projets / programmes tels que les PPARs, les ICRs, les MfDRs, les PfRs, etc. qui font partie des mécanismes communs de compte rendu permettant d'évaluer l'efficacité du développement utilisés par de nombreux organismes multilatéraux / donateurs.

En ce qui concerne vos questions concernant le suivi de la productivité agricole / la prestation de services, les progrès technologiques ont été de loin supérieurs aux besoins. Par exemple, vous pouvez commencer un projet pilote avec la technologie des véhicules aériens sans pilote (UAV) dans certaines régions pour expérimenter les résultats de productivité d'un corp / utilisation d'engrais spécifique, etc. De même, l'agriculture de précision est un autre développement technologique important qui a donné de très bons résultats en termes de productivité dan le cas de l'Inde. La bonne chose à propos de ces systèmes est le stockage automatisé des données et les capacités de suivi qui peuvent grandement aider à surveiller la productivité et l’impact que vous recherchez peut être déduit sur une période de temps et peut être observé à travers l’échelle de la théorie du changement (ToC).

J'espère que vous trouverez notre expérience utile pour obtenir des résultats fructueux.

Cordialement,

***

Querido Abubakar,

Es agradable ver esta discusión sobre el tema. Me gustaría compartir nuestra experiencia en Pakistán mientras desarrollamos un sistema de M&E para la Estrategia Nacional de Inclusión Financiera de Pakistán (NFIS) con la asistencia del Grupo del Banco Mundial. Limitaría mi discusión relevante a sus consultas.

En primer lugar, debemos hacer un buen discernimiento entre los sistemas de monitoreo y evaluación, especialmente el diseño del mecanismo de monitoreo es muy importante. Aquí, desarrollamos una arquitectura de tres niveles para M&E; (i) monitoreo de los indicadores principales (algo similar a un resultado más amplio a lo largo del tiempo), (ii) monitoreo del nivel de Actividad / Acción que se transliteró en programas, políticas o intervenciones regulatorias, (iii) nivel inferior, un monitoreo a nivel de proyecto que podría ser fortalecido con herramientas combinadas como el monitoreo basado en resultados (RBM), la gestión del

desempeño del proyecto utilizando la técnica de Gestión del Valor Ganado (según la naturaleza del proyecto a través de indicadores como el IPC - Índice de Desempeño de Costos, SPI - Índice de Desempeño del Programa, etc.). De manera similar, varios conceptos como el valor por dinero (optimización de la producción a través de un mínimo de entrada) podrían usarse para evaluar el posible impacto durante la fase de diseño del proyecto / intervención.

En lo que concierne específicamente a la evaluación, creo que lo mínimo seria la evaluación participativa, donde la organización misma podría participar para evaluar el impacto de las intervenciones que ha realizado en sectores específicos. Sin embargo, la elección sigue siendo con las organizaciones cómo pasar por este esfuerzo, especialmente si es un novato en el área. En tales casos, los donantes / multilaterales podrían involucrarse para buscar asistencia profesional (como es el caso de muchas economías en desarrollo). Estoy seguro de que debe conocer algún tipo de informe de rendimiento del proyecto para proporcionar información sobre la viabilidad de proyectos / programas como PPAR - Planificación del rendimiento y Revies, ICR - Calificación de confianza de los inversores, MfDR - Gestión de recursos de desarrollo, PfR-Viabilidad del proyecto Informes, etc., que son algunos de los mecanismos comunes de información para evaluar la efectividad en el desarrollo utilizada por muchos organismos multilaterales / donantes.

En lo que respecta a sus consultas sobre el monitoreo de la productividad agrícola / la prestación de servicios, los desarrollos tecnológicos han superado con creces los requisitos. Por ejemplo, puede comenzar un piloto con tecnología de vehículos aéreos no tripulados (UAV) en ciertas áreas para experimentar los resultados de productividad de un uso específico de fertilizantes, etc. De manera similar, la Agricultura de precisión es otro desarrollo tecnológico importante que ha dado muy buenos resultados de productividad en caso de la india. Lo bueno de estos sistemas es el almacenamiento automatizado de datos y las capacidades de seguimiento que pueden ayudar en gran medida a monitorear la productividad y el impacto que está buscando, se puede deducir a lo largo del tiempo y puede ser testigo de la escala de la Teoría del Cambio (ToC).

Espero que encuentre útil nuestra experiencia para obtener resultados fructíferos.

9. Abubakar Muhammad Moki – response to Zahid Dear Zahid Shabbir, Thank you very much for sharing very useful information.However, my interest is to know how monitoring being carried out informs better achievements or delivery of the broader outcomes over a period of time. This is because when, for example, carrying monitoring of headline indicators (somewhat similar to broader outcome

over the period of time), the results of the monitoring is expected to inform better realization of the broader outcomes over the period of time. So how do we measure the contribution of the monitoring being carried out, towards helping in informing realization of better broader outcomes over the period of time? This is because the monitoring of the broader outcomes is not done for the sake of it but with the aim to inform better realization of the broader outcomes over the period of time.There should be therefore a way of determining whether monitoring being carried out is contributing towards better realization of the broader outcomes being monitored over time of not.The same applies to other levels of monitoring.That is the focus of my assumption.Kind regardsAbubakar Muhammad MokiUganda

***

Cher Zahid ShabbirMerci beaucoup pour le partage d'informations très utiles.Cependant, mon intérêt est de savoir comment le suivi effectué permet d’obtenir de meilleurs résultats ou d’obtenir des résultats plus larges sur une période donnée. En effet, lorsque, par exemple, le suivi des indicateurs principaux (un peu similaire à un résultat plus large sur une période donnée), les résultats du suivi devraient contribuer à une meilleure réalisation des résultats plus généraux sur une période donnée.Alors, comment pouvons-nous mesurer la contribution du suivi effectué pour aider à informer la réalisation de meilleurs résultats plus larges sur une période donnée? En effet, le suivi des résultats plus larges n’est pas fait pour le plaisir de le faire, mais dans le but d’informer de manière plus efficace la réalisation des résultats plus larges sur une période donnée.Il devrait donc y avoir un moyen de déterminer si le suivi effectué contribue à une meilleure réalisation des résultats globaux contrôlés au fil du temps.La même chose s'applique aux autres niveaux de surveillance.C’est l’objet de mon hypothèse.Sincères amitiésAbubakar Muhammad Moki

***

Querido Zahid Shabbir,Muchas gracias por compartir información muy útil.Sin embargo, mi interés es saber cómo el monitoreo que se lleva a cabo informa sobre mejores logros o entrega de resultados más amplios durante un período de tiempo. Esto se debe a que,

por ejemplo, cuando se lleva a cabo el monitoreo de los indicadores principales (algo similar a un resultado más amplio a lo largo del período de tiempo), se espera que los resultados del monitoreo informen una mejor realización de los resultados más amplios a lo largo del tiempo.Entonces, ¿cómo medimos la contribución del monitoreo que se lleva a cabo, para ayudar a informar la realización de mejores resultados más amplios a lo largo del tiempo? Esto se debe a que el seguimiento de los resultados más amplios no se realiza por el simple hecho de hacerlo, sino con el objetivo de informar mejor la realización de los resultados más amplios a lo largo del tiempo.Por lo tanto, debería haber una manera de determinar si el monitoreo que se está llevando a cabo está contribuyendo a una mejor realización de los resultados más amplios que se están monitoreando a lo largo del tiempo.Lo mismo se aplica a otros niveles de monitoreo.Ese es el foco de mi suposición.Saludos cordialesAbubakar Muhammad Moki

10. Emile Houngbo, University of Agriculture, Benin Cher collègue,L'amélioration des différents secteurs ne dépend pas que du suivi-évaluation. Elle dépend à la fois de la qualité des actions élaborées, de leur gestion, puis du suivi-évaluation. Lorsqu'une action est mal élaborée, soit que les problèmes ont été mal identifiés/formulés ou que les actions retenues sont inappropriées, il y a de grands risques que les résultats soient mauvais : faible impact. Même si l'on réussit encore cette étape et que la gestion de la mise en œuvre des actions n'est pas adéquate, le risque d'échec est encore élevé, seulement qu'ici, le suivi-évaluation a plus de pouvoir pour formuler les remèdes qui, s'ils sont pris en compte, peuvent conduire au bon résultat. Au regard de la persistante de la faible qualité des résultats que vous soulignez, c'est certainement à l'élaboration des actions qu'il faut porter de sérieuses améliorations. Si vos cellules de suivi-évaluation n'ont rien à se reprocher, c'est-à-dire formées de personnes qui s'y connaissent vraiment, il n'est pas question de faire entrer d'autres personnes qui pourraient même gâter le travail si elles sont incompétentes ou partiales. Généralement, les suivi-évaluateurs ne sont pas aimés et tout est mis en œuvre pour vous empêcher de bien travailler. Je présume que ce genre d'obstacles doit exister dans cette cellule où vous travaillez, vu que c'est la présidence, un haut lieu de politique. Mais, est-ce encore le cas dans tous les autres secteurs ? Je ne pense pas. Donc, revoyez surtout la méthodologie de l'élaboration des actions dans le pays. Il doit y avoir de sérieux problèmes à ce niveau.Merci.Dr Émile HoungboAgroéconomisteExpert en élaboration et suivi-évaluation des projets.

***Dear Colleague,

The improvement of the different sectors does not depend only on monitoring and evaluation. It depends both on the quality of the actions developed, their management and then the monitoring and evaluation. When an action is poorly developed, either because the problems have been poorly identified / formulated or because the actions selected are inappropriate, there is a high risk that the results will be bad: low impact. Even if this step is still successful and the management of the implementation of the actions is not adequate, the risk of failure is still high, only that in this case, the monitoring-evaluation has more power to formulate remedies that, if taken into account, can lead to the right result. Given the persistence of the poor quality of the results that you highlight, it is certainly on the development of actions that we must make serious improvements. If your monitoring and evaluation units have nothing to be ashamed of, that is to say that they are made by people who are really knowledgeable about it, there is no question of bringing in other people who might even damage the work if they are incompetent or partial. Generally, the monitoring-evaluators are not liked and everything is done to prevent you from working well. I presume that these kinds of obstacles must exist in this unit where you work, since it is the presidency, a high place of politics. But, is this still the case in all other sectors? I do not think so. So, above all, review the methodology of developing actions in the country. There must be serious problems at this level.

Thank you.Dr. Emile HoungboAgricultural EconomistExpert in project development and monitoring & evaluation

***Querido colega,

La mejora de los diferentes sectores no depende solo del seguimiento y evaluación. Depende tanto de la calidad de las acciones desarrolladas, de su gestión como del seguimiento y evaluación.Cuando una acción está mal desarrollada, ya sea porque los problemas se han identificado o formulado pobremente o porque las acciones seleccionadas son inapropiadas, existe un alto riesgo de que los resultados sean malos: bajo impacto. Incluso si este paso sigue siendo exitoso y la gestión de la implementación de las acciones no es adecuada, el riesgo de fracaso sigue siendo alto, solo que en este caso, el monitoreo-evaluación tiene más poder para formular soluciones que, si se toman en cuenta , puede llevar al resultado correcto. Dada la persistencia de la mala calidad de los resultados que resalta, es ciertamente en el desarrollo de acciones que debemos realizar mejoras importantes. Si sus unidades de monitoreo y evaluación no tienen nada de qué avergonzarse, es decir, están hechas por personas que realmente lo saben, no se trata de traer a otras personas que podrían incluso estropear el trabajo si son incompetentes o parcial. En general, a los evaluadores de monitoreo no les gustan y todo se hace para evitar que trabajes bien. Supongo que este tipo de obstáculos deben existir en esta unidad en la que trabaja, ya que es la presidencia, un alto lugar de la política. Pero, ¿sigue siendo este el caso en todos los demás sectores? No lo creo. Entonces, sobre todo, revisar la metodología de desarrollo de acciones en el país. Debe haber serios problemas a este nivel.

Gracias.

Dr. Emile HoungboEconomista agrícolaExperto en desarrollo de proyectos y seguimiento y evaluación

11. Zahid Shabbir, State Bank of Pakistan Dear Abubakar,

Thank you very much for your response and queries.

I will go by Dr. Emile's viewpoint, generally it's not actually the monitoring & evaluation system itself which transforms into impact, rather the way the interventions/actions/projects are designed becomes critical to assess the impact of certain interventions.

If I correctly understand your queries, the impact M&E can drive is simply the question of having M&E system in place or vice versa. For this, as far as my understanding and experience is concerned, you need to perform some sort of counterfactual analysis (probably using systematic reviews/mixed methods/triangulation) to determine whether having M&E systems in place transformed into some sort of policy change/ improvement or not, no matter what sector/ indicators you are taking into the consideration. The scale and breadth of such analysis would be dependent upon various factors (including but not limited to resources, expertise, priority areas, number of interventions to account for).

Happy to discuss further in case of any queries.

Regards,

Zahid ShabbirJoint Director | Program Management Division | AC & MFD |State Bank of Pakistan |

*** Cher Abubakar,

Merci beaucoup pour votre réponse et vos questions.

Je vais suivre le point de vue de M. Emile. Généralement, ce n’est pas le système de suivi-évaluation lui-même qui se transforme en impact, mais la façon dont les interventions / actions / projets sont conçus devient essentielle pour évaluer l’impact de certaines interventions.

Si je comprends bien vos questions, l'impact que le S & E peut générer est simplement la question de la mise en place d'un système de S & E ou inversement. Pour cela, en ce qui concerne ma compréhension

et mon expérience, vous devez effectuer une sorte d'analyse contrefactuelle (utilisant probablement des examens systématiques / méthodes mixtes / triangulation) pour déterminer si la mise en place de systèmes de S & E se transforme en une sorte de changement / amélioration de politique ou non, peu importe le secteur / les indicateurs que vous prenez en compte. L’echelle et l’ampleur de cette analyse dépendraient de divers facteurs (notamment les ressources, l’expertise, les domaines prioritaires, le nombre d’interventions à prendre en compte).

Heureux de discuter plus en cas de questions.

Cordialement,Zahid Shabbir

*** Querido Abubakar,

Muchas gracias por su respuesta y consultas.

Me referiré al punto de vista del Dr. Emile, generalmente no es el sistema de monitoreo y evaluación el que se transforma en impacto, sino que la forma en que se diseñan las intervenciones / acciones / proyectos se vuelve fundamental para evaluar el impacto de ciertas intervenciones.

Si comprendo correctamente sus consultas, el impacto que el S&E puede generar es simplemente la cuestión de tener un sistema de S&E en su lugar o viceversa. Para esto, en lo que respecta a mi comprensión y experiencia, necesita realizar algún tipo de análisis contrafactual (probablemente utilizando revisiones sistemáticas / métodos mixtos / triangulación) para determinar si los sistemas de S&E implementados se transforman en algún tipo de cambio / mejora de políticas. o no, no importa qué sector / indicadores esté tomando en cuenta. La escala y amplitud de dicho análisis dependería de varios factores (incluidos, entre otros, recursos, experiencia, áreas prioritarias, número de intervenciones a tener en cuenta).

Feliz de seguir discutiendo en caso de cualquier consulta.

Saludos,Zahid Shabbir

12. Mustapha Malki, Independent Consultant, Canada

Highly-esteemed Abubakr,

Thanks for bringing this important issue on monitoring & evaluation in one of the most important challenges of any M&E system related to its 'social learning' dimension. Besides, it was quite informative to read the contributions submitted within this debate – due to your suggestion – especially the ones of Ronald and Zahid.The situation you depict is the one that is similar to what you might find in other African countries – I was involved between 2013 and 2015 in a very interesting AfDB initiative entitled "Africa 4 Results" and had a chance to visit some Western and Eastern African countries to face a very similar situation.I don't have all necessary information to argue anything about your country but I have the feeling that in your case, the building of a National M&E seems to have started from the "harware" part and did not pay attention to the "software" issue. Sometimes I have the weakness to believe that in your case much attention was given on projects and projects monitoring collected data do not fit into national policies. And for this I would join my voice to Ronald and Zahid's contributions.Having that said, we need to acknowledge that the construction of a national M&E system must start the publishing of a M&E general legal framework that will first will impose upon a Government to have a mid-term strategic plan of "multi-dimensional" development to which is annexed a results framework. This national strategic plan must have been prepared through a "true" participatory approach et be endorsed at end by the Parliament.At the second level, this national "multi-dimensional" development plan will serve for each sector as a reference framework to establish a mid-term strategic sectoral plan to which is annexed a sectoral results framework. Each strategic sectoral plan must be approved by the Government and should bear a results framework that links the sectoral strategy to the mid-term national development plan.At this level, any new project or programme will need to have a results framework that will link this project or programme to the sectoral plan. This is the "software" part that I mentioned above.After that, the "hardware" part of the national M&E system is setup upon a concept note showing the inter-relations between the different levels of the national M&E system; the standard form of M&E unit at the different levels; the data collection procedures and methods; the reporting system and its timing; etc.With this, one can assume that once monitoring data is collected at a project level can easily be aggregated at the sectoral level, getting the sectoral plan to feed back into the national strategic plan.In such a situation that you bring in, starting with the "hardware" part, the majority of Government high and line staff might feel that M&E is just and additional "administrative" workload that is imposed from the top and lack of conviction in M&E will be very apparent.Thinking of disseminating M&E results is highly recommended but talking about M&E "value for money" may just be seen inappropriate as M&E work is a sort of "quality insurance" or "life insurance" for development, and using such a metaphor, one can easily admit that having a "quality insurance" or a "life insurance" has certainly a cost, but omitting to have that insurance will certainly have a "at-least-ten-times" higher cost. This is why I believe the concept "value for money" is not the right concept to a given M&E system. I do not ant to be too much provocative but I feel that this issue of "value for money" is just a "proxy" indicator for a lacking conviction towards M&E work.Kind regardsMustapha

Mustapha Malki, PhD535 avenue Ampere #5Laval, QC, Canada

***

Abubakr, très estimé,

Merci d'avoir apporté cette question importante sur le suivi et l'évaluation dans l'un des défis les plus importants de tout système de S & E lié à sa dimension "d'apprentissage social". En outre, il était très instructif de lire les contributions soumises dans le cadre de ce débat – grâce à votre initiative - en particulier celles de Ronald et de Zahid.La situation que vous décrivez est semblable à celle que vous pouvez rencontrer dans d’autres pays africains: j’ai participé entre 2013 et 2015 à une initiative très intéressante de la Banque Africaine du Développement intitulée "Africa 4 Results" et j’ai eu la chance de visiter certains pays qui font face à une situation très similaire.Je n'ai pas toutes les informations nécessaires pour discuter de votre pays, mais j'ai le sentiment que, dans votre cas, la construction d'un système national de suivi et d'évaluation semble avoir commencé à partir de la partie "matériel" et ne pas prêter attention à l’aspect "logiciel". J'ai parfois la faiblesse de croire que dans votre cas beaucoup d'attention a été accordée aux projets et que les projets de suivi des données collectées ne cadrent pas avec les politiques nationales. Et pour cela, je voudrais joindre ma voix aux contributions de Ronald et Zahid.Cela dit, nous devons reconnaître que la construction d’un système national de S & E doit commencer par la publication d’un cadre juridique général de S & E qui imposera d’abord à un gouvernement de se doter d’un plan stratégique à moyen terme de développement "multidimensionnel" afin de: qui est annexé un cadre de résultats. Ce plan stratégique national doit avoir été préparé selon une "véritable" approche participative et être approuvé à la fin par le Parlement.Au deuxième niveau, ce plan de développement national «multidimensionnel» servira de cadre de référence pour chaque secteur afin d’établir un plan sectoriel stratégique à moyen terme auquel est annexé un cadre de résultats sectoriels. Chaque plan sectoriel stratégique doit être approuvé par le gouvernement et doit comporter un cadre de résultats associant la stratégie sectorielle au plan de développement national à moyen terme.À ce niveau, tout nouveau projet ou programme devra disposer d’un cadre de résultats permettant de relier ce projet ou programme au plan sectoriel. C'est la partie "logiciel" que j'ai mentionnée ci-dessus.Après cela, la partie "matériel" du système national de S & E est créée sur une note conceptuelle montrant les relations réciproques entre les différents niveaux du système national de S & E; la forme standard de l'unité de suivi et d'évaluation aux différents niveaux; les procédures et méthodes de collecte de données; le système de rapport et son calendrier, etc. Avec cela, on peut supposer qu’une fois que les données de suivi sont collectées au niveau du projet, elles peuvent facilement être agrégées au niveau sectoriel, ce qui permet au plan sectoriel d’être intégré dans le plan stratégique national.Dans une telle situation que vous introduisez, à commencer par la partie "matériel", la majorité du personnel d'encadrement supérieur du gouvernement peut estimer que le suivi et l'évaluation constituent une charge de travail "administrative" supplémentaire et imposée par le sommet et un manque de conviction de la part du personnel de suivi et d'évaluation va être très apparent.Penser à diffuser les résultats du suivi et de l’évaluation est fortement recommandé, mais parler de "rapport qualité-prix" peut tout simplement être considéré comme inapproprié, car le travail de suivi et

évaluation est une sorte "d’assurance qualité" ou "d’assurance-vie" pour le développement. Admettre qu’avoir une "assurance qualité" ou une "assurance vie" a certes un coût, mais ne pas souscrire à cette assurance entraînera certainement un coût "au moins dix fois plus élevé". C'est pourquoi j'estime que le concept "rapport qualité / prix" n'est pas le bon concept pour un système de suivi et d'évaluation donné. Je ne cherche pas à être trop provocateur, mais j’ai le sentiment que cette question du "rapport qualité-prix" n’est qu’un indicateur "indirect" du manque de conviction à l’égard du travail de S & E.Sincères amitiésMustapha

***

Muy apreciado Abubakr,

Gracias por presentar este importante tema sobre monitoreo y evaluación en uno de los desafíos más importantes de cualquier sistema de M&E relacionado con su dimensión de "aprendizaje social". Además, fue bastante informativo leer las contribuciones enviadas dentro de este debate, debido a su sugerencia, especialmente las de Ronald y Zahid.La situación que describe es similar a la que podría encontrar en otros países africanos: participé entre 2013 y 2015 en una iniciativa muy interesante del Banco Africano de Desarrollo titulada " Africa 4 Results " y tuve la oportunidad de visitar algunos países de África occidental y oriental. Países para enfrentar una situación muy similar.No tengo toda la información necesaria para discutir nada sobre su país, pero tengo la sensación de que en su caso, la construcción de un S&E nacional parece haber comenzado desde la parte de "software" y no prestó atención al aspecto "software". A veces tengo la debilidad de creer que en su caso se prestó mucha atención a los proyectos y los proyectos que monitorean los datos recopilados no se ajustan a las políticas nacionales. Y para esto uniría mi voz a las contribuciones de Ronald y Zahid.Dicho esto, debemos reconocer que la construcción de un sistema nacional de S&E debe iniciar la publicación de un marco legal general de S&E que primero impondrá a un gobierno que tenga un plan estratégico de mediano plazo de desarrollo "multidimensional" para Se anexa un marco de resultados. Este plan estratégico nacional debe haber sido preparado a través de un enfoque participativo "verdadero" y debe ser aprobado al final por el Parlamento.En el segundo nivel, este plan nacional de desarrollo "multidimensional" servirá para cada sector como marco de referencia para establecer un plan sectorial estratégico de mediano plazo al cual se anexa un marco de resultados sectoriales. Cada plan estratégico sectorial debe ser aprobado por el gobierno y debe tener un marco de resultados que vincule la estrategia sectorial con el plan de desarrollo nacional a mediano plazo.En este nivel, cualquier nuevo proyecto o programa deberá tener un marco de resultados que vincule este proyecto o programa con el plan sectorial. Esta es la parte del "software" que mencioné anteriormente.Después de eso, la parte "hardware" del sistema nacional de S&E se configura en una nota conceptual que muestra las interrelaciones entre los diferentes niveles del sistema nacional de S&E; la forma estándar de la unidad de S&E en los diferentes niveles; los procedimientos y métodos de recolección de datos; el sistema de información y su calendario; etc.

Con esto, se puede asumir que una vez que los datos de monitoreo se recopilan a nivel de proyecto se pueden agregar fácilmente a nivel sectorial, logrando que el plan sectorial se incorpore al plan estratégico nacional.En una situación de este tipo, comenzando por la parte de "hardware", la mayoría del personal de alto nivel del gobierno puede sentir que el S&E es justo y que la carga de trabajo "administrativa" adicional que se impone desde arriba y la falta de convicción en S&E ser muy aparentePensar en difundir los resultados de S&E es altamente recomendable, pero hablar de S&E "valor por dinero" puede considerarse inapropiado, ya que el trabajo de S&E es una especie de "seguro de calidad" o "seguro de vida" para el desarrollo, y al usar esa metáfora, se puede admite que tener un "seguro de calidad" o un "seguro de vida" tiene ciertamente un costo, pero omitir tener ese seguro tendrá un costo "por lo menos diez veces mayor". Por eso creo que el concepto "valor por dinero" no es el concepto correcto para un determinado sistema de S&E. No creo que sea demasiado provocativo, pero creo que este tema de "valor por dinero" es solo un indicador "proxy" de una falta de convicción hacia el trabajo de S&E.

Saludos cordiales

Mustapha

13. Tarek Sheta, DevSpaces International, Egypt Dear Colleagues,

I would love to share few points regarding the subject of measuring the impact of M&E.

1) There should be a distinction and clear line between M&E with regard to their purposes, roles, tools, timing, scope, responsibility, etc. While the monitoring is an ongoing process, the evaluation is one of the main phases of any intervention / project cycle (simply we can imagine the Deming's cycle: "Plan-Do-Check-Act").

2) The overarching purpose of both M&E activities is to "Enhance Performance and Continuous Improvement". This should be achieved through the ongoing (M) and snapshot (E) assessments of the inputs, processes, outputs and impacts of programs and interventions which should lead to better understanding of the gaps, challenges, emerging needs, changes in situations, etc.

3) The main point here about the impact of M&E is the M&E system itself. The system should be robust and well-designed to NOT only measure and detect BUT also to ensure actions, recommendations and decisions of M&E activities to be well-noted and implemented.

It's a close cycle and all outputs of M&E processes should be communicated, implemented, re-assessed and to be integrated into planning and future program designs.

Best regards

Dr. Tarek ShetaExecutive DirectorDevSpaces International

***

Chers collègues,

J'aimerais partager quelques points concernant la mesure de l'impact du S & E.

1) Il devrait y avoir une distinction et une distinction claire entre le S & E en ce qui concerne leurs objectifs, rôles, outils, calendrier, portée, responsabilité, etc. Bien que le suivi soit un processus continu, l’évaluation est l’une des principales phases de toute intervention / cycle de projet (nous pouvons simplement imaginer le cycle de Deming: "Plan-Do-Check-Act").

2) L’objectif général des deux activités de suivi et d’évaluation est «d’améliorer les performances et l’amélioration continue». Cela devrait être réalisé par le biais d'évaluations continues (Suivi) et instantanées (Evaluation) des intrants, processus, produits et impacts des programmes et interventions, ce qui devrait permettre de mieux comprendre les lacunes, les défis, les besoins émergents, les changements de situation, etc.

3) Le point principal concernant l'impact du S & E est le système de S & E lui-même. Le système doit être robuste et bien conçu pour ne pas seulement mesurer et détecter, MAIS aussi pour garantir que les actions, recommandations et décisions des activités de S & E soient bien notées et mises en œuvre.

C'est un cycle fermé et tous les résultats des processus de S & E doivent être communiqués, mis en œuvre, réévalués et intégrés dans la planification et la conception des futurs programmes.

Meilleures salutations

***

Queridos colegas,

Me encantaría compartir algunos puntos con respecto al tema de medir el impacto de S&E.

1) Debe haber una distinción y una línea clara entre el S&E con respecto a sus propósitos, roles, herramientas, tiempo, alcance, responsabilidad, etc. Si bien el monitoreo es un proceso continuo, la evaluación es una de las fases principales de cualquier intervención / ciclo del proyecto (simplemente podemos imaginar el ciclo de Deming: "Planificar-Hacer-Verificar-Actuar").

2) El propósito general de ambas actividades de S&E es "Mejorar el rendimiento y la mejora continua". Esto se debe lograr a través de las evaluaciones en curso (Seguimento) e instantáneas (Evaluacion) de

los insumos, procesos, productos e impactos de los programas e intervenciones que deberían conducir a una mejor comprensión de las brechas, desafíos, necesidades emergentes, cambios en las situaciones, etc.

3) El punto principal aquí sobre el impacto de S&E es el propio sistema de S&E. El sistema debe ser robusto y estar bien diseñado para NO solo medir y detectar sino también para garantizar que las acciones, recomendaciones y decisiones de las actividades de S&E sean bien anotadas e implementadas.

Es un ciclo cerrado y todos los resultados de los procesos de S&E deben comunicarse, implementarse, reevaluarse e integrarse en la planificación y los futuros diseños de programas.

Atentamente

14. Reagan Ronald Ojok, Uganda Development Bank Dear Abubakar,

I think Dr. Emile and Zahid have nicely driven the point home and I would like to agree with the both of them. Other factors constant, the M&E effort coupled with good project managers and a conducive environment is capable of impacting significantly on the project, target community and the policy framework in a particular country.The contribution of a well-designed M&E system that has been tracking progress and proposing possible realignment (where need be) is reflected in policy change, practice change and behavioral change respectively (depending on the level of change).

In your problem statement (If I may be allowed to call it that), I hear a bit of complexity and uncertainty on the different level of impact (with your example of agriculture) and tracking how they occur (time & place).

I would think that if you adopt Outcome harvesting (mixed with another approach like contribution tracing) you would be able to trace the impact of your M&E system. I chose Outcome harvesting because it does not measure progress towards a predetermined objective, but rather collects evidence of what has changed and then work backward to trace a plausible relationship between the change and an intervention contribution to this change. So if government proposes to set up an agricultural bank, this can be traced back to recommendations from some M&E effort from a particular project, district, ministry or agency.

Secondly, if government proposes agricultural insurance policy, this policy change can be traced to (i) The project Intervention; (ii) Project M&E efforts (iii) Environment and what it means for agriculture etc.

Cheers.

***

Cher Abubakar,

Je pense que le Dr Emile et Zahid ont bien fait comprendre le point et je voudrais être d’accord avec eux. D’autres facteurs étant constants, l’effort de suivi et d’évaluation associé à de bons gestionnaires de projet et à un environnement favorable peut avoir un impact significatif sur le projet, la communauté cible et le cadre politique dans un pays donné.La contribution d'un système de S & E bien conçu qui suit les progrès et propose un réalignement éventuel (le cas échéant) est reflétée dans le changement de politique, le changement de pratique et le changement de comportement, respectivement (en fonction du niveau de changement).

Dans votre déclaration de problème (si on me permet de l'appeler ainsi), j'entends un peu de complexité et d'incertitude quant aux différents niveaux d'impact (avec votre exemple d'agriculture) et au suivi de leur déroulement (heure et lieu).

Je penserais que si vous adoptiez la collecte des résultats « Outcome Harvesting » (associée à une autre approche, comme le traçage des contributions), vous seriez en mesure de retracer l'impact de votre système de suivi et d'évaluation. J'ai choisi « Outcome Harvesting » car il ne mesure pas les progrès accomplis vers un objectif prédéterminé, mais rassemble des preuves de ce qui a changé et travaille ensuite en arrière pour tracer une relation plausible entre le changement et une contribution d'intervention à ce changement. Donc, si le gouvernement propose de créer une banque agricole, on peut en revenir aux recommandations de certains efforts de S & E d'un projet, d'un district, d'un ministère ou d'une agence en particulier.

Deuxièmement, si le gouvernement propose une politique d'assurance agricole, ce changement de politique peut être attribué à (i) l'intervention du projet; (ii) Efforts de suivi et d'évaluation du projet (iii) Environnement et ce que cela signifie pour l'agriculture, etc.

***

Querido Abubakar,

Creo que el Dr. Emile y Zahid han manejado bien el tema y me gustaría estar de acuerdo con los dos. Otros factores constantes, el esfuerzo de M&E junto con buenos gerentes de proyecto y un ambiente propicio pueden impactar significativamente en el proyecto, la comunidad objetivo y el marco de políticas en un país en particular.La contribución de un sistema de M&E bien diseñado que ha estado siguiendo el progreso y proponiendo una posible realineación (donde sea necesario) se refleja en el cambio de políticas, el cambio en la práctica y el cambio de comportamiento, respectivamente (dependiendo del nivel de cambio).En su declaración del problema (si me permiten llamarlo así), escucho un poco de complejidad e incertidumbre sobre el diferente nivel de impacto (con su ejemplo de agricultura) y el seguimiento de cómo ocurren (tiempo y lugar).Pienso que si adopta la Recolección de resultados “Outcome Harvesting” (mezclado con otro enfoque, como el seguimiento de la contribución), podría rastrear el impacto de su sistema de M&E. Escogí la recopilación de resultados “Outcome Harvesting” porque no mide el progreso hacia un objetivo

predeterminado, sino que recopila pruebas de lo que ha cambiado y luego retrocede para trazar una relación plausible entre el cambio y una contribución de intervención a este cambio. Entonces, si el gobierno propone establecer un banco agrícola, esto se puede remontar a las recomendaciones de algunos esfuerzos de M&E de un proyecto, distrito, ministerio o agencia en particular.

En segundo lugar, si el gobierno propone una póliza de seguro agrícola, este cambio de política se puede rastrear a (i) la Intervención del proyecto; (ii) Esfuerzos de M&E del proyecto (iii) Medio ambiente y lo que significa para la agricultura, etc.

15. Abubakar Moki – collective responses Dear all, Thanks for your contributions and please see my responses below:

Dear Dr Émile HoungboMy issue is how do I know that M&E done has added value to an organisation. How do we measure the output and outcomes of M&E that has been carried out or done? And not what M&E measures. M&E should not be an activity whose performance cannot be assessed. What can be assessed and who has the yardsticks?

Dear Zahid Shabbir, Thanks so much for all your useful contributions. However, I have a view that the impact of M&E can be in terms of the following: 1. decisions it has influenced2. problems or challenges or issues it has clarified3. interventions it has redirected4. etc. We can recast the above and add on the listSo that an M&E system that does the above well, we say it has high impact and one that does none of the above we say has no impact and hence no value for money or value addition or contribution for its work.

Dear Mustapha Malki, My interest is how to assess the performance of the M&E system in terms of the changes it has influenced. If for example, the purpose of M&E is for evidence informed decision making.If an M&E output influences decision making, then that should be its impact. If it does not influence decision-making, then it has zero impact. Dear Dr. Tarek Sheta,To measure the impact of M&E work we should look at:(i) The extent to which M&E actions, recommendations and decisions are implemented. So that if zero of those are implemented then we approximate the impact of M&E to be zero. If 50% are implemented then we approximate the impact to 50 % etc.

(ii) The extent to which the purpose of M&E is realized for example, better understanding of the gaps, challenges, emerging needs, changes in situations, etc. The extent of the achievement can be rated and levels of achievement determined that can be approximated to the impacts created in that context. Let’s then refine those two above and add on the list

Dear Reagan Ronald Ojok, My idea is how to measure the impact of the M&E outcome in terms of the outcome influencing decision-making, influencing project change, influence more resource allocation etc.This is because many M&E are being done at various levels and no change seems to be seen out of the M&E outcomes because of weak influence of M&E outcomes. So how do we measure the M&E outcomes so that we know which ones have made some influence and which ones have not made some influence as an example?

***

Chers tous,Merci pour vos contributions et trouvez mes réponses ci-dessous:

Cher Dr Émile Houngbo,Mon problème est de savoir comment je sais que le suivi et l’évaluation apportent une valeur ajoutée à une organisation.Comment mesurons-nous les résultats et les résultats du S & E réalisé ou réalisé? Et pas ce que mesure le S & E. Le S & E ne doit pas être une activité dont la performance ne peut être évaluée. Que peut-on évaluer et qui a les critères?

Cher Zahid Shabbir,Merci beaucoup pour toutes vos contributions utiles. Cependant, j’estime que l’impact du suivi et de l’évaluation peut être le suivant:1. décisions qu'il a influencées2. problèmes ou défis ou problèmes clarifiés3. les interventions qu'il a redirigées4. etc.Nous pouvons reformuler ce qui précède et ajouter à la liste.Ainsi, un système de S & E qui remplit bien les fonctions ci-dessus a un impact important et un système qui ne le remplit n’a aucun impact, donc aucune optimisation des ressources ni aucune valeur ajoutée ni contribution de son travail.

Cher Mustapha Malki,Mon intérêt est de savoir comment évaluer la performance du système de S & E en fonction des changements qu’il a influencés. Si, par exemple, l'objectif du S & E est de permettre une prise de décision éclairée par des données probantes.Si un résultat de S & E influence la prise de décision, alors ce devrait être son impact. Si cela n'influence pas la prise de décision, l'impact est nul. Cher Dr. Tarek Sheta,

Pour mesurer l'impact du travail de S & E, nous devrions examiner:(i) Mesure dans laquelle les actions, recommandations et décisions de S & E sont mises en œuvre. Ainsi, si zéro d'entre eux est mis en œuvre, nous estimons l'impact du suivi et de l'évaluation à zéro. Si 50% sont mis en œuvre, l'impact approximatif est de 50%, etc.(ii) Mesure dans laquelle l'objectif du S & E est réalisé, par exemple, une meilleure compréhension des lacunes, des défis, des besoins émergents, des changements de situation, etc. L'étendue de la réalisation peut être évaluée et les niveaux de réalisation déterminés qui peuvent être approximés aux impacts créés dans ce contexte.Raffinons ensuite les deux précédents et ajoutons à la liste.

Cher Reagan Ronald Ojok,Mon idée est de savoir comment mesurer l'impact des résultats du suivi et de l'évaluation en termes de résultat influençant la prise de décision, influant sur le changement de projet, influençant davantage l'allocation de ressources, etc.En effet, de nombreux S & E sont réalisés à différents niveaux et aucun changement ne semble se dégager des résultats du S & E en raison de la faible influence des résultats du S & E.Alors, comment pouvons-nous mesurer les résultats du S & E afin de savoir quelles sont celles qui ont exercé une influence et celles qui ne l’ont pas influencé, par exemple?

***

Queridos todos,Gracias por sus contribuciones y por favor vea mis respuestas a continuación:

Estimado Dr. Émile Houngbo, Mi problema es cómo sé que el SyE tiene un valor agregado para una organización.¿Cómo medimos el producto y el effecto directo del SyE que se han llevado a cabo o se han realizado? Y no lo que mide el SyE. El M&E no debe ser una actividad cuyo desempeño no pueda ser evaluado. ¿Qué se puede evaluar y quién tiene los criterios?

Querido Zahid Shabbir,Muchas gracias por todas sus contribuciones útiles. Sin embargo, tengo la opinión de que el impacto del M&E puede ser en términos de lo siguiente: 1. decisiones que ha influido2. problemas o retos o cuestiones que ha aclarado.3. intervenciones que ha redirigido.4. etc.Podemos refundir lo anterior y agregar en la lista.Para que un sistema de M&E que haga lo anterior bien, decimos que tiene un alto impacto y uno que no hace nada de lo anterior, decimos no tiene impacto y, por lo tanto, no tiene valor para el dinero o valor agregado o contribución para su trabajo.

Querida Mustapha Malki,Mi interés es cómo evaluar el desempeño del sistema de S&E en términos de los cambios que ha influido. Si, por ejemplo, el propósito del S&E es la toma de decisiones fundamentada en la evidencia.

Si una salida de S&E influye en la toma de decisiones, ese debería ser su impacto. Si no influye en la toma de decisiones, entonces tiene cero impacto. Estimado Dr. Tarek Sheta,Para medir el impacto del trabajo de S&E debemos mirar:(i) La medida en que se implementan las acciones de M&E, recomendaciones y decisiones. De modo que si se implementan cero de ellos, entonces estimamos que el impacto de M&E es cero. Si se implementa el 50%, entonces aproximamos el impacto al 50%, etc.(ii) La medida en que se cumple el propósito de S&E, por ejemplo, una mejor comprensión de las brechas, los desafíos, las necesidades emergentes, los cambios en las situaciones, etc. La magnitud del logro puede evaluarse y los niveles de logro pueden determinarse de forma aproximada A los impactos creados en ese contexto.Refinemos los dos anteriores y agreguemos a la lista.

16. Isha Miranda, independent consultant, Sri Lanka Dear Abubakar Muhammad Moki,

I would like to share the Sri Lankan experience. In Sri Lanka the Evaluation Policy reached the legislation after 16 years and was launched in Sep 19th 2018. The Policy framework is now under construction. I have been through this process all these years and now are a member of the National Policy Framework Technical committee.

First and foremost, it is important to create a culture of evaluation and key activities can fall under three broad areas:

1. Enabling environment, 2. Institutional Capacity, 3. Individual capacity in the country at all levels from national to sub national government.

If the country does not have a Policy on Evaluation it is necessary to develop it in order to create the legally bonded “must” culture. However, policy alone is not enough to create a culture, which needs the following activities:

1. Enabling environment, creating a demand before the supply• Do not wait for the whole government but can do it organization by organization.• If the government has a central agency who already does monitoring you could add or

transform the mandate to Monitoring and Evaluation.• Setting up national policy combined with sub-national.• All the international donor funded intervention (INGO’s, Finance organizations etc): at the time

of the contracting government should/could ask for a joint evaluation activity (i.e. evaluation team will comprise with Government and funding organization members) it is very much a lesson learning exercise that will help in creating ownership too.

• Set up a “must” activities and embed the evaluation into that with inclusiveness in every government own program/intervention/project either nationally or sub nationally.

• Lobbying the legislation either upper house/lower house/senate on policy on evaluation through members who are champion of good governance. Even few members can have a large impact.

• Create more awareness by utilizing your VOPEs and other Professional Associations.

2. Institutional Capacity: policy and frameworks take a long time to materialize. Therefore creating awareness on “what is evaluation” and “how” will benefit to their work and knowledge among the government institution and can make a tremendous impact. Take this message and promote the upcoming policy and framework even it is not yet ready.

Target institutional capacity for: • Government and Sub –National institutes• Academia – Setting up workshops and other possible certificate or diploma programmes by

practitioners of the field of evaluation.• Institutes like Project Management, Government Administration training institutes, universities

etc.• Private sector institutes under Project Management etc.

3. Individual capacity: this is important to create the culture.However, it is better that above centres enroll all the members of the working world to adopt as part of their job as learning and implementing evaluation “Must”

Challenges:• Resources and Practitioners in the country also need international support in order to upgrade

the skills and methods. i.e. evaluation is not a uniform effort it’s change all the time, methods, approaches norms and standards etc.

• Make it important and vital also how to create demanding culture,• Evaluation is very costly and how do you show the authorities that it is Value for Money.• Raise awareness to all via language they understand. i.e. legislation, individuals and institutional

level too.

If you need any clarification or any other assistance, please ask me I am happy to help.

***

Cher Abubakar Muhammad Moki,

Je voudrais partager l'expérience sri lankaise. Au Sri Lanka, la politique d'évaluation a atteint la législation après 16 ans et a été lancée le 19 septembre 2018. Le cadre de la politique est actuellement en construction. J'ai suivi ce processus toutes ces années et je suis maintenant membre du comité technique du cadre stratégique national.

Tout d’abord, il est important de créer une culture de l’évaluation et les activités clés peuvent relever de trois grands domaines:1. Environnement favorable,2. capacité institutionnelle,3. Capacités individuelles dans le pays à tous les niveaux, du gouvernement national au gouvernement sous-national.

Si le pays n’a pas de politique d’évaluation, il est nécessaire de la développer afin de créer la culture du «devoir» légalement liée. Cependant, la politique ne suffit pas à créer une culture nécessitant les activités suivantes :

1. Environnement favorable, créant une demande avant l'offre• N'attendez pas le gouvernement tout entier, mais allez organisation par organisation.• Si le gouvernement dispose d'un organisme central qui assure déjà le suivi, vous pouvez ajouter

ou transformer le mandat en suivi et évaluation.• Mise en place d'une politique nationale associée à une politique infranationale.• Toutes les interventions financées par des donateurs internationaux (ONG, organisations

financières, etc.): au moment où le gouvernement contractant devrait / pourrait demander une activité d'évaluation conjointe (l'équipe d'évaluation comprendra des membres du gouvernement et des organisations de financement), c'est vraiment une leçon exercice d'apprentissage qui aidera aussi à s’approprier de l’évaluation elle-même.

• Établissez une activité «indispensable» et intégrez l'évaluation dans celle-ci de manière inclusive dans chaque programme / intervention / projet du gouvernement, que ce soit au niveau national ou sous-national.

• Faire pression sur la législation, soit à la Chambre haute / à la Chambre basse / au Sénat, pour la politique d’évaluation par le biais de membres défenseurs de la bonne gouvernance. Même quelques membres peuvent avoir un impact important.

• Créez davantage de sensibilisation en utilisant vos VOPEs et d’autres associations professionnelles.

2. Capacité institutionnelle: les politiques et les cadres mettent longtemps à se concrétiser. Par conséquent, créer une prise de conscience sur «ce qu’est l’évaluation» et «comment» profitera à leur travail et à leurs connaissances au sein de l’institution gouvernementale et pourra avoir un impact considérable. Prenez ce message et faites la promotion de la politique et du cadre à venir, même s'il n'est pas encore prêt.

Capacité institutionnelle ciblée pour:• Instituts gouvernementaux et sous-nationaux• Universités - Organiser des ateliers et d’autres programmes de certificat ou de diplôme pouvant être organisés par des praticiens du domaine de l’évaluation.• Instituts comme la gestion de projet, les instituts de formation de l'administration publique, les universités, etc.• Instituts du secteur privé sous gestion de projet, etc

3. Capacité individuelle: il est important de créer la culture.Cependant, il est préférable que les centres ci-dessus enrôlent tous les membres du monde du travail à adopter dans le cadre de leur travail d'apprentissage et de mise en œuvre de l'évaluation.

Défis:• Les ressources et les praticiens du pays ont également besoin d'un soutien international pour

améliorer leurs compétences et leurs méthodes. C’est-à-dire que l’évaluation n’est pas un effort uniforme, elle change tout le temps, méthodes, approches, normes, etc.

• Faites en sorte qu’il soit important et vital de créer une culture exigeante.• L’évaluation coûte très cher et comment montrez-vous aux autorités qu’il s’agit du rapport

qualité-prix?• Sensibiliser tous à travers un langage qu'ils comprennent. C'est-à-dire la législation, les individus

et les institutions également.

Si vous avez besoin d’éclaircissements ou de toute autre assistance, n'hésitez pas à me demander de vous aider.

***

Querido Abubakar Muhammad Moki,

Me gustaría compartir la experiencia de Sri Lanka. En Sri Lanka, la Política de evaluación llegó a la legislación después de 16 años y se lanzó el 19 de septiembre de 2018. El marco de la Política está en construcción. He pasado por este proceso todos estos años y ahora soy miembro del comité técnico del Marco de políticas nacionales.

En primer lugar, es importante crear una cultura de evaluación y las actividades clave pueden incluirse en tres áreas amplias:1. Entorno habilitador,2. Capacidad Institucional,3. Capacidad individual en el país en todos los niveles, desde el gobierno nacional hasta el gobierno subnacional.

Si el país no tiene una Política de evaluación, es necesario desarrollarla para crear la cultura de "obligación" legalmente vinculada. Sin embargo, la política sola no es suficiente para crear una cultura, que necesita las siguientes actividades:

1. Entorno habilitador, creando una demanda ante el suministro.• No espere a todo el gobierno sino que puede hacerlo organización por organización.• Si el gobierno tiene una agencia central que ya realiza el monitoreo, usted podría agregar o

transformar el mandato a Monitoreo y Evaluación.• Establecimiento de política nacional combinada con subnacional.

• Toda la intervención financiada por donantes internacionales (ONG, organizaciones financieras, etc.): en el momento de la contratación, el gobierno debería / podría solicitar una actividad de evaluación conjunta (es decir, el equipo de evaluación estará integrado por el gobierno y los miembros de la organización de financiación) es una lección de aprendizaje que ayudará a crear la propiedad también.

• Establezca actividades "obligatorias" e incorpore la evaluación a ese nivel con inclusión en cada programa / intervención / proyecto del gobierno, ya sea a nivel nacional o subnacional.

• Presionar a la legislación ya sea en la cámara alta / cámara baja / senado sobre la política de evaluación a través de los miembros que son campeones del buen gobierno. Incluso pocos miembros pueden tener un gran impacto.

• Crea más conciencia utilizando tus VOPE y otras asociaciones profesionales.

2. Capacidad institucional: las políticas y los marcos tardan mucho tiempo en materializarse. Por lo tanto, crear conciencia sobre “qué es la evaluación” y “cómo” beneficiará su trabajo y conocimiento entre las instituciones gubernamentales y puede tener un impacto tremendo. Tome este mensaje y promueva la política y el marco venideros aun cuando todavía no esté listo.

Desarrolla capacidad institucional para:• Institutos gubernamentales y subnacionales.• Academia: creación de talleres y otros posibles programas de certificado o diploma por parte de profesionales del campo de la evaluación.• Institutos como Gestión de Proyectos, institutos de formación de Administración del Gobierno, universidades, etc.• Institutos del sector privado bajo gestión de proyectos, etc.

3. Capacidad individual: esto es importante para crear la cultura.Sin embargo, es mejor que los centros mencionados anteriormente inscriban a todos los miembros del mundo laboral para que adopten como parte de su trabajo el aprendizaje y la implementación de la evaluación.

Desafíos:• Los recursos y profesionales en el país también necesitan apoyo internacional para mejorar las habilidades y los métodos. es decir, la evaluación no es un esfuerzo uniforme, cambia todo el tiempo, los métodos, se aproxima a las normas y estándares, etc.• Haz que sea importante y vital también cómo crear una cultura exigente,• La evaluación es muy costosa y cómo muestra a las autoridades que es Value for Money.• Sensibilizar a todos a través del lenguaje que entiendan. es decir, legislación, individuos y nivel institucional también.

Si necesita alguna aclaración o alguna otra ayuda, por favor, pregúnteme, estaré encantado de ayudarle.

17. Abubakar Moki – response to Isha Miranda

Dear Isha Miranda

Thanks for the good contribution.

However, my interest is to know how to measure the impact or effectiveness of M&E outcomes. In other words, how to measure the influence that M&E evidence or outcomes have generated. How do we do that?

I believe, we should also be able to assess whether M&E outcomes are meeting their intended purposes such as to what extend do M&E outcomes influence: (i) decision and policy making, (ii) redirecting policy or project or program implementation, (iii) influencing termination of policy or project or program implementation that is not meeting its intended outcomes, (iv) influencing planning, budgeting etc.

So that M&E outcomes can be seen to have impact or not.

GratefulAbubakar Muhammad MokiUganda

***

Chère Isha Miranda

Merci pour la bonne contribution.

Cependant, mon intérêt est de savoir comment mesurer l'impact ou l'efficacité des résultats du suivi et de l'évaluation. En d’autres termes, comment mesurer l’influence générée par les preuves ou les résultats de S & E. Comment fait-on cela?

Je pense que nous devrions également être en mesure d’évaluer si les résultats du S & E atteignent leurs objectifs, par exemple dans quelle mesure ces résultats influencent-ils: (i) les décisions et les politiques, (ii) la réorientation d’une politique, d'un projet ou d'un programme (iii) la fin d’un politique, programme ou projet qui ne donne pas les résultats escomptés, (iv) influencer la planification, la budgétisation, etc.

Pour que les résultats du S&E aient un impact ou non.

ReconnaissantAbubakar Muhammad Moki

***

Querida Isha Miranda

Gracias por la buena contribución.

Sin embargo, mi interés es saber cómo medir el impacto o la efectividad de los resultados de S&E. En otras palabras, cómo medir la influencia que han generado las evidencias de S&E o los resultados. ¿Como hacemos eso?

Creo que también deberíamos poder evaluar si los resultados del S&E están cumpliendo con los propósitos previstos, por ejemplo, en qué medida influyen los resultados del S&E: (i) toma de decisiones y políticas, (ii) redireccionando la implementación de políticas o proyectos o programas, (iii) influir en la terminación de la implementación de políticas o proyectos o programas que no está cumpliendo con los resultados esperados, (iv) influir en la planificación, el presupuesto, etc.

Por lo tanto, se puede ver que los resultados del S&E tienen impacto o no.

AgradecidoAbubakar Muhammad MokiUganda

18. Samuel Boakye, ICED, Kenya Dear all,

This newsletter below could be provide some relevant information to the on-going discussion submitted by Abubakar.

Best regards

Samuel

***

Chers tous,

Cette newsletter ci-dessous pourrait fournir des informations pertinentes à la discussion en cours soumise par Abubakar.

***

Queridos todos,

Este boletín a continuación podría proporcionar información relevante para la discusión en curso presentada por Abubakar.

The Global Evidence and Implementation Summit 2018 (GEIS) brought together experts from across the world to share their experiences in generating and implementing evidence for better policy and practice. With approximately 700 delegates from 30 countries in attendance, the Summit explored the design, implementation and review of effective programs and policies. Highlighted were contemporary synthesis, research and practice

strategies for improving the lives of individuals, families and communities worldwide. The Summit (GEIS2018) held in Melbourne, Australia from 22nd to 24th October 2018, was preceded by one held in London, Great Britain in 2016 and Cape Town, South Africa in 2017.To achieve the overarching theme, “Evidence, synthesis and implementation: Creating impact for stronger communities around the world”, GEIS 2018 was structured into five core sub-themes;

Understanding what works Achieving scale and sustainability Methods for impact and implementation evaluation and synthesis Using evidence for better policy, programs and practice National and global cooperation and partnerships

During the Summit, it was emphasized that that there is no area of government where robust evidence cannot advance the policy process. However, data alone is not information and information without expert analysis is not knowledge while knowledge is only evidence when applied contextually. It is therefore, imperative that the processes, structures and skill sets needed to improve on the incorporation of evidence into policy are robust and adaptable.While at the Summit, Dr David Ameyaw, President and the Chief Executive Officer of the International Centre for Evaluation and Development, presented on using evidence for effective communication and on the value of integrating monitoring and evaluation into program life cycle for governance. He was accompanied by Dr. Julius Muia, the Principal Secretary, State Department for Planning and Dr. Samson Machuka, Director, Monitoring and Evaluation Department, both from the National Treasury and Planning in Kenya.This was further explored in one of the key plenary sessions where policymakers discussed building a responsible government acknowledging that establishing national evaluation systems is a complex and long-term commitment. Legislatures discussed their successes and challenges in building a culture of evaluation and evidence use in a panel titled, ‘Building Responsible Government: High Level Policy Perspective on the Values of National Evaluation Systems’.Panelist Dr. Julius Muia, the Principal Secretary, State Department for Planning at the National Treasury and Planning Kenya, emphasized that the most effective mechanisms to ensure success in institutionalizing monitoring and evaluation include the following:

Existence of a legal and policy framework to facilitate the uptake of M&E practice and culture. In the context of Kenya:

i. The constitution emphasizes on the principles of good governance to guide implementation of government policies to realize its development goals;

ii. The Constitution demands for capable, accountable and transparent public institutions; iii. A devolved system of governance that is demand driven to achieve the country’s development

goals; iv. The Kenyan constitution has classified information as a right thereby enabling the citizenry to

demand for evidence on government decisions. Robust oversight authorities created by the constitution. For Kenya, this includes:

i. The legislature demanding for evidence in the implementation of government policies, programmes and projects.

ii. The formation of an MPs’ caucus on evidence use to inform policy has enhanced demand for quality and timely M&E information;

An effective national M&E Policy. The Kenyan government has: i. Created a Monitoring and Evaluation Department to coordinate the National Integrated and

Evaluation system (NIMES). Automation of the NIMES into e-NIMES as a dashboard has proven to enhance reporting;

ii. Financial Resources set aside by the M&E policy. Government agencies are required to set aside at least 1% of their development budget to undertake M&E functions;

iii. An annual M&E Week hosted by the Monitoring and Evaluation Department that brings together practitioners of M&E to share experience and knowledge on M&E best practices.

Legal requirement for timely reporting in the use of public resources. In Kenya, the PFM Act require government agencies to report on a quarterly basis to oversight bodies.

A well-coordinated planning functions that sets monitoring and evaluation activities during the development of government plans. The Kenyan MTP III outlines how evaluations will be conducted over five years. Outcome Indicators to be tracked in the five-year period are agreed upon during the planning phase. The summit closed by reiterating that effective programs and practices can only achieve their full potential if they reach the entire population for which they are intended. Participating in the conference enhanced the collaboration between ICED and The Campbell Collaboration to promote evidence synthesis and knowledge brokering amongst policymakers and evidence practitioners in sub-Saharan Africa. ICED looks forward to taking part in the next Global Evidence and Implementation Summit to take place in Mexico in October, 2019 and share experiences and innovation from the continent

19. Abubakar Moki – response to Samuel

Dear Samuel

Thanks for sharing this useful information from the ICED newsletter.

There seems to be a lot of evidence on how to establish a robust M&E system for better policy and practice.

There is need for evidence in a similar manner, on how best to determine whether the robust M&E system that has been established actually betters policy and practice.

That is how the discussion on how to measure the impact of M&E system outcomes on policy and practice comes in. The idea is that we should be able to establish the changes that M&E outcomes have contributed to. This contribution to changes of M&E could then be approximated to be its impact.

There is also need for clarity on what a robust M&E system is. The robustness of M&E system could be out of what the M&E outcomes do such as degree at which it can influence or inform better policy and practice.

GratefulAbubakar Muhammad MokiUganda

***

Cher Samuel

Merci de partager ces informations utiles du bulletin ICED.

Il semble y avoir beaucoup d’indications sur la façon d'établir un système de S&E robuste pour une meilleure politique et de meilleures pratiques.

Il est nécessaire d'avoir des preuves de la même manière, sur la meilleure façon de déterminer si le système de S&E robuste qui a été établi améliore réellement la politique et la pratique.

C'est ainsi qu'intervient la discussion sur la façon de mesurer l'impact des résultats du système de S&E sur les politiques et les pratiques. L'idée c’est que nous devrions être en mesure d'établir les changements auxquels les résultats S&E ont contribué. Cette contribution aux changements pourrait alors être évaluée comme impact du S&E.

Il est également nécessaire de clarifier ce qu'est un système S&E robuste. La robustesse du système de S&E pourrait être hors de ce que les résultats de S&E font comme le degré auquel il peut influencer ou informer de meilleures politiques et pratiques.

***

Estimado Samuel

Gracias por compartir esta información útil de la hoja informativa del ICED.

Parece haber muchas pruebas sobre cómo establecer un sistema de S&E robusto para una mejor política y práctica.

Hay necesidad de pruebas de manera similar, sobre la mejor manera de determinar si el robusto sistema de S&E que se ha establecido realmente mejora la política y la práctica.

Así es como entra en acción la discusión sobre cómo medir el impacto de los resultados del sistema de S&E en la política y la práctica. La idea es que deberíamos ser capaces de establecer los cambios que los resultados de S&E han contribuido. Esta contribución a los cambios podría entonces ser aproximada para ser el impacto del S&E.También hay necesidad de claridad sobre lo que es un sistema de S&E robusto. La robustez del sistema de S&E podría estar fuera de lo que los resultados del S&E hacen, como el grado en el que puede influir o informar mejor la política y la práctica.

On Friday, November 23, 2018, 7:38:55 PM GMT+3, Samuel Boakye via Dgroups <sboakye@iced-eval.org> wrote:

20. Abubakar Moki – concluding remarks

Dear Colleagues

Thank you so much for the contributions that you made on the topic 'how to measure the impact of M&E work' that I posted for discussion in the forum.I have made a compilation of the key issues that I received out of the discussions, attached to this email.I will appreciate further guidance on how to take the subject forward.The following are some of the key highlights:

I. Nothing is impossible and impact evaluation of evaluations or a systematic review of M&E can be done.

II. The impact of M&E and indicators for this “Impact" is much related to utility/ use of the outputs of M&E.

III. Measuring the impact of M&E outcomes can be in terms of the outcome influencing decision-making, influencing project or programme or policy change/redesign, influencing more resource allocation, informing improvements in production, productivity, food security and service delivery in general, clarifying problems or challenges or issues.

IV. It may not always be possible to measure the contribution at the impact level, but going down to outcome and output level would be easier. To give example of indicators: the number of downloads of an evaluation report or the number of reaches/ views, % of M&E reports shared on websites of related organisations.

V. Perform some sort of counterfactual analysis

VI. (probably using systematic reviews/mixed methods/triangulation) to determine whether having M&E systems in place transformed into some sort of policy change/ improvement or not, no matter what sector/ indicators you are taking into the consideration. The scale and breadth of such analysis would be dependent upon various factors (including but not limited to resources, expertise, priority areas, and number of interventions to account for).

VII. Monitoring data collected at a project level can easily be aggregated at the sectoral level, getting the sectoral plan to feed back into the national strategic plan.

VIII. The extent to which M&E actions, recommendations and decisions are implemented can be used to approximate the impact, so that if zero of those are implemented then we approximate the impact of M&E to be zero, if 50% are implemented then we approximate the impact to 50 % etc.

IX. The extent to which the purpose of M&E is realized can also be used, for example, better understanding of the gaps, challenges, emerging needs, changes in situations, etc. The extent of the achievement can be rated and levels of achievement determined that can be approximated to the impacts created in that context.

X. Adopting outcome harvesting (mixed with another approach like contribution tracing) one would be able to trace the impact of M&E system. The choice of outcome harvesting is because it does not measure progress towards a predetermined objective, but rather collects evidence of what has changed and then work backward to trace a plausible relationship between the change and an intervention contribution to this change. If government proposes an agricultural bank, this can be traced back to recommendations from some M&E effort or if agricultural insurance policy, this policy change can be traced to (i) The project Intervention; (ii) Project M&E efforts (iii) Environment and what it means for agriculture etc.

GratefulAbubakar Muhammad MokiUganda

***

Chers collègues,

Merci beaucoup pour vos contributions sur le sujet « Comment pouvons-nous mesurer l'impact du travail de S & E? » que j'ai posté pour discussion sur le forum.J'ai compilé une liste des questions clés que j'ai reçus des discussions, ci jointe. J'apprécierai davantage de conseils sur la manière de faire avancer le sujet.Voici quelques points saillants:

I. Rien n’est impossible et une évaluation d’impact des évaluations ou un examen systématique du S & E peuvent être réalisés.

II. L'impact du S & E et des indicateurs pour cet "Impact" est en grande partie lié à l'utilité / utilisation des résultats du S & E.

III. Pour mesurer l'impact des réalisations du S & E on peut considérer l’influence sur la prise de décision, l’influence sur le changement de projet ou de programme ou de politique et sur l'allocation de ressources, sur les améliorations de production, sur la productivité, la sécurité alimentaire et la prestation de services en général, sur la clarification des problèmes ou des défis.

IV. Il n'est peut-être pas toujours possible de mesurer la contribution au niveau de l'impact, mais il serait plus facile de descendre au niveau des résultats et des produits. Pour donner des examples d’indicateurs: nombre de téléchargements d’un rapport d’évaluation ou nombre de contacts / vues, % de rapports de S & E partagés sur les sites Web d’organisations apparentées.

V. Réaliser une sorte d’analyse contrefactuelle (utilisant probablement des revues systématiques / méthodes mixtes / triangulation) pour déterminer si la mise en place de systèmes de S & E est transformée en une sorte de changement / amélioration de politique ou non, quel que soit le secteur / les indicateurs que vous utilisez considération. L'ampleur et la portée de cette analyse

dépendraient de divers facteurs (y compris, sans toutefois s'y limiter, les ressources, l'expertise, les domaines prioritaires et le nombre d'interventions à prendre).

VI. Les données de suivi collectées au niveau des projets peuvent facilement être agrégées au niveau sectoriel, ce qui permet au plan sectoriel d'être intégré au plan stratégique national.

VII. La mesure dans laquelle les actions, les recommandations et les décisions de suivi et d’évaluation sont mises en œuvre peut être utilisée pour estimer l’impact. Ainsi, si zéro d’entre elles est mise en œuvre, l’impact du suivi et de l’évaluation est égal à zéro, si 50% sont mise en œuvre, l’impact est 50% etc.

VIII. La mesure dans laquelle le but du suivi et de l'évaluation est atteint peut également être utilisée, par exemple, pour une meilleure compréhension des lacunes, des défis, des besoins émergents, des changements de situation, etc. L'étendue de la réalisation peut être évaluée et les niveaux de réalisation déterminés pour se rapprocher aux impacts créés dans ce contexte.

IX. En adoptant la collecte des résultats « Outcome harvesting » (combinée à une autre approche comme le traçage des contributions), il serait possible de suivre l'impact du système de suivi et d'évaluation. Le choix de la collecte de résultats « Outcome harvesting » tient au fait qu’il ne mesure pas les progrès accomplis vers un objectif prédéterminé, mais recueille plutôt des preuves de ce qui a changé, puis recule pour établir une relation plausible entre le changement et une contribution d’intervention à ce changement. Si le gouvernement propose une banque agricole, cela peut être lié aux recommandations de certains efforts de S & E ou à la politique d'assurance agricole, ce changement de politique peut être attribué à (i) l'Intervention du projet; (ii) Efforts de suivi et d'évaluation du projet (iii) Environnement et ce que cela signifie.

***

Estimados colegas,

Muchas gracias por las contribuciones que realizó sobre el tema “¿Cómo podemos medir el impacto del trabajo de M&E?" que publiqué para discusión en el foro.He hecho una compilación de los temas clave que recibí de las discusiones, que se adjunta a este correo electrónico.Apreciaré más orientación sobre cómo llevar adelante el tema.Los siguientes son algunos de los aspectos más destacados:

I. Nada es imposible y se puede realizar una evaluación de impacto de las evaluaciones o una revisión sistemática del S&E.

II. El impacto del S&E y los indicadores para este "Impacto" está muy relacionado con la utilidad / uso de los productos del S&E.

III. La medición del impacto de los resultados de S&E puede ser en términos de los resultados que influyen en la toma de decisiones, el proyecto o programa o el cambio en el diseño de políticas, influyen en una mayor asignación de recursos, informan mejoras en la producción, productividad, seguridad alimentaria y prestación de servicios en general, aclaran problemas o retos o cuestiones.

IV. Es posible que no siempre sea posible medir la contribución en el nivel de impacto, pero sería más fácil bajar al nivel de resultados y resultados. Para dar un ejemplo de los indicadores: la cantidad de descargas de un informe de evaluación o la cantidad de visitas / visitas, el% de informes de S&E compartidos en los sitios web de organizaciones relacionadas.

V. Realizar algún tipo de análisis contrafactual (probablemente mediante revisiones sistemáticas / métodos mixtos / triangulación) para determinar si los sistemas de S&E implementados se transforman en algún tipo de cambio / mejora de políticas o no, independientemente del sector / los indicadores que esté tomando en cuenta. consideración. La escala y amplitud de dicho análisis dependería de varios factores (incluidos, entre otros, recursos, experiencia, áreas prioritarias y número de intervenciones a tener en cuenta).

VI. Los datos de monitoreo recopilados a nivel de proyecto se pueden agregar fácilmente a nivel sectorial, logrando que el plan sectorial se retroalimente en el plan estratégico nacional.

VII. La medida en que se implementan las acciones, recomendaciones y decisiones de M&E se puede utilizar para aproximar el impacto, de modo que si se implementan cero, se aproxima el impacto de M&E a cero, si se implementa el 50%, se aproxima el impacto a 50% etc.

VIII. La medida en que se realiza el propósito de M&E también se puede utilizar, por ejemplo, una mejor comprensión de las brechas, los desafíos, las necesidades emergentes, los cambios en las situaciones, etc. La magnitud del logro se puede calificar y los niveles de logro se pueden determinar. Ser aproximados a los impactos creados en ese contexto.

IX. Adoptando la recolección de resultados (mezclado con otro enfoque como el seguimiento de la contribución), se podría rastrear el impacto del sistema de M&E. La elección de la recolección de resultados se debe a que no mide el progreso hacia un objetivo predeterminado, sino que más bien recopila evidencia de lo que ha cambiado y luego retrocede para rastrear una relación plausible entre el cambio y una contribución de intervención para este cambio. Si el gobierno propone un banco agrícola, esto se puede remontar a las recomendaciones de algún esfuerzo de M&E o, si se trata de una póliza de seguro agrícola, este cambio de política se puede remontar a (i) la Intervención del proyecto; (ii) Esfuerzos de M&E del proyecto (iii) Medio ambiente y lo que significa para la agricultura, etc.