Evaluation du programme BSOD ASEPEX · 2020. 5. 19. · TABLE DE MATIÈRES . LISTE D’A RÉVIATION. S 3 . EXECUTIVE SUMMARY 4 RESUMÉ 7 1. INTRODUCTION 10 . Contexte 10 Structure

Evaluation du programme BSOD ASEPEX

Commissioned by the Netherlands Enterprise Agency

CBI - Netherlands Enterprise Agency

RAPPORT FINALE

Ede les Pays-Bas Novembre 2017

RAPPORT FINALE

Josefien de Kwaadsteniet

Saskia Brand

Jean Michel Sene

ISO 90012008 certified MDF Training amp Consultancy BV

Bennekomseweg 41 6717 LL Ede The Netherlands

telnr +31 318 650060

e-mail mdfmdfnl website wwwmdfnl

TABLE DE MATIEgraveRES

LISTE DrsquoABBREacuteVIATIONS 3

EXECUTIVE SUMMARY 4

RESUMEacute 7

1 INTRODUCTION 10

Contexte 10

Structure du rapport 10

2 APPROCHE ET IMPLEacuteMENTATION DE LrsquoEacuteVALUATION 11

41 Objectifs 11

42 Le programme BSOD avec ASEPEX 11

43 Processus de lrsquoeacutevaluation 11

44 Questions de recherche et meacutethodologie 12

45 Deacutelimitation de lrsquoeacutevaluation 13

46 Limites 13

5 LE PROGRAMME BSOD 15

51 Contexte eacuteconomique et politique du Seacuteneacutegal 15

52 Le rocircle de lrsquoASEPEX dans la promotion de lrsquoexport 15

53 Historique du programme 16

54 La theacuteorie du changement 17

6 APERCcedilU DES REacuteSULTATS DE LrsquoEacuteVALUATION 19

61 Evaluation par critegravere 19

611 Pertinence 19

612 Efficaciteacute 22

613 Efficience 28

614 Durabiliteacute 32

7 CONCLUSIONS 34

71 Conclusions critegraveres DAC 34

711 Pertinence 34

713 Efficience 35

715 Conclusions - Minimum Quality Norms (MQN) 36

8 LECcedilONS APPRISES ET IMPLICATIONS POUR LE SOUTIEN FUTUR DU CBI DANS

LrsquoEXPORTATION 37

81 Avoir un Theacuteorie de Changement solide 37

82 Srsquoassurer du portage par le montage institutionnel 38

83 Construire des relations avec des entreprises 38

84 Mesurer le changement interne 38

Annexe 1 Bibliographie 40

Annexe 2 Informateurs cleacutes 41

Annexe 3 Reacutesultats de lrsquoatelier 5c 42

Annexe 4 Matrice devaluation 43

Annexe 5 Termes of Reference 50

of (53) ref Rapport finale BSOD ASEPEX FINdocx Ede les Pays-Bas Novembre 2017

Liste drsquoAbbreacuteviations

ASEPEX Agence Seacuteneacutegalaise de la Promotion de lrsquoExportation

AEC Afrique Emerge Conseil

BSO Business Support Organisation

BSOD Business Support Organisation Development

CBI Centre for Promotion of Imports from Developing Countries

DG Direction Geacuteneacuterale

ESMP Ecole Supeacuterieure de Management de Projet

PI People Input

PME Petits et Moyens Entreprises

TdC Theacuteorie de Changement

SampE Suivi et Evaluation

SG Secreacutetaire Geacuteneacuterale

SI Systegraveme Interne drsquoInformatisation

SMQ Systegraveme de Management de Qualiteacute

XE1 Integrated Export Development Program for Natural Ingredients for the Food

Pharmaceutical and Cosmetic Industries

XF1 Integrated Export Development programmes for Fresh Fruit and Vegetables

Executive Summary

The present document concerns the external evaluation of the BSOD (Business Support Organisation Development) project with ASEPEX in Senegal implemented from 1 March 2013 to 31 December 2015 The evaluation started in May 2017 with an inception meeting at CBI Field work took place in August 2017 At 24 September 2017 a presentation and sense making event was held at the CBI with the aim to discuss findings and obtain further inputs from an institutional perspective The outcomes of this session are included in this evaluation report

Context The BSOD project in Senegal was conducted with ASEPEX The project focused on internal capacity strengthening in order to improve services to assist in Export Development and Promotion The four activities in the project were

1 Development and implementation of an intranet application 2 Development of Export Portal Senegal 3 Development and implementation of a Quality Management System 4 Further professionalization and implementation of the Monitoring and Evaluation system

Evaluation question The overall evaluation question was to what extent and how did CBI involvement contribute to institutional development of the BSO in order for this BSO to enhance the export capacity of SMEs to export Findings in response to this question were collected through a mixed method approach which included document analysis interviews focus group discussions a 5C workshop and internet research In pursuit of the answers the evaluation focused on four of the DAC criteria being relevance effectiveness efficiency and sustainability and analysed each of the criteria in terms of what went well and where is space for improvement Impact was considered to be out of the scope of this evaluation

In light of the findings of the evaluation the following conclusions concerning the key evaluation criteria were drawn

Relevance The project addressed the internal need identified and started on the request of the BSO The institutional capacity strengthening was aligned with the organisational needs and priorities as formulated in the strategic plan ASEPEX staff has gained substantial experience and knowledge mainly on monitoring and evaluation as well as on the why and how of implementing a Quality Management System Some staff also gained experience on the use of intranet and website management For the government in Senegal the project was relevant because of the need for agencies in the export sector at national level capable of working according to quality standards and a result based approach Also for the Dutch government the project aligned with the focus on economic development and promotion of export towards Europe

A question that remains open is whether the project was an answer to the needs of the export businesses in Senegal Their needs were incorporated in the strategic plan However the project mainly focused on internal institutional strengthening and less on how businesses could make use the results to arrive at the outcomes foreseen in the project A reason could have been that businesses were not involved in any way in the implementation of the program

Effectiveness In terms of effectiveness the evaluation found that the project results were mainly achieved at output level and not beyond This means that capacity has been strengthened in monitoring and evaluation as well as on why and how to use a Quality Management System However the use of the intranet and the website is still low

This judgement on the effectiveness is based on observed management issues and insufficient leadership non involvement of businesses in the project and a lack of interventions identified in the theory of change to bridge the gap from the output to the outcome level Although there was management buy-in at the start this changed with the departure of the director who had pushed for the project a few months after the start of the project His successor did not have the same level of motivation and power Furthermore the departure of one of the project coordinators left the project with only one coordinator in Senegal which had a negative impact on the implementation of the results of trainings and other capacity strengthening activities Motivation of staff was negatively influenced by this especially in order for implementation to stay a priority and become institutionalised Furthermore the non involvement of businesses in the development of the theory of change and the project implementation has contributed to the fact that capacity strengthening did not lead to higher level outcomes

Efficiency Efficiency was looked at from the point of view of quality of the services delivered use of the budget and management of the project The quality of the national service providers in the project was considered very satisfactory They were appreciated for transferring knowledge and skills and introducing new ways of working A special point of attention is the perseverance of one provider in pushing ASEPEX to get to the ISO certification process which unfortunately did not succeed because of internal issues The approach of working with national service providers instead of using expert missions was new to CBI and successful On the efficient use of the budget no conclusions could be derived since no final figures were delivered to the evaluation team Efficiency of the project management was good for some parts with the initial light structure and using staff of ASEPEX as pilots and co-pilots in the QMS activities However efficiency was diminished through the departure of one of the coordinators and the non implication of business in the management structure The latter could have been a way to deal with the risk which was identified at the start of non interest by external parties and to create a bridge from the outputs to the outcome or the use of the outputs by the export businesses

Sustainability The sustainability of the project results can be found at the output level specifically in increased staff capacity on monitoring and evaluation capacity on analysis of internal processes and identification of gaps and recommendations for improvement as well as the use of different tools and ways of working (ie intranet system contributing to fast delivery of Certificat of Origin better internal document use and registration)

The challenge lies in the leadership by management and the availability and motivation of staff to continue to increase the use of the outputs and to institutionalise these For example the gaps identified through the process analysis carried out by the trained pilotes and co-pilotes did not receive follow up blocking not only the achievement of the ISO certification but also the sustainability of the whole process

Lessons learned Strengthening relations with and involving the target group (export businesses) in the development and management of the project This increases the chances to reach the outcome level which is what the project aimed to achieve Therefore a thorough analysis and continuous monitoring and discussion of the Theory of Change involving different stakeholders are also key Furthermore involvement and leadership of management is the basis for any project especially if it concerns internal capacity building This asks for behavioural change and different ways of working Without leadership it becomes very hard to institutionalise changes which influences the sustainability of the project A last lesson is that in order for change to be measured the initial situation needs to be known For interventions focusing on institutional capacity strengthening the 5C tool could be very useful in this sense So that after the intervention using the same tool conclusions can be drawn with regards to the results of the intervention

Limitations During the evaluation a number of challenges were encountered First of all quite a number of staff involved in the project had left ASEPEX Although we managed to have interviews by telephone and Skype with almost all of them possible outputs and outcomes might have escaped their mind Also it was very difficult to arrange meetings with businesses We managed to have only two interviews The initial idea to send a survey was discouraged by ASEPEX based on their previous experiences with very low response rates This context gave food for thought about the relationship ASEPEX has with its customers who were also beneficiaries of the BSOD project A third challenge was that during execution of the BSOD project two other CBI interventions also started

1 which made it sometimes hard for staff to identify the activities and effects of the

BSOD project A last challenge was the access to essential documents like the financial reporting as well as reports on the trainings and other activities executed to get exact data

All in all the evaluators have appreciated the exchanges with the actors encountered during the evaluation They are grateful for the support received by ASEPEX CBI as well as external stakeholders including former ASEPEX staff who were involved in the project

1 These are the Integrated Export Development programmes for Fresh Fruit and Vegetables (XF1) and Natural Ingredients

for the Food Pharmaceutical and Cosmetic Industries (XE1)

Resumeacute

Le preacutesent document concerne leacutevaluation externe du projet BSOD (Business Support Organisation Development) avec ASEPEX au Seacuteneacutegal mis en œuvre du 1er mars 2013 au 31 deacutecembre 2015 Leacutevaluation a deacutebuteacute en mai 2017 avec une reacuteunion de lancement agrave CBI Le travail sur le terrain a eu lieu en aoucirct 2017 Au 24 Septembre 2017 une preacutesentation a eu lieu agrave la CBI dans le but de discuter des reacutesultats et dobtenir dautres contributions dun point de vue institutionnel Les reacutesultats de cette session sont inclus dans ce rapport deacutevaluation

Contexte

Le projet BSOD au Seacuteneacutegal a eacuteteacute meneacute avec ASEPEX Le projet sest concentreacute sur le renforcement interne des

capaciteacutes afin dameacuteliorer les services dappui au deacuteveloppement et agrave la promotion des exportations Les

quatre activiteacutes du projet eacutetaient

1 Deacuteveloppement et impleacutementation dune application intranet 2 Deacuteveloppement du portail dexportation Seacuteneacutegal 3 Deacuteveloppement et mise en œuvre dun systegraveme de gestion de la qualiteacute 4 Poursuivre la professionnalisation et la mise en œuvre du systegraveme de suivi et deacutevaluation

Questions drsquoeacutevaluation La question globale de leacutevaluation eacutetait la suivante lsquoDans quelle mesure et comment lrsquoimplication du CBI a-t-

elle contribueacute au deacuteveloppement institutionnel de

lrsquoASEPEX afin de permettre agrave ASEPEX drsquoameacuteliorer la capaciteacute des PME agrave exporterrsquo Les reacutesultats en reacuteponse agrave cette question ont eacuteteacute recueillis en utilisant des meacutethodes mixtes comprenant lanalyse de documents des interviews des discussions en groupe un atelier sur le 5C et des recherches sur Internet Dans la poursuite des reacuteponses leacutevaluation sest concentreacutee sur quatre des critegraveres DAC la pertinence lefficaciteacute lefficience et la durabiliteacute et a analyseacute chacun des critegraveres en fonction de ce qui sest bien passeacute et des possibiliteacutes drsquoameacutelioration Limpact a eacuteteacute consideacutereacute comme eacutetant hors de la porteacutee de cette eacutevaluation

Agrave la lumiegravere des conclusions de leacutevaluation les conclusions suivantes concernant les principaux critegraveres deacutevaluation ont eacuteteacute tireacutees

Pertinence

Le projet a reacutepondu au besoin interne identifieacute par lrsquoASEPEX et a deacutemarreacute sur la sa demande Le renforcement

des capaciteacutes institutionnelles eacutetait aligneacute sur les prioriteacutes et les besoins organisationnels tels que formuleacutes

dans le plan strateacutegique Le personnel dASEPEX a acquis une expeacuterience et des connaissances substantielles

principalement sur le suivi et leacutevaluation ainsi que sur le pourquoi et le comment de la mise en œuvre dun

systegraveme de gestion de la qualiteacute Certains membres du personnel ont eacutegalement acquis de lexpeacuterience dans

lutilisation de lintranet et de la gestion de Sites Web Pour le gouvernement du Seacuteneacutegal le projet eacutetait

pertinent en raison de la neacutecessiteacute drsquoavoir des agences de qualiteacute au niveau national dans le du secteur des

exportations qui sont capables de travailler selon des normes de qualiteacute et une approche baseacutee sur les

reacutesultats Eacutegalement pour le gouvernement neacuteerlandais le projet sest aligneacute sur laccent mis sur le

deacuteveloppement eacuteconomique et la promotion des exportations vers lEurope

Une question qui reste ouverte est si le projet reacutepondait aux besoins des entreprises exportatrices seacuteneacutegalaises Leurs besoins ont eacuteteacute inteacutegreacutes dans le plan strateacutegique Cependant le projet a principalement mis laccent sur le renforcement institutionnel interne et moins sur la faccedilon dont les entreprises pourraient utiliser les outputs pour arriver aux outcomes preacutevus dans le projet Une raison aurait pu ecirctre que les entreprises neacutetaient impliqueacutees daucune faccedilon dans la mise en œuvre du programme

Efficaciteacute

En termes defficaciteacute leacutevaluation a reacuteveacuteleacute que les reacutesultats du projet eacutetaient principalement atteints au

niveau des outputs et non pas au-delagrave Cela signifie que les capaciteacutes ont eacuteteacute renforceacutees dans le suivi et

leacutevaluation ainsi que sur les raisons et la maniegravere dutiliser un systegraveme de gestion de la qualiteacute Cependant

lutilisation de lintranet et du site web est encore faible

Ce jugement sur lefficaciteacute est baseacute sur les problegravemes de gestion observeacutes et lrsquoinsuffisance de leadership le non implication des entreprises dans le projet et le manque drsquointerventions identifieacutes dans la theacuteorie du changement pour combler lrsquoeacutecart entre les outputs aux outcomes Bien quil y ait eu une adheacutesion de la direction au deacutepart cela a changeacute avec le deacutepart du directeur qui avait fait pression pour le projet quelques mois apregraves le deacutebut du projet Son successeur navait pas le mecircme niveau de motivation et de pouvoir De plus le deacutepart dun des coordinateurs du projet a laisseacute le projet avec qursquoun seul coordinateur au Seacuteneacutegal ce qui a eu un impact neacutegatif sur la mise en œuvre des reacutesultats des formations et autres activiteacutes de renforcement des capaciteacutes La motivation du personnel a eacuteteacute influenceacutee surtout en ce qui concerne la poursuite de lrsquoutilisation des outputs et leur institutionnalisation De plus la non implication des entreprises dans le deacuteveloppement de la theacuteorie du changement et dans la mise en œuvre du projet contribueacute au fait que le renforcement des capaciteacutes nrsquoa pas ameneacute aux outcome au niveau plus eacuteleveacute

Efficience

Lefficience a eacuteteacute examineacutee du point de vue de la qualiteacute des services fournis de lutilisation du budget et de

la gestion du projet La qualiteacute des prestataires de services nationaux dans le projet a eacuteteacute jugeacutee tregraves

satisfaisante Ils ont eacuteteacute appreacutecieacutes pour le transfert de connaissances et des compeacutetences et lintroduction de

nouvelles meacutethodes de travail Un point dattention particulier est la perseacuteveacuterance dun fournisseur qui a

pousseacute ASEPEX agrave se rendre au processus de certification ISO qui na malheureusement pas abouti en raison

de problegravemes internes Lapproche consistant agrave travailler avec des prestataires de services nationaux au lieu

dutiliser des missions dexperts eacutetait une nouveauteacute pour CBI Et crsquoeacutetait un succegraves En ce qui concerne

lrsquoefficience de lutilisation du budget aucune conclusion na pu ecirctre tireacutee eacutetant donneacute quaucun chiffre

deacutefinitif na eacuteteacute communiqueacute agrave leacutequipe deacutevaluation Lefficience de la gestion du projet eacutetait bonne pour

certaines parties avec la structure leacutegegravere initiale et lutilisation du personnel de lASEPEX comme pilotes et

copilotes dans les activiteacutes du SMQ Cependant lefficience a eacuteteacute diminueacutee par le deacutepart de lun des

coordinateurs et le non implication des entreprises dans la structure de gestion Ce dernier aurait pu ecirctre un

moyen de geacuterer le risque identifieacute par les parties externes au deacutebut du projet qui eacutetait le non-inteacuterecirct des

entreprises Un lien ente les outputs et les outcomes pouvaient ecirctre formuleacutes en collaborant avec les

entreprises pour qursquoils utilisent les outputs

Durabiliteacute

La durabiliteacute des reacutesultats du projet peut ecirctre trouveacutee au niveau des outputs en particulier dans le

renforcement des capaciteacutes du personnel sur le suivi et leacutevaluation la capaciteacute danalyse des processus

internes et lidentification des lacunes et des recommandations dameacutelioration et lrsquoutilisation des nouveaux

instruments (crsquoest-agrave-dire le systegraveme intranet contribuant agrave la livraison rapide du certificat dorigine une

meilleure utilisation des documents internes et une meilleure enregistrement) Le deacutefi reacuteside dans le

leadership de la direction et dans la disponibiliteacute et la motivation du personnel agrave continuer daccroicirctre

lutilisation des produits et agrave les institutionnaliser Par exemple les lacunes identifieacutees agrave travers lanalyse de

processus effectueacutee par les pilotes et les co-pilotes formeacutes nont reccedilu aucun suivi bloquant non seulement la

reacutealisation de la certification ISO mais aussi la durabiliteacute de lensemble des processus

Leccedilons apprises

Renforcer des relations avec le groupe cible (les entreprises exportatrices) et leur implication dans le

deacuteveloppement et la gestion du projet Cela augmente les chances datteindre le niveau des outcomes ce que

le projet visait agrave atteindre Par conseacutequent une analyse approfondie et un suivi et une discussion continue de

la theacuteorie du changement impliquant diffeacuterentes parties prenantes sont eacutegalement essentiels De plus la

participation et le leadership de la direction constituent la base de tout projet surtout sil sagit de

renforcement de capaciteacutes institutionnelles Cela demande un changement de comportement et diffeacuterentes

faccedilons de travailler Sans leadership il devient tregraves difficile dinstitutionnaliser les changements ce qui

influence la durabiliteacute du projet Une derniegravere leccedilon est que pour que le changement soit mesureacute la situation

initiale doit ecirctre connue Pour les interventions axeacutees sur le renforcement des capaciteacutes institutionnelles

loutil 5C pourrait ecirctre tregraves utile dans ce sens Ainsi apregraves lintervention en utilisant le mecircme outil des

conclusions peuvent ecirctre tireacutees en ce qui concerne les reacutesultats de lintervention

Limitations

Au cours de leacutevaluation un certain nombre de deacutefis ont eacuteteacute rencontreacutes Tout dabord un certain nombre de

collaborateurs impliqueacutes dans le projet avaient quitteacute ASEPEX Bien que nous ayons reacuteussi agrave avoir des

interviews par teacuteleacutephone et Skype avec la quasi-totaliteacute dentre eux les outputs et les outcomes possibles ont

pu leur eacutechapper En outre il eacutetait tregraves difficile dorganiser des reacuteunions avec les entreprises Nous avons

reacuteussi agrave avoir seulement deux interviews Lideacutee initiale denvoyer une enquecircte a eacuteteacute deacutecourageacutee par ASEPEX

en raison de leurs expeacuteriences anteacuterieures avec des taux de reacuteponse tregraves faibles Ce contexte a donneacute matiegravere

agrave reacuteflexion sur la relation quASEPEX entretient avec ses clients beacuteneacuteficiaires du projet BSOD Un troisiegraveme

deacutefi a eacuteteacute que pendant lexeacutecution du projet BSOD deux autres interventions CBI ont eacutegalement commenceacute2

ce qui a rendu parfois difficile pour le personnel didentifier les activiteacutes et les effets du projet BSOD Un

dernier deacutefi a eacuteteacute laccegraves aux documents essentiels tels que les rapports financiers ainsi que les rapports sur

les formations et autres activiteacutes exeacutecuteacutees pour obtenir des donneacutees exactes

Dans lensemble les eacutevaluateurs ont appreacutecieacute les eacutechanges avec les acteurs rencontreacutes lors de leacutevaluation Ils sont reconnaissants pour le soutien reccedilu par ASEPEX CBI ainsi que les parties prenantes externes y compris les anciens membres du personnel de lASEPEX impliqueacutes dans le projet

2 Ce sont lrsquoIntegrated Export Development programmes for Fresh Fruit and Vegetables (XF1) and Natural Ingredients for

the Food Pharmaceutical and Cosmetic Industries (XE1)

1 Introduction

Contexte

Le Centre pour la promotion des importations en provenance des pays en deacuteveloppement (CBI) travaille depuis plus de 40 ans pour renforcer le secteur priveacute en ameacuteliorant les possibiliteacutes dexportation pour les petites et moyennes entreprises (PMEs) dans les pays en deacuteveloppement principalement sur les marcheacutes de lUnion Europeacuteenne Pour ce qui preacutecegravede le CBI a deacuteveloppeacute le programme de deacuteveloppement des organisations de soutien aux entreprises (BSOD) qui a eacuteteacute et continue decirctre mis en œuvre dans divers secteurs comme lagriculture la foresterie et la pecircche

Le programme BSOD vise agrave doter les organisations dexportation locales ou les organisations de soutien aux entreprises (BSO) de compeacutetences (connaissances compeacutetences et attitudes) et drsquooutils qui leur permettront de soutenir les PME dans le deacuteveloppement de relations dexportation durables et laugmentation de leurs volumes dexportation

Le CBI travaille agrave renforcer la capaciteacute des BSO agrave travers divers modules Dans le cadre du programme sur lequel porte la preacutesente eacutevaluation le module est Export Development and Export Promotion viseacute sur lrsquoameacutelioration des services par des BSOs Dans ce module quatre activiteacutes cleacutes ont eacuteteacute mis en œuvre 1 Deacuteveloppement et mise en œuvre dune application intranet 2 Deacuteveloppement drsquoun portail drsquoexportation Seacuteneacutegal 3 Deacuteveloppement et mise en œuvre dun systegraveme de gestion de la qualiteacute 4 Continuer agrave professionnaliser leacutelaboration et la mise en œuvre du cadre de suivi et deacutevaluation utiliseacute dans ASEPEX

Le programme BSOD suit une approche sur mesure En effet les modules constituent un point de deacutepart pour la coopeacuteration et sont ajusteacutes en fonction des besoins speacutecifiques du BSO La mise en œuvre du programme diffegravere donc par pays et laccent mis par module peut varier Le CBI travaille actuellement dans 48 pays et 27 secteurs et sapproche de la chaicircne de valeur en tant que systegraveme dans lequel toutes les parties prenantes sont interconnecteacutees Outre le programme BSOD le CBI travaille avec dautres programmes tels que les programmes de coaching dexportation (ECP) dans le cadre desquels les entreprises sont soutenues dans le deacuteveloppement de leurs exportations

Lintervention de BSOD est destineacutee agrave permettre agrave un BSO de se positionner sur le marcheacute local en tant que partenaire de choix pour les petites et moyennes entreprises (PME) existantes et potentielles dans leurs efforts pour peacuteneacutetrer les marcheacutes europeacuteens ou internationaux ou pour deacutevelopper les exportations actuelles Apregraves avoir deacuteveloppeacute ou ameacutelioreacute ses services de deacuteveloppement et de promotion des exportations pour le marcheacute europeacuteen le BSO pourra eacutegalement appliquer la mecircme approche et deacutevelopper des services similaires pour dautres marcheacutes internationaux

Structure du rapport

Le rapport deacutevaluation donne un aperccedilu de la mise en œuvre de leacutevaluation et une explication de lapproche meacutethodologique (chapitre 4) Dans le chapitre 5 une description du contexte du pays est fournie Par la suite les reacutesultats de leacutevaluation sont preacutesenteacutes et structureacutes selon les principaux critegraveres deacutevaluation (chapitre 6) Dans la mesure du possible lagrave ougrave cela convient et approprieacute les reacutesultats de leacutevaluation sont preacutesenteacutes en reacuteponse aux questions de recherche poseacutees et regroupeacutes par critegravere deacutevaluation Enfin les conclusions de leacutevaluation sont preacutesenteacutees en reacuteponse aux principales questions deacutevaluation (chapitre 7) suivies dun ensemble de leccedilons apprises destineacutees agrave guider les futurs programmes de promotion des exportations avec le CBI

2 Approche et impleacutementation de lrsquoeacutevaluation

41 Objectifs

Leacutevaluation externe a eacuteteacute commandeacutee par le CBI pour deacutemontrer la responsabiliteacute et deacuteterminer quelles leccedilons peuvent ecirctre tireacutees pour les futures activiteacutes du CBI En particulier lobjectif dapprentissage a eacuteteacute souligneacute dans les termes de reacutefeacuterence ainsi que lors de la reacuteunion initiale entre le CBI et les eacutevaluateurs (dd 17 mai 2017) La compreacutehension des deacuteterminants du succegraves et des eacutechecs et leur lien avec le contexte dans lequel le programme a eu lieu devrait fournir au CBI des ideacutees preacutecieuses pour la prise de deacutecision future dans la conception des programmes et la gestion des processus afin de maximiser les reacutesultats

42 Le programme BSOD avec ASEPEX

Lrsquoeacutevaluation du programme BSOD a eacuteteacute effectueacutee par des eacutevaluateurs indeacutependants conformeacutement aux directives de lIOB (Deacutepartement de leacutevaluation des politiques et des opeacuterations du Ministegravere des affaires eacutetrangegraveres) Lrsquoeacutevaluation a eacuteteacute meneacutee avec le soutien du consultant seacuteneacutegalais Mr Jean Michel Waly Seacutene Il a appuyeacute la collecte de donneacutees et lrsquoanalyse des reacutesultats (preacuteliminaires) et les conclusions ont eacuteteacute discuteacute avec lui

Dans les Termes de Reacutefeacuterence et lors de la reacuteunion drsquoinception lrsquoeacutequipe drsquoeacutevaluation a pris note des deacuteveloppements au sein du CBI et du programme BSOD Lors de lexeacutecution du programme BSOD (5165) deux nouveaux programmes ont eacuteteacute lanceacutes Il sagit des programmes de deacuteveloppement des exportations inteacutegreacutes pour les fruits et leacutegumes frais (XF1) et les ingreacutedients naturels pour les industries alimentaires pharmaceutiques et cosmeacutetiques (XE1) qui seacutetendent de 2013 agrave 2017

La distinction par le personnel et les clients sur la contribution du programme fini et les programmes XE1 et XF1 pourraient ne pas ecirctre claires Cependant les activiteacutes du programme eacutechu eacutetaient davantage axeacutees sur la partie interne de lorganisation et moins sur les PME Cependant lune des sorties du programme BSOD a eacuteteacute une augmentation de la qualiteacute de la prestation des services aux PME

Dans la reacutegion drsquoautres programmes BSOD sont mis en œuvre Ces programmes sont lieacutes agrave lrsquoapproche de la chaicircne de valeur du CBI Lors de lrsquoexeacutecution des ces programmes des contraintes et limites organisationnelles peuvent ecirctre identifieacutees comme un facteur crucial dans le deacuteveloppement drsquoune chaicircne de valeur particuliegravere Les reacutesultats de cette eacutevaluation pourraient donner des ideacutees qui peuvent aider au CBI agrave continuer de deacutevelopper son approche BSOD dans la reacutegion de lrsquoAfrique de lrsquoOuest

Aperccedilu du projet dans le cadre de cette eacutevaluation

Programme BSO Pays Modules Peacuteriode

5165 ASEPEX Senegal EDEP 01-03-2013 ndash 31-12-2015

43 Processus de lrsquoeacutevaluation

Leacutevaluation srsquoest faite en trois phases Tout drsquoabord une phase de deacutemarrage qui a eacuteteacute lanceacutee par une reacuteunion drsquoinception du 17 Mai 2017 entre leacutequipe deacutevaluation et le gestionnaire du program BSOD ASEPEX en compagnie de lagent de Suivi amp Evaluation Au cours de cette reacuteunion les termes de reacutefeacuterence ont eacuteteacute valideacutes les attentes clarifieacutees et la theacuteorie du changement valideacutee Au terme de cette phase initiale un rapport initial a eacuteteacute eacutelaboreacute et partageacute avec le CBI en juin 2017

La deuxiegraveme phase de leacutevaluation concerne le processus de collecte de donneacutees au Seacuteneacutegal pour lequel les eacutevaluateurs ont reccedilu laide du consultant externe nationale Mr Seacutene La collecte de donneacutees srsquoest faite en plusieurs eacutetapes comme lrsquoillustreacute le tableau ci-dessous

Etape de collecte de donneacutees

Etude des documents radic Entretiens avec gestionnaires du projet au Seacuteneacutegal 20-28 aoucirct 2017

Entretiens avec le staff drsquoASEPEX au Seacuteneacutegal 20-28 aoucirct 2017

Entretiens avec des prestataires au Seacuteneacutegal radic Entretiens avec des clients drsquoASEPEX au Seacuteneacutegal radic Atelier sur la Theacuteorie de Changement radic Atelier 5C radic Entretiens avec gestionnaires du projet aux Pays-Bas radic

Des parties prenantes internes et externes ont eacuteteacute intervieweacutees au total 19 entretiens sont reacutealiseacutes dont la plupart au Seacuteneacutegal et quelques uns par teacuteleacutephone et sur Skype

Lrsquoatelier sur la Theacuteorie de Changement a eu lieu au Seacuteneacutegal au deacutebut de la visite avec la participation de six membres du personnel drsquoASEPEX Tous ces participants neacutetaient pas impliqueacutes dans le programme BSOD de lrsquoASEPEX soit ils ne travaillaient pas encore chez ASEPEX ou ils intervenaient dans un des services reacutegionaux drsquoASEPEX au Seacuteneacutegal Par conseacutequent tous nont pas pu beaucoup contribuer aux travaux de cet atelier Voir la liste des participants agrave cet atelier agrave lannexe 3

Latelier 5C3

a connu la participation de 12 personnes qui ont participeacute activement au projet dont le personnel de lrsquoASEPEX et trois repreacutesentants des prestataires Cet atelier a preacuteceacutedeacute la preacutesentation des reacutesultats preacuteliminaire Chaque participant reacutepondait lrsquoune apregraves lrsquoautre aux questions poseacutees pour chaque C puis remettait sa fiche aux eacutevaluateurs Mr Seacutene srsquoeacutetait chargeacute de la saisie sur Excel au moment ougrave Mme Josefien preacutesentait les reacutesultats de lrsquoeacutevaluation et guidait la discussion sur les reacutesultats Au terme de la saisie des reacuteponses des participants les reacutesultats de lrsquoenquecircte 5C ont eacuteteacute afficheacutes sous format drsquoun diagramme Un eacutechange sur le reacutesultat eacutetait meneacute et les contributions des diffeacuterents intervenants sont inteacutegreacutees dans ce preacutesent rapport Latelier sest reacuteveacuteleacute utile pour mieux comprendre limportance perccedilue du soutien fourni par le projet BSOD pour un processus de changement organisationnel plus larges Une liste des personnes interrogeacutees ainsi quun aperccedilu des personnes qui ont participeacute aux ateliers figure agrave lannexe 2 Des questionnaires pour atteindre des clients nrsquoont pas eacuteteacute utiliseacutes (voir limites de lrsquoeacutevaluation)

La troisiegraveme phase concerne lanalyse des donneacutees Une reacuteunion de sense-making drsquoune demi-journeacutee srsquoest tenue agrave ASEPEX au cours de laquelle les reacutesultats preacuteliminaires ont eacuteteacute preacutesenteacutes Les commentaires et suggestions des participants sont inteacutegreacutes dans les conclusions et les enseignements tireacutes de ce rapport Egalement une reacuteunion a eacuteteacute organiseacutee aux Pays-Bas le 25 Septembre 2017 avec la preacutesence du coordonateur et gestionnaire du programme BSOD

44 Questions de recherche et meacutethodologie

Pour chaque critegravere deacutevaluation les questions de recherche ont eacuteteacute formuleacutees et preacutesenteacutees dans les TdR Les critegraveres deacutevaluation tels que la pertinence lefficaciteacute lrsquoefficience et la durabiliteacute ont eacuteteacute retenus comme base pour deacutevelopper la matrice deacutevaluation

La matrice et les questions de recherche sont deacutetailleacutees sur base des questions drsquoeacutevaluation du TdR et inteacutegreacute dans le rapport initial (le 28 juin 2017) Aucune question de recherche speacutecifique na eacuteteacute formuleacutee pour les critegraveres deacutevaluation dimpact car ce nrsquoeacutetait pas directement lrsquointeacuterecirct du projet ni de lrsquoeacutevaluation La matrice des questions drsquoeacutevaluation est annexeacutee agrave ce rapport

3 5C est un outil pour mesurer cinq capaciteacutes internes drsquoune organisation Cet outil est exigeacute par le Ministegravere des Affaires

eacutetrangegraveres pour lrsquoeacutevaluation des programmes afin de geacuteneacuterer une cartographie des capaciteacutes Voir annexe 3 pour plus

drsquoinformation sur les diffeacuterentes capaciteacutes

La logique dintervention du projet constitue la base de cette eacutevaluation Cela a eacuteteacute transformeacute en question deacutevaluation globale suivante dans quelle mesure et comment la participation du CBI contribue-t-elle au deacuteveloppement institutionnel du BSOD pour contribuer agrave lrsquoameacutelioration des exportations des PME Pour reacutepondre agrave cette question leacutevaluation a utiliseacute le modegravele 5C pour mieux comprendre la capaciteacute institutionnelle du BSOD et est particuliegraverement pertinente pour les institutsorganisations qui visent agrave se connecter entre eux etou avec dautres

Bien que les projets naient pas eacuteteacute conccedilus selon le modegravele 5C les termes de reacutefeacuterence ont souligneacute limportance dutiliser cet outil en tant quinstrument drsquoeacutevaluation de lefficaciteacute des efforts de renforcement des capaciteacutes En outre une analyse de contribution a eacuteteacute ajouteacutee pour reacutefleacutechir sur dautres facteurs internes et externes qui ont influenceacute la capaciteacute du BSO ainsi que dautres facteurs qui ont ou peuvent influencer lenvironnement dexportation Leacutevaluation sappuyait sur une approche mixte en utilisant divers outils de collecte de donneacutees revue documentaire entrevues qualitatives en face agrave face et sur Skype ateliers recherches sur le Web et visites sur le terrain et sur le terrain

Laccent eacutetait mis sur la pertinence et lefficaciteacute Comme cela a eacuteteacute souligneacute dans les TdR et confirmeacute au cours de la phase initiale lobjectif principal de leacutevaluation eacutetait dapprendre de lapproche au profit de futures initiatives de promotion des exportations dans des contextes similaires

45 Deacutelimitation de lrsquoeacutevaluation

Leacutevaluation couvre le soutien du CBI au programme de deacuteveloppement du BSO au Seacuteneacutegal (2013-2015) Laccent a eacuteteacute mis sur lappui du CBI au BSO et dans quelle mesure le BSO a changeacute pour mieux ameacuteliorer ses performances et pour fournir de meilleurs services aux PME (efficaciteacute) De toute eacutevidence lhypothegravese est que lameacutelioration du fonctionnement interne ameacuteliore les services du BSO aux PME ce qui contribuerait agrave laugmentation des volumes dexportation (impact des projets BSOD) Cependant plusieurs programmes sont deacuterouleacutes agrave cocircteacute du programme BSOD ce qui rend lrsquoimpact exclusif du programme BSOD moins visible Egalement la recherche de preuves entre le programme et laugmentation des exportations est extrecircmement difficile en raison de la question dattribution et par conseacutequent il a eacuteteacute convenu que cela eacutechappait agrave cette eacutevaluation

Leacutevaluation a porteacute sur les changements organisationnels durables (reacutesultats obtenus) dans le BSO et agrave toute fois possible sur lrsquoameacutelioration des services aux clients (leur satisfaction) et le niveau drsquoutilisation des services du BSO par les clients pour ameacuteliorer leur production etou leurs exportations

Une hypothegravese cleacute dans la mise en place du programme est que laugmentation de la qualiteacute et de la quantiteacute de services entraicircnera une satisfaction accrue des clients du BSO et eacuteventuellement une augmentation des exportations ce qui aurait un effet positif agrave leacutechelle de la production de lemploi et de la reacuteduction de la pauvreteacute

46 Limites

Plusieurs deacutefis ont eacuteteacute rencontreacutes sur la collecte de donneacutees

Drsquoabord un nombre consideacuterable de personnes ont changeacute de poste et drsquoorganisation pendant et apregraves la clocircture du projet Cependant la plupart drsquoentre eux a pu ecirctre contacteacutes et eacutetaient ouverts agrave partager leurs expeacuteriences Elles ont rappeleacute les reacutesultats du projet surtout au niveau drsquooutput et partiellement au niveau de lrsquoutilisation de ces outputs

Deuxiegravemement il est parfois difficile pour le personnel de se rappeler des interventions du programme Ceci est lieacute au fait que plusieurs projets du CBI eacutetaient mis en œuvre dans la mecircme peacuteriode comme XE1 XF1 et lrsquointelligence du marcheacute En plus quelques membres du personnel nrsquoeacutetaient pas chez ASEPEX agrave Dakar au moment de lrsquoexeacutecution du programme BSOD Derniegraverement le fait que certaines activiteacutes soient deacutejagrave clocirctureacutees en 2014 et que drsquoautres aient continueacute jusqursquoen 2016 a fait que le personnel intervieweacute ne se rappelaient pas toujours de quelles activiteacutes il srsquoagissait pendant les entretiens

Troisiegravemement les consultants ont eu la difficulteacute drsquoaccegraves aux entreprises Lrsquoideacutee initiale eacutetait drsquoenvoyer un questionnaire en ligne aux entreprises Selon ASEPEX cela nrsquoallait pas aboutir agrave beaucoup de reacuteponses vu leurs expeacuteriences sur les fiches drsquoenquecirctes de satisfaction administreacutees aux clients et la participation des entreprises dans des focus groups pour dautres projets Neacuteanmoins lors de la restitution des premiers reacutesultats de lrsquoeacutevaluation une remarque valable eacutetait faite il fallait avoir plus drsquoinput des entreprises Toutefois une ideacutee de lrsquoutilisation des outputs par les entreprises est obtenue quand mecircme par lrsquoinformation issue de lrsquoeacutevaluation interne de feacutevrier 2016 les interviews faites avec quelques entreprises et les interviews avec le personnel drsquoASEPEX

Quatriegravemement lrsquoaccegraves aux documents cleacutes eacutetait parfois difficile Par exemple les rapports de formations qui eacutetaient exigeacutes dans les TdR pour les diffeacuterents volets nrsquoont pas eacuteteacute mis agrave notre disposition malgreacute plusieurs interpellations aupregraves de prestataires ainsi qursquoau niveau de lrsquoASEPEX Finalement un rapport de formation a eacuteteacute reccedilu par voie du CBI Egalement les donneacutees financiegraveres nrsquoont pas eacuteteacute reccedilues (agrave part ce qui est mentionneacute dans le rapport de progregraves drsquooctobre 2014) ni un rapport technique et financier final Lrsquoindisponibiliteacute de ces donneacutees a empecirccheacute lrsquoeacutevaluation de lrsquoefficience du programme

La question drsquoeacutevaluation 464

nrsquoa pas eacuteteacute reacutepondue car le programme nrsquoeacutetait pas directement focaliseacute sur les services

4 La question eacutetait dans quelle mesure les diffeacuterentes entreprises qui ont utiliseacute les services fournis dans les domaines qui

ont reccedilu un soutien de CBI appreacutecient le soutien reccedilu

5 Le programme BSOD

51 Contexte eacuteconomique et politique du Seacuteneacutegal

Le secteur du commerce est un des piliers eacuteconomiques seacuteneacutegalais qui contribue agrave la creacuteation des richesses avec une part de PIB srsquoeacutelevant agrave 1611 en 2011 avec une participation importante au deacuteveloppement des investissements Les exportations y sont caracteacuteriseacutees du point de vu des statistiques par des quantiteacutes assez faibles mais aussi par la concentration sur un nombre de produits Occupant 001

5 de part du marcheacute

mondial correspondant du 127iegraveme

rang mondial sur 237 pays et territoires en 2011 les exportations du Seacuteneacutegal restent concentreacutees sur un faisceau reacuteduit des produits de base qui geacutenegraverent lrsquoessentiel des recettes drsquoexportation produits de la pecircche produits peacutetroliers acide phosphorique engrais coton produits arachidiers ciment et non moneacutetaire Le constat fait dans le plan strateacutegique de 2012-2016 eacutetait alors que le Seacuteneacutegal reste encore peu inteacutegreacute au commerce multilateacuteral du fait notamment des contraintes lieacutees agrave lrsquoinsuffisance et agrave la qualiteacute de lrsquooffre exportable

Les contraintes lieacutees au secteur drsquoexportation identifieacutees en 2012 eacutetaient entre autre le deacuteficit de conditions nationales drsquoaccegraves aux marcheacutes Un eacuteleacutement de ce deacuteficit est lrsquoinsuffisance de lrsquoorganisation de la mise en marcheacute expliqueacute par le manque drsquoinformation eacuteconomique et commerciale ainsi qursquoagrave lrsquoabsence de strateacutegies de peacuteneacutetration des marcheacutes Egalement un deacuteficit constateacute eacutetait lrsquoinsuffisance de lrsquooffre exportable du point de vue qualiteacute et quantiteacute Drsquoune part ce deacuteficit est lieacute agrave lrsquoinsuffisance des capaciteacutes des exportateurs au niveau des moyens de production ainsi qursquoau manque de compeacutetences techniques Drsquoautre part le deacuteficit srsquoexplique par le manque de diversification de lrsquooffre ducirc aux faibles actions agrave la sous-utilisation des outils de recherche et agrave la concentration de lrsquooffre sur une gamme reacuteduite de produits

A part le deacuteficit au niveau des conditions nationales drsquoaccegraves aux marcheacutes le plan strateacutegique mentionne eacutegalement le deacuteficit dans lrsquoappui au sous-secteur drsquoexportation au niveau de lrsquoabsence de certains services de proximiteacute lieacutes au deacuteveloppement des exportations

52 Le rocircle de lrsquoASEPEX dans la promotion de lrsquoexport

Le rocircle de lrsquoASEPEX en tant qursquoacteur cleacute dans la promotion de lrsquoexportation seacuteneacutegalaise afin de renforcer les deacuteficits mentionneacutes preacuteceacutedemment eacutetait sous-exposeacute au niveau national pendant une peacuteriode Dans le processus de rajeunissement du ministegravere du commerce au moment ougrave le gouvernement du Seacuteneacutegal commenccedilait agrave valoriser la Gestion Axeacutee sur les Reacutesultats (GAR) un nouveau Directeur eacutetait nommeacute pour lrsquoASEPEX Ce dernier avait une vision tregraves claire sur le rocircle que lrsquoASEPEX doit jouer pour devenir une organisation de reacutefeacuterence pour les exportateurs Pour y arriver une eacutevaluation de lrsquoorganisation ASEPEX a eacuteteacute faite sous demande des autoriteacutes

A lrsquoissue de cette eacutevaluation un plan strateacutegique eacutetait eacutelaboreacute par ASEPEX afin de fixer ses objectifs de qualiteacute avec les axes strateacutegiques deacutevelopper les activiteacutes et les eacutevaluer pour mesurer lrsquoimpact de lrsquoaccompagnement de lrsquoASEPEX aux entreprises Ceci devrait permettre agrave lrsquoASEPEX drsquoecirctre plus performant

Lrsquoorientation strateacutegique de lrsquoASEPEX est de renforcer lrsquointeacutegration du Seacuteneacutegal dans le commerce international par le deacuteveloppement des exportations en vue de la reacuteduction du deacuteficit de la balance commerciale

6 Lrsquoobjectif global est de contribuer au deacuteveloppement de 10 des exportations seacuteneacutegalaises

par an Pour se faire lrsquoASEPEX srsquoest fixeacute quatre objectifs strateacutegiques 3 Renforcer lrsquooffre et la compeacutetitiviteacute des produits et des acteurs 4 Assurer une meilleure maicirctrise de la demande exteacuterieure 5 Positionner laquo lrsquoOrigine Seacuteneacutegal raquo sur les marcheacutes exteacuterieurs 6 Ameacuteliorer le dispositif drsquointervention et renforcer le cadre institutionnel et la mise en œuvre de la

politique drsquoexportation Les axes strateacutegiques pour atteindre les objectifs fixeacutes sont quatre et sous chaque axe il y a plusieurs projets

5 Plan strateacutegique ASEPEX 2013

Projets Axe 1 Renforcement et ameacutelioration des capaciteacutes de loffre exportable

1 Ameacutelioration de la qualiteacute intrinsegraveque et commerciale des produits 2 Diversification des produits agrave lrsquoexport 3 Creacuteation et opeacuterationnalisation de consortia 4 Renforcement des capaciteacutes commerciales et techniques des entreprises et des organisations professionnelles

Projets Axe 2 Renforcement de la connaissance des marcheacutes

5 Etudes et prospection de marcheacutes 6 Renforcement du systegraveme drsquoinformation eacuteconomique et commerciale et deveille sur les marcheacutes exteacuterieurs

Projets Axe 3 Promotion des produits seacuteneacutegalais

7 Accompagnement des entreprises et de leurs organisations professionnelles agrave lrsquointernational 8 Renforcement de la communication promotionnelle des produits et des Entreprises 9 Mise en place drsquoun systegraveme de promotion de marques et de labels Projets Axe 4 Ameacutelioration du pilotage de la politique drsquoexportation 10 Ameacutelioration de lrsquoenvironnement export 11 Renforcement du dispositif drsquointervention des acteurs 12 Ameacutelioration de lrsquoorganisation de la mise en marcheacute (coordination des strateacutegies et cadres de concertation) 13 Appui au financement des activiteacutes drsquoexportation des entreprises

Les services que lrsquoASEPEX vise agrave fournir agrave ces clients sont7

1 Formation 2 Appui technique 3 Appui conseil 4 Appui agrave lrsquoaccegraves au marcheacute 5 Assistance et accompagnement 6 Communication promotionnelle

Deacutecoulant de ce plan strateacutegique plusieurs projets eacutetaient eacutelaboreacutes et preacutesenteacutes au CBI

53 Historique du programme

En 2011 les derniegraveres activiteacutes du BSOD srsquoarrecirctaient apregraves lesquelles le programme a eacuteteacute clocirctureacute En Octobre 2011 lors de la visite du CBI au nouveau DG de lrsquoASEPEX ce dernier avait demandeacute au CBI de relancer le program BSOD En ce moment le processus de formulation du plan strateacutegique 2012-2016 eacutetait en cours En Novembre 2011 au tour de visite du DG de lrsquoASEPEX au CBI aux Pays-Bas des plans eacutetaient faits pour une mission de reformulation du program BSOD en janvier 2013

7 Source enquecircte de satisfaction 2014

54 La theacuteorie du changement

Drsquoune maniegravere simplifieacutee la theacuteorie du changement du programme BSOD avec lrsquoASEPEX pourrait ecirctre deacutecrite comme suit

Si vous avez

Un systegraveme drsquointranet sur lequel de lrsquoinformation peut facilement ecirctre enregistreacute retrouveacute et partageacute Le personnel formeacute sur lrsquoutilisation du systegraveme drsquointranet et le deacuteveloppement des profiles des

entrepriseshellip Une base de donneacutees des entreprises (profiles donneacutees de base) est deacuteveloppeacute par le personnel

disponible sur lrsquointranet Un site web avec la base de donneacutees des entreprises incluant les profile des PMEhellip Un espace priveacute sur le site web pour les PME et les acheteurs internationauxhellip Un systegraveme de management de la qualiteacute (SMQ) deacuteveloppeacute baseacute sur les critegraveres ISOhellip Le personnel formeacute dans la mise en application du SMQ dans leur travail quotidienhellip Un systegraveme de Suivi Evaluation (SampE) ameacutelioreacutehellip Le personnel formeacute dans lrsquoutilisation du systegraveme du SampEhellip Le personnel qui suit les projets selon le systegraveme de SampEhellip Le CBI et lrsquoASEPEX qui ameacuteliorent la qualiteacute des services par un suivi ameacutelioreacutehellip Le personnel de lrsquoASEPEX offre des services de haute qualiteacute aux PMEs

Les PME accegravedent lrsquointranet Les PME accegravedent agrave lrsquoinformation du marcheacute gracircce au site web Les acheteurs internationaux approchent les PME gracircce au site web

Lesquels agrave leur tours

Appuient les PME agrave acceacuteder les marcheacutes internationaux ce qui contribuerait agrave augmenter les exportations du Seacuteneacutegal dans la reacutegion et ailleurs

Sous format image le TdC peut srsquoillustrer comme suit

Lors de lrsquoatelier du TdC agrave Dakar des hypothegraveses sous-jacentes nrsquoeacutetaient pas mentionneacutees Neacuteanmoins le rapport du projet

8 mentionne quelques conditions

Le personnel est disponible pour conduire le projet

La capaciteacute locale est disponible pour conduire les activiteacutes

Les institutions associations et PME montrent lrsquointeacuterecirct au projet (et fournissent par exemple de lrsquoinformation neacutecessaire pour alimenter lrsquointranet et le site web)

8 Program plan restart BSOD Asepex Seacuteneacutegal

6 Aperccedilu des reacutesultats de lrsquoeacutevaluation

Cette section preacutesente les reacutesultats de leacutevaluation Dans les termes de reacutefeacuterence (voir lannexe 5) des questions deacutevaluation deacutetailleacutees ont eacuteteacute formuleacutees selon chaque critegravere deacutevaluation et par conseacutequent les reacutesultats sont preacutesenteacutes selon lrsquoordre des critegraveres Le cas eacutecheacuteant leacutequipe deacutevaluation a deacutecideacute de regrouper les questions et de preacutesenter les reacutesultats par critegravere deacutevaluation

61 Evaluation par critegravere

611 Pertinence

1 Dans quelle mesure le programme a-trsquoil reacutepondu aux besoins du BSO et de lrsquoenvironnement des exportations au Seacuteneacutegal

Les besoins de lrsquoASEPEX eacutetaient identifieacutes en 2012 lors de la Planification Strateacutegique Ce plan strateacutegique deacutecrit clairement les orientations de lrsquoEtat du Seacuteneacutegal et le besoin de renforcer les exportations seacuteneacutegalaises et le rocircle cleacute de lrsquoASEPEX lagrave dedans Le plan strateacutegique indique eacutegalement le besoin de renforcement institutionnel de lrsquoASEPEX en termes de ressources humaines et mateacuteriels mais aussi de srsquoinscrire dans une deacutemarche de certification de qualiteacute des services deacutelivreacutes par lrsquoASEPEX ainsi que drsquoautomatiser le systegraveme de suivi et deacutevaluation Au niveau national le gouvernement seacuteneacutegalais accordait de plus en plus drsquoimportance agrave la Gestion Axeacutee sur les Reacutesultats Cette approche eacutetait alors eacutegalement attendu des autres acteurs publics

Du plan strateacutegique un des principaux axes fut le renforcement des capaciteacutes internes de lrsquoASEPEX deacutecrit en diffeacuterents volets dont les quatre suivants ont eacuteteacute seacutelectionneacutes par le CBI

1 Deacuteveloppement et mise en œuvre drsquoun systegraveme drsquointranet Le but est de deacutevelopper un outil collaboratif afin drsquoassurer entre autre le mapping et le profiling des organisations exportatrices et les rendre disponibles agrave tous les agents de lrsquoASEPEX Egalement une partie de lrsquointranet allait ecirctre mise agrave disposition des PMEs pour leur faciliter la mise agrave jour de leurs contacts

2 Deacuteveloppement du portail (portail export Seacuteneacutegal) Le but eacutetait de deacutevelopper un site web qui permet de centraliser lrsquoaccegraves agrave toute lrsquoinformation et services accessibles aux acteurs drsquoexportation Par exemple lrsquoinformation sur les PME pour les acheteurs internationaux ainsi que lrsquoinformation sur les marcheacutes pour les PMEs

3 Deacuteveloppement et mise en œuvre drsquoun Systeacuteme de Management de la Qualiteacute (SMQ) Le but est drsquoassurer la professionnalisation continue de lrsquoASEPEX au niveau interne ainsi que la qualiteacute des services aux acteurs dans lrsquoexportation Le principal reacutesultat attendu est drsquoavoir la certification ISO 9001-8000 pour ameacuteliorer la creacutedibiliteacute et augmenter la confiance agrave lrsquoASEPEX vis-agrave-vis des acteurs et partenaires du secteur des exportations

4 Deacutevelopper drsquoavantage et mettre en œuvre le systegraveme de Suivi Evaluation (SampE) Ce volet suit la premiegravere eacutetape deacutejagrave franchie lrsquoeacutelaboration drsquoun manuel de SampE pour mettre en œuvre un systegraveme interne de SampE des projets avec un focus speacutecifique sur les nouveaux programmes du CBI au Seacuteneacutegal (ingreacutedients naturels et leacutegumes frais)

Les volets sur lesquels le programme BSOD srsquoest focaliseacute deacutecoulaient alors clairement drsquoun besoin national et interne de lrsquoASEPEX deacutecrit dans leur premier plan strateacutegique triennal eacutelaboreacute en 2012 Depuis un temps le besoin de renforcement interne eacutetait connu et lrsquoappui du CBI eacutetait vu comme une possibiliteacute de travailler lagrave dessus Par exemple le volet de renforcement du systegraveme de SampE est issu drsquoun processus participatif et iteacuteratif impliquant les parties prenantes internes et externes pour le deacuteveloppement drsquoun manuel de SampE Apregraves le lancement et la validation de ce manuel par la direction de lrsquoASEPEX une peacuteriode de test et drsquoeacutevaluation du dispositif durant 3 mois a eacuteteacute lanceacutee au cours de laquelle il a eacuteteacute constateacute la neacutecessiteacute de renforcer les capaciteacutes des agents de lrsquoASEPEX dans plusieurs domaines en vue drsquoaccompagner lrsquoopeacuterationnalisation du dispositif du SampE

Tous les acteurs internes mentionnent que les compeacutetences acquises gracircce au programme BSOD ont eacuteteacute tregraves utiles Plusieurs acteurs ont fait reacutefeacuterence aux diffeacuterentes formations sous le volet de SampE qui ont vu une participation eacuteleveacutee du personnel et qui sont jugeacutee tregraves utiles Non seulement les compeacutetences eacutetaient renforceacutes mais aussi les lacunes agrave combler sont mises en relief Egalement les activiteacutes faites sous le volet de SMQ tels que lrsquoanalyse organisationnelle la cartographie de lrsquoorganisation et lrsquoanalyse des processus internes de lrsquoASEPEX eacutetaient mentionneacutees tregraves utiles A titre drsquoexemple les acteurs ont appris comment faire des analyses de processus (fait en octobre 2015) et lrsquoont ensuite fait pour 11 processus diffeacuterents Cette analyse des processus eacutetaient faite par des eacutequipes en binocircme (un pilote et un copilote) et a beaucoup renforceacute la compreacutehension des diffeacuterentes proceacutedures agrave suivre ainsi que les lacunes agrave combler pour un meilleur fonctionnement Peu de reacutefeacuterences eacutetaient faites vis-agrave-vis des compeacutetences ameacutelioreacutees par les interventions au niveau des volets systegraveme drsquointranet et le portail Ceci pourrait ecirctre expliqueacute par le fait que des produits eacutetaient deacuteveloppeacutes par des prestataires pour lrsquoASEPEX (par exemple B-Compta pour les besoins de la tenue de la comptabiliteacute) qui ont en suite formeacutes les agents de DAF pour former les agents de comptabiliteacute et des ressources humaines

Du point de vu des exportateurs les entreprises impliqueacutees dans lrsquoeacutevaluation nrsquoont pas confirmeacute lrsquoutiliteacute de lrsquointervention pour eux elles nrsquoeacutetaient pas au courant du programme et les beacuteneacutefices que ccedila pourrait avoir pour eux Bien que les besoins des exportateurs aient eacuteteacute inteacutegreacutes dans le plan strateacutegique eacutelaboreacute en 2012 le programme BSOD eacutetait surtout focaliseacute sur le renforcement des capaciteacutes internes de lrsquoAsepex pour mieux srsquoorganiser et mieux accompagner ensuite les exportateurs Par exemple il a eacuteteacute mentionneacute par les acteurs internes de lrsquoASEPEX que la conception du systegraveme drsquoinformation interne est beacuteneacutefique pour les entreprises qui ont besoin du Certificat drsquoOrigine car le processus srsquoest ameacutelioreacute Egalement le besoin des exportateurs drsquoavoir accegraves agrave lrsquoinformation sur les marcheacutes le processus drsquoexportation etchellip sont pris en charge dans le deacuteveloppement du portail Neacuteanmoins la neacutecessiteacute et le besoin pour les exportateurs du portail nrsquoont pas eacuteteacute confirmeacutes Ceci explique peut-ecirctre pourquoi il a eacuteteacute difficile drsquoavoir de lrsquoinformation venant des entreprises agrave mettre dans la base de donneacutees qui devrait ecirctre accessibles aux importateurs En outre le portail nrsquoest pas freacutequemment utiliseacute par les exportateurs selon lrsquoeacutevaluation interne effectueacutee en feacutevrier 2016 et les interviews faites en aoucirct 2017

Au niveau de la proprieacuteteacute et du portage du programme lrsquoeacutelaboration du programme eacutetait porteacutee et pousseacutee par la Direction de lrsquoASEPEX baseacutee sur le plan strateacutegique Le programme eacutetait geacutereacute par deux personnes au deacutebut agrave savoir le coordinateur et le responsable du suivi eacutevaluation Suite au deacutepart de ce dernier sans ecirctre remplaceacute il est resteacute uniquement le coordonateur Depuis le deacutemarrage du projet lrsquoASEPEX a pris lrsquoinitiative de deacutemarrer les quatre sous projets du programme Les activiteacutes eacutetaient eacutegalement conduites en collaboration avec des prestataires compeacutetents seacuteneacutegalais et non pas par des experts du CBI lrsquoapproche souvent utiliseacutee auparavant A part les prestataires il nrsquoy avait pas drsquoautres acteurs externes impliqueacutes dans la gestion du projet (telles que des entreprises) Le gestionnaire du CBI a aideacute agrave seacutelectionner les prestataires et faisait des visites de suivi combineacutees agrave des reacuteunions de gestion deux-trois fois par an La plupart du personnel a participeacute dans le projet soit par les formations soit par leur contribution dans lrsquoanalyse des processus dans le volet du SMQ soit par les reacuteunions de suivi dans lesquels au moins les managers des diffeacuterents services eacutetaient impliqueacutes

Neacuteanmoins apregraves le deacutemarrage actif en 2013 et la finalisation de la plupart des activiteacutes en 2014 un retard a eacuteteacute constateacute au niveau de lexeacutecution de lrsquoensemble des projets Les acteurs internes ont souvent mentionneacute le problegraveme de portage agrave cause de lrsquoeacutecart des ressources humaines Le DG qui avait pousseacute le projet en 2012 a quitteacute lrsquoASEPEX deux mois apregraves le deacutemarrage du projet Son remplaccedilant nrsquoa pas tenu la mecircme rigueur par rapport au program BSOD pour des raisons non indiqueacutees lors des interviews Egalement le deacutepart du responsable suivi eacutevaluation pour le poste de SG en 2014 et apregraves pour une autre organisation quelques temps apregraves nrsquoa pas eacuteteacute combleacute Drsquoautres acteurs qui portaient le projet pas neacutecessairement par fonction formelle mais qui voyaient lrsquoimportance ont aussi quitteacute lrsquoASEPEX et nrsquoont pas eacuteteacute remplaceacutees Ceci a beaucoup influenceacute le portage et le moral au sein de lrsquoASEPEX

2 Les contraintes concernant le BSO et lrsquoenvironnement des exportations ont-ils eacuteteacute identifieacutees et abordeacutes correctement

Les contraintes en termes de deacuteveloppement organisationnel eacutetaient identifieacutees lors du processus de la planification strateacutegique en 2012 avec la participation du personnel de lrsquoASEPEX ainsi que des acteurs externes de lrsquoenvironnement drsquoexportation au Seacuteneacutegal De ce plan strateacutegique le besoin deacutecoulait de renforcer les capaciteacutes internes de lrsquoASEPEX agrave fin drsquoaugmenter sa creacutedibiliteacute en tant qursquoorganisation de reacutefeacuterence dans le secteur des exportations au Seacuteneacutegal dans le but final de contribuer agrave lrsquoaccroissement des exportations seacuteneacutegalaises Cinq axes eacutetaient seacutelectionneacutes comme projets de renforcement institutionnel agrave soumettre au CBI Lrsquoeacutelaboration de ses projets eacutetait pousseacutee par la Direction de lrsquoASEPEX avec la contribution du personnel

Tous les acteurs internes confirment que le choix de se focaliser sur le renforcement institutionnel eacutetait une prioriteacute de deacuteveloppement de lrsquoASEPEX Cette prioriteacute srsquoalignait aussi au besoin de faire de lrsquoASEPEX une organisation de reacutefeacuterence pour les entreprises exportatrices au Seacuteneacutegal Neacuteanmoins les visions et les engagements nrsquoeacutetaient pas les mecircmes dans la succession des directeurs

Lors de lrsquoexeacutecution du programme le contenu nrsquoa pas changeacute Cependant lrsquoexeacutecution a pris plus de temps que planifieacute Le CBI srsquoest montreacute flexible dans ce sens et a accordeacute un prolongement du temps neacutecessaire pour terminer le projet

Lrsquoenquecircte de satisfaction reacutealiseacutee en aoucirct 2014 aupregraves des exportateurs et des partenaires de lrsquoASEPEX (sur la pertinence perccedilue de la prestation des services de lrsquoASEPEX) faisait partie du processus de SMQ et est obligatoire chaque anneacutee pour avoir la certification viseacutee Les reacutesultats de lrsquoenquecircte ont montreacute le niveau de satisfaction

9 des entreprises exportatrices concernant les services de lrsquoASEPEX et ont deacutegageacute des pistes pour

les ameacuteliorer

3 Dans quelle mesure le programme eacutetait-il aligneacute sur les politiques du CBI et du Ministegravere Neacuteerlandais des Affaires Etrangegraveres

Le programme BSOD sinscrit parfaitement dans certains des documents strateacutegiques cleacutes concernant la coopeacuteration internationale par exemple le Basisbrief Ontwikkelingssamenwerking 2010 et Wat de Wereld verdient Laccent a eacuteteacute mis de plus en plus sur le deacuteveloppement eacuteconomique en tant que moteur du changement et la contribution que les Pays-Bas peuvent accorder agrave cet eacutegard Le Seacuteneacutegal a eacuteteacute un pays partenaire pour la coopeacuteration au deacuteveloppement jusquagrave la mi-2011 mais dans la peacuteriode allant jusquen 2015 lrsquoappui financier a eacuteteacute reacuteduit Laccent dans les relations porte sur le deacuteveloppement eacuteconomique Les raisons drsquointeacuterecirct eacuteconomique au Seacuteneacutegal srsquoexpliquent plus speacutecifiquement par

Le Seacuteneacutegal a une situation eacuteconomique relativement stable et un endettement durable La gestion des finances publiques et lameacutelioration du climat des affaires constituent des points importants dans le dialogue entre les Pays-Bas et le gouvernement seacuteneacutegalais

Les importations neacuteerlandaises du Seacuteneacutegal comportent principalement des produits alimentaires et des matiegraveres primaires Les principaux produits dexportation sont le peacutetrole les produits agricoles (y compris les oignons les pommes de terre) et les denreacutees alimentaires (lait en poudre)

Le nombre dentreprises neacuteerlandaises au Seacuteneacutegal augmente Le programme BSOD sattache fortement agrave creacuteer des perspectives dexportation vers lEurope et est donc conforme agrave ce discours Dune part son objectif est de creacuteer des opportuniteacutes eacuteconomiques et dautre part de stimuler limportation aux Pays-Bas

9 Le niveau de satisfaction au niveau de clients eacutetaient tregraves satisfaisant (29) assez satisfaisant (57) et peu satisfaisant

(14) Pour les partenaires les reacutesultats eacutetaient tregraves satisfaisant (43) assez satisfaisant (50) et peu satisfaisant (7)

10 httpswwwrijksoverheidnlonderwerpenbetrekkingen-met-nederlandoverzicht-landen-en-gebiedensenegal

612 Efficaciteacute

4 Dans quelle mesure les outputs et les outcomes ont-ils eacuteteacute atteints tels que deacutefinis dans le cadre logique

Activiteacutes Les rapports de progregraves ainsi que des entretiens ont confirmeacute que tous les projets nont pas commenceacute au moment preacutevu en deacutebut du programme en mars 2013 Ceci est ducirc au temps requis pour seacutelectionner des partenaires locaux approprieacutes et proceacuteder conformeacutement au code de passation des marcheacutes public Drsquoautres retards dans les activiteacutes ont eacuteteacute causeacutes par quelques parties techniques (par exemple le longueur du testes du portail) le ralentissement des paiements et la volonteacute de poursuivre des activiteacutes au niveau du volet de SMQ Le dernier a causeacute un prolongement du projet jusqursquoau 2016 au lieu de la date preacutevue de deacutecembre 2014

En image les activiteacutes se sont deacuterouleacutees dans le temps comme suite

Suivi et eacutevaluation Le projet a deacutemarreacute avec les activiteacutes de suivi eacutevaluation En septembre et octobre 2013 sept modules de formation ont eacuteteacute deacuterouleacutes par ESMP avec un taux eacuteleveacute de participation (entre 10 agrave 23 personnes En juillet 2014 la situation de reacutefeacuterence a aussi eacuteteacute reacutealiseacutee puis lrsquoautomatisation du systegraveme de SampE (une application) en fin 2014

Systegraveme drsquoInformation interne (SI) Trois modules ont eacuteteacute deacuterouleacutes sur le SI par BAAMTU agrave savoir ERP pour le profiling des entreprises Bcompta pour la comptabiliteacute et Paye pour les ressources humaines Apregraves lrsquoexposeacute de chaque module BAAMTU venait chez lrsquoASEPEX pour des sessions de deacutemonstration et de formation sur le tas des inteacuteresseacutes Une deacutemonstration a eu lieu en mars 2014 avec la preacutesence du CBI Ce coaching a pris fin en juillet 2014 et le systegraveme est opeacuterationnel

Portail Seacuteneacutegal Export PeopleInput a deacuteveloppeacute la plateforme Seacuteneacutegal Export (wwwsenegalexportcom) ainsi que la plateforme acheteur (wwwimportfromsenegalcom) et une application mobile La conception du site eacutetait boucleacutee en mi-2014 mais le lancement a traicircneacute du cocircteacute de lrsquoASEPEX en charge de renseigner le contenu Finalement le site a eacuteteacute lanceacute officiellement le 1

er deacutecembre 2014 lors de la journeacutee de la mangue

Systegraveme de Management de la Qualiteacute Concernant le SMQ les activiteacutes faites sont nombreuses

- Formation sur la norme ISO 9000-2008 - Formation sur la gestion documentaire et lrsquoeacutelaboration drsquoune base de documents codifieacutes - Formation sur le management des processus - Formation de 5 personnes sur lrsquoaudit de qualiteacute interne avec lrsquoanalyse de cinq processus internes lors

de la formation suivi par les analyses drsquoonze processus internes par des pilotes et copilotes en

octobre 2015 Pour chaque processus un document avec les non-conformiteacutes agrave reacutesoudre agrave eacuteteacute deacuteveloppeacute et discuteacute lors de la reacuteunion du conseil de direction en deacutecembre 2015 une vue drsquoensemble des ameacuteliorations agrave faire a eacuteteacute deacuteveloppeacute

- Un questionnaire de satisfaction des clients requiert par lrsquoISO est conduit en 2014 avec une reacuteponse de 5 entreprises 12 partenaires 1 partenaire technique et financier 2 organisations professionnelles et 1 structure de la tutelle) Cependant lrsquoenquecircte preacutevue en 2016 nrsquoa pas eacuteteacute faite par lrsquoASEPEX

- Sensibilisation de la Direction Geacuteneacuterale Bref le systegraveme de SMQ a eacuteteacute deacuteveloppeacute sur papier avec les proceacutedures et instructions du travail deacuteveloppeacute selon les critegraveres drsquoISO 9000-2008 Le cabinet AEC a eacutegalement fait tout ce qui leur eacutetait demandeacute de faire Leur motivation se montre par le fait que leur travail eacutetait preacutevu sur 14 mois mais finalement elle a dureacute 25 ans agrave cause de la reacutesistance de certains membres du personnel au changement et le faible portage par la direction geacuteneacuterale AEC a indiqueacute que de leur coteacute ils ont beaucoup fait pour convaincre ASEPEX Par exemple pour sensibiliser le personnel et surtout la direction de lrsquoASEPEX agrave continuer la deacutemarche de qualiteacute AEC avait arrangeacute une reacuteunion de benchmarking en 2015 en invitant la Direction de lrsquoANIDA chez lrsquoASEPEX LrsquoANIDA est une autre agence de lrsquoeacutetat qursquoAEC a accompagneacute pour la certification 2008-9001 qursquoelle a acquise en 2009 Le DG drsquoANIDA avec quelques collegravegues sont venus pour partager leurs expeacuteriences dans le processus de SMQ Mais cette reacuteunion nrsquoa pas changeacute le comportement au sein de lrsquoASEPEX Ceci eacutetait une deacuteception pour AEC vue leur succegraves dans le passeacutee avec ANIDA et drsquoautres clients comme la mairie de Dakar Plateau Le dernier a reacuteussi agrave obtenir la certification gracircce agrave lrsquoengagement du maire qui vaille que vaille poussait processus malgreacute que le niveau et lrsquoengagement de la mairie nrsquoeacutetait pas eacuteleveacute

Outputs La mesure dans laquelle les produits fournis par le projet font partie des processus et services de lrsquoASEPEX varient par axe Une fois que la phase de deacuteveloppement de la plupart des projets a eacuteteacute acheveacutee en 2015 lrsquoASEPEX eacutetait responsable de la poursuite de la mise en œuvre des quatre projets qui a connu un ralentissement

Au niveau du SampE suite agrave lrsquoappui drsquoESMP lrsquoASEPEX a deacuteveloppeacute et mis en œuvre un systegraveme de SampE comme faccedilon de travailler Le plan strateacutegique de 2016-2020 deacuteveloppeacutes integravegre un systegraveme de SampE Cela a meneacute agrave un contrat de performance avec le Ministegravere du Commerce sur la base des zones de reacutesultat des indicateurs des objectifs et des financements requis deacutefinis par lrsquoASEPEX Tous les deacutepartements de lrsquoASEPEX planifient annuellement leurs activiteacutes et font des rapports selon le systegraveme de SampE deacuteveloppeacute qui estime qursquoil y a un suivi ameacutelioreacute des diffeacuterents projets de lrsquoASEPEX tels que le XE1 et XE2 Cependant le rapportage peut encore ecirctre ameacutelioreacute car crsquoest aussi requis par le gouvernement Le plus grand problegraveme pour le volet de SampE est que depuis le deacutepart du responsable SampE en 2014 il nrsquoy a pas eu de remplaccedilant Ceci entraicircne une reacuteaction neacutegative dans lagreacutegation des donneacutees signaleacutee par les services internes et a eacutegalement bloqueacute lrsquoutilisation de loutil automatiseacute du systegraveme de SampE mis en place par Cedar Informatique La raison mentionneacutee pour le ralentissement dans le recrutement drsquoun responsable du SampE est le manque de ressources financiegraveres

Au niveau du SI en particulier la fonctionnaliteacute agrave leacutegard du Certificat dOrigine est utiliseacutee degraves le deacutebut et a fourni plus defficaciteacute sur la maniegravere de travailler avant la mise au point du systegraveme Egalement le systegraveme permet agrave lrsquoASEPEX drsquoenregistrer toutes les donneacutees drsquoune activiteacute particuliegravere drsquoexportation (exportateur acheteur produit quantiteacute prix etc) Ces donneacutees sont stockeacutees dans une base de donneacutees conduisant agrave une efficaciteacute accrue (en utilisant les donneacutees saisies) et agrave de meilleures informations sur les donneacutees dexportation Lrsquoeacutevaluation interne fait en feacutevrier 2016 a eacutegalement mentionneacute que le systegraveme eacutetait jusquen ce moment principalement utiliseacute pour les opeacuterations de deacutelivrance du Certificat dOrigine mais il existe de nombreuses autres solutions telles que le systegraveme de gestion des documents la communication interne et autres Cette situation nrsquoa pas beaucoup changeacute tout le personnel nrsquoutilise toujours pas le systegraveme et ne est pas forceacute agrave lrsquoutiliser Lrsquoestimation faite en 2016 dit que seulement 30 des capaciteacutes du systegraveme intranet sont utiliseacutees

Au niveau du portail la premiegravere anneacutee apregraves le lancement du site le CBI a financeacute lrsquoheacutebergement Par la suite lrsquoASEPEX nrsquoa pas pu reacuteussir agrave payer le montant relativement bas pour lanneacutee suivante Par conseacutequent People Input a mis le site web hors ligne et le portail neacutetait plus accessible Cette situation a dureacute au moins six mois Par rapport agrave lrsquoalimentation du site le constat fait en feacutevrier 2016 agrave partir de lrsquoeacutevaluation interne deacutenonccedilait que lrsquoASEPEX navait pas fait beaucoup drsquoefforts pour garder le portail agrave jour et eacutelargir le reacutepertoire

des exportateurs dans le portail Au cours de 2014 et 2015 des modifications minimales ont eacuteteacute apporteacutees au portail des exportateurs et au site web de lASEPEX En outre le potentiel en ce qui concerne laccegraves mobile et la distribution multicanaux neacutetait pas utiliseacute Le coordinateur drsquoautres projets financeacute par le CBI (XE1 et XF1) a aideacute lrsquoASEPEX agrave alimenter le site web ainsi que de creacuteer une page Facebook et LinkedIn Un constat est que plusieurs services deacuteveloppeacutes sous XE1 et XE2 comme (1) des videacuteos drsquoune minute sur le marcheacute Europeacuteen (2) les rapports brefs sur diffeacuterents marcheacutes et (3) des histoires de succegraves nrsquoont pas eacuteteacute inteacutegreacutes sur le site Ca veut dire qursquoactuellement lrsquoalimentation du site nrsquoest pas encore automatique La responsable de communication de lrsquoASEPEX (seule personne de ce service) dit avoir fait des rappels reacuteguliers aux diffeacuterents responsables de services pour avoir des eacuteleacutements de rapport sur les eacuteveacutenements et informations actuels Le contenu des messages est eacutecrit par elle et mis en ligne par le coordonnateur du site web La gestion du site deacutepend en fait drsquoune seule personne de par sa qualiteacute drsquoinformaticien qui sait mettre lrsquoinformation Au niveau de la plateforme acheteur le site est toujours hors ligne Un livre est eacutelaboreacute et imprimeacute avec les donneacutees mais la plateforme en ligne ne fonctionne pas

Au niveau du SMQ les formations et les analyses des processus ont fait que les proceacutedures sont cartographieacutees connues et sont respecteacutees plus au lieu de faire des activiteacutes drsquoune faccedilon ad hoc Egalement les documents types et modegraveles standards existent et sont utiliseacutes (exemple des rapports types des check-lists la feuille de preacutesence de reacuteunion eacutevaluation formation etc) Cependant les constats faites sur base des analyses des processus et la vue drsquoensemble des eacuteleacutements agrave ameacuteliorer ont eacuteteacute discuteacutes lors de la reacuteunion de conseil de direction en deacutecembre 2015 mais il reste encore des choses agrave ameacuteliorer Les raisons de ces insuffisances mentionneacutees dans des documents et par des acteurs sont

- Le manque drsquoengagement par la direction et le personnel au niveau du SMQ Bien que les coordinateurs du projet fussent tregraves impliqueacutes et motiveacutes avec leur pouvoir limiteacute ils nrsquoont pas pu srsquoimposer pour atteindre le but

- Les charges du personnel identifieacutees eacutegalement comme risque au deacutebut du projet Drsquoautres disent que ce nrsquoest pas la surcharge de travail mais plutocirct le refus du changement sans voir lrsquoimportance des outils deacuteveloppeacutes ou se sentir menaceacute (perte du travail)

- Le ralentissement des paiements Des acteurs internes et externes ont clairement indiqueacute que lrsquoagent comptable nommeacute par le treacutesor public constituait et constitue un eacuteleacutement bloquant Par exemple lrsquoargent neacutecessaire pour payer lrsquoacompte agrave Veritas pour faire lrsquoaudit agrave blanc pour aboutir agrave la certification nrsquoa pas eacuteteacute transfeacutereacute

- Une autre raison eacutetait peut-ecirctre que le nombre drsquoobservations faites pourrait paralyser les personnes (par ou commencer) et bloquer ainsi lrsquoavancement du travail

Outcomes Certains services ont eacuteteacute ameacutelioreacutes gracircce aux produits livreacutes dans le projet Les acteurs internes ont fait reacuteguliegraverement reacutefeacuterence au service de deacutelivrance des Certificats drsquoOrigine le temps neacutecessaire pour avoir le certificat a eacuteteacute reacuteduit de deux jours agrave trente minutes Drsquoautres services ameacutelioreacutes mentionneacutes concernent les processus tels que la mise agrave disposition de lrsquoinformation et des statistiques aux entreprises des formations aux entreprises le service drsquoaccueil des entreprises par un point focal qui guide les visiteurs au sein de la structure Il y a tregraves peu drsquoinformations disponibles par rapport au point de vue des entreprises de lrsquoameacutelioration des services Lrsquoenquecircte de satisfaction conduit en juillet 2014 ne pouvait pas encore donner de lrsquoinformation sur lrsquoameacutelioration des services vu le retard dans lrsquoexeacutecution des activiteacutes et les produits reacutesultant (ou provenant) de ces activiteacutes Lrsquoenquecircte preacutevue en 2016 nrsquoa pas eacuteteacute faite et donc une comparaison nrsquoest pas possible

Les outcomes ne sont pas tous atteints Par rapport agrave lrsquoaccegraves des PME agrave lrsquoinformation du marcheacute gracircce au site web lrsquoeacutevaluation interne fait en feacutevrier 2016 a recueilli de lrsquoinformation sur leur connaissance et lrsquoutilisation du portail aupregraves de neuf exportateurs qui connaissent lrsquoASEPEX avec un reacutesultat tregraves deacutecevant

Les entretiens faits avec des entreprises lors de cette eacutevaluation ont confirmeacute la non utilisation du portail Malgreacute cette image neacutegative quelques entreprises appuyeacutees par lrsquoASEPEX dans la participation aux foires ont confirmeacute lrsquoutilisation de lrsquoinformation disponible sur le portail En outre ces acteurs estiment que le portail est visiteacute reacuteguliegraverement et plus drsquoentreprises contactent lrsquoASEPEX qursquoavant le programme Ce constat fait par les acteurs nrsquoest pas appuyeacute par des chiffres concrets Lrsquoinformation sur lrsquoutilisation des acheteurs internationaux qui approchent les PME gracircce au site web nrsquoest pas disponible Vu que le site lsquoImport from Seacuteneacutegal ne fonctionne pas il est difficile pour les acheteurs internationaux drsquoacceacuteder agrave lrsquoinformation des entreprises exportatrices agrave partir du portail Le livre deacuteveloppeacute avec la mecircme information nrsquoest pas facilement disponible aux acheteurs en dehors du Seacuteneacutegal sauf par participation aux foires au Seacuteneacutegal et agrave lrsquoeacutetranger En conclusion la troisiegraveme outcome viseacutee les PME accegravedent agrave lrsquointranet nrsquoest pas atteinte

Lrsquoabsence de reacutesultats au niveau des outcomes est expliqueacutee par plusieurs sources par le manque drsquoapplication et drsquoutilisation des outputs du projet par lrsquoASEPEX Des arguments donneacutes sont souvent drsquoune part le manque de portage et de motivation drsquoune coteacute et drsquoautre part le manque de budget Lrsquoeacutevaluation interne faite en 2016 nuance le dernier argument agrave travers le constat que bien que lrsquoASEPEX dispose de ressources limiteacutees pour mener toutes les activiteacutes preacutevues ceci ne peut pas ecirctre consideacutereacutee comme la raison principale de la performance limiteacutee du projet Seuls quelques eacuteleacutements sont lieacutes aux coucircts et ceux qui ne comportent que des quantiteacutes relativement faibles (comme les coucircts dheacutebergement du portail) La principale raison trouveacutee au cours de lrsquoeacutevaluation interne en 2016 est le manque dengagement et de leadership de la direction dASEPEX pour finaliser la mise en œuvre et lexeacutecution des quatre projets

Bien que cette eacutevaluation confirme le manque drsquoengagement et du leadership nous voyons trois causes pour le quasi non atteint des outcomes

1) Le Theacuteorie du Changement est partie des activiteacutes rendant lrsquoanalyse incomplegravete et les conditions preacutealables importantes ont eacuteteacute neacutegligeacutees La question comment arriver agrave lrsquoimpact nrsquoa pas eu de reacuteponses visibles dans le TdC Peut ecirctre que cette question agrave eacuteteacute poseacutee mais il manque quelques eacuteleacutements pour arriver des outputs vers les outcomes Si on veut que les PME accegravedent agrave lrsquointranet et agrave lrsquoinformation du marcheacute et que les acheteurs internationaux approchent les PME gracircce au site web il ne faut pas seulement avoir le SI un portail et des services ameacutelioreacutes Il faut eacutegalement informer les PME et les impliquer plus pour que les outcomes se reacutealisent

2) Les risques ont eacuteteacute noteacutes au deacutebut mais cela nrsquoa pas entraicircneacute des changements dans la gestion ou la strateacutegie du projet Par exemple la disponibiliteacute du personnel pour donner lrsquoinput pour les diffeacuterents volets (surtout le SampE et le portail) et pour appliquer les nouveaux outils eacutetait un problegraveme deacutejagrave indiqueacute avant le deacutemarrage du programme On peut dire le mecircme e ce qui concerne le manque drsquointeacuterecirct des parties externes telles que les PME

3) La mise en place institutionnelle de la coordination du projet avec une forte deacutependance dune personne Bien qursquoau deacutebut il y avait trois personnes tregraves motiveacutees au niveau de lrsquoASEPEX dont le DG les deux coordonateurs le deacutepart de deux personnes parmi eux (DG et responsable SampE) a paralyseacute

un peu la suite Le stagiaire junior qui a eacuteteacute recruteacute pour remplacer le responsable SampE nrsquoavait pas le mecircme pouvoir et nrsquoa pas dureacute Drsquoautres personnes parmi le personnel qui portaient le programme sont eacutegalement parties et donc seule une personne est resteacutee au cœur du programme du deacutebut agrave la fin Sans affectation du pouvoir neacutecessaire cela porte des risques de mecircme que un possible deacutepart de cette personne aura encore des conseacutequences pour la suite de lrsquoapplication des acquises

La qualiteacute des prestataires nrsquoa pas eacuteteacute une raison du quasi non atteint des outcomes Leur travail a eacuteteacute beaucoup appreacutecieacute selon toutes les sources Ils eacutetaient tous experts dans leur domaine et travaillaient dans les deacutelais eacutetablis Le deacutevouement drsquoAEC dans le but de changer le comportement de la direction drsquoASEPEX eacutetait remarquable est un exemple qursquoils ont fait plus que demandeacute Cependant selon un acteur le prestataire qui a fait le portail nrsquoavait pas beaucoup impliqueacute ASEPEX dans le deacuteveloppement du site ils lrsquoont deacuteveloppeacute deacutelivreacute formeacute une personne et pas beaucoup plus

5 Y-a-t-il des effets secondaires impreacutevus (positifs ou neacutegatifs) en conseacutequence du programme BSOD

Selon les entretiens un effet secondaire impreacutevu positif eacutetait que lrsquoASEPEX a gagneacute plus de creacutedibiliteacute aux partenaires Un exemple eacutetait qursquoun partenaire potentiel drsquoASEPEX eacutetait content de savoir qursquoASEPEX a un systegraveme de SampE ccedila montrait le seacuterieux qursquoASEPEX met dans son travail Aussi le programme en combinaison avec drsquoautres interventions tel que XE1 XE2 et lrsquointelligence du marcheacute a contribueacute agrave la visibiliteacute de lrsquoASEPEX En 2012 lrsquoASEPEX nrsquoeacutetait pas encore connu et ccedila a changeacute un peu les pays limitrophes commencent agrave connaitre lrsquoASEPEX car ces derniegraveres anneacutees ASEPEX a eacuteteacute tregraves preacutesents dans la communication meacutedia par la participation aux grands eacuteveacutenements au niveau national et international qui aussi eacuteteacute communiqueacute par le portail

De plus lrsquoASEPEX a remporteacute le Golden Innovation Award 2015 (le Prix de linnovation) en novembre 2015 Il sagit dun prix public pour lequel 35 organisations ont eacuteteacute nommeacutees En plus au niveau du gouvernement lrsquoASEPEX sest positionneacutee dans ce deacuteveloppement et est perccedilu comme un acteur important En effet le preacutesident a demandeacute agrave ASEPEX dorganiser le Conseil preacutesidentiel sur les exportations en 2016

6 Dans quelle mesure les reacutesultats au niveau drsquooutcome peuvent-ils ecirctre attribueacutes au programme BSOD du CBI (attribution)

Comme mentionneacute dans le rapport (question 4) les outcomes preacutevues dans le programme nrsquoont pas eacuteteacute atteint Ceci est lieacute drsquoune part au manque de portage du programme et surtout de la mise en œuvre des outils produits par le programme Drsquoautre part les conditions neacutecessaires pour que les PME accegravedent lrsquointranet et le portail apregraves le lancement nrsquoeacutetaient peut-ecirctre pas reacuteunis Bien que le manque drsquointeacuterecirct par des entreprises fucirct mentionneacute comme une des risques au deacutebut du programme les activiteacutes neacutecessaires pour mitiger ce risque nrsquoont pas eu lieu ou nrsquoont pas eacuteteacute effective Ceci a constitueacutee un obstacle principal pour arriver aux outcomes

7 Dans quelle mesure les reacutesultats au niveau drsquooutputs de lrsquointervention peuvent-ils ecirctre consideacutereacutes comme suppleacutementaires

Toutes les sources confirment que sans le programme les outputs nrsquoallaient pas se produire Bien qursquoil y ait deacutejagrave un site web et des activiteacutes de SampE le programme BSOD les a renforceacutes Les activiteacutes de SampE du BSOD sont parties des reacutesultats des activiteacutes preacuteceacutedentes de SampE faites avec le soutien drsquoun autre partenaire (ITC) et sont donc venues renforcer ces acquis agrave travers les formations du personnel la mise en place du manuel de SampE lrsquoeacutelaboration du plan strateacutegique et lrsquoautomatisation des outils Pour ce qui concerne le site web ASEPEX lrsquoavait deacutejagrave mais voulait lrsquoadapter en incluant une base de donneacutees avec des profiles des PMEs et un portail pour des PMEs et des acheteurs internationaux Les outputs au niveau du SI et du SMQ sont directement des fruits du programme BSOD Sans le programme beaucoup drsquooutils nrsquoallaient pas exister des compeacutetences nrsquoallaient pas ecirctre renforceacutees le SI et le site web nrsquoallaient pas exister sous la nouvelle forme

Cependant il y a drsquoautres organisations qui pourraient faire les mecircmes interventions mais lrsquoavantage du CBI eacutetait que le lien deacutejagrave existant avec lrsquoASEPEX et la connaissance de ses reacutealiteacutes Drsquoautres partenaires collaborent avec lrsquoASEPEX sur diffeacuterents domaines comme la JICA pour lrsquoappui agrave la mise agrave disposition drsquoun expert drsquoanalyse du marcheacute et le TFO Canada dans le domaine de lrsquointelligence du marcheacute focaliseacute sur le marcheacute drsquoexportation vers le Canada

8 La bonne strateacutegie drsquointervention a-t-elle eacuteteacute choisie (nature correcte et combinaison de services de formation et de conseil)

La plupart des acteurs confirment que la bonne strateacutegie a eacuteteacute choisie Drsquoabord le besoin de renforcement institutionnel existait depuis un temps et eacutetait jugeacute eacutegalement important pour le CBI Les axes choisis reacutepondaient aux besoins La combinaison des formations en salle (SampE SMQ) ainsi que sur le tas (SI portail) et le coaching (SMQ) eacutetaient bien appreacutecieacutes De plus le choix de travailler avec les prestataires compeacutetents seacuteneacutegalais agrave eacuteteacute appreacutecieacute car ccedila a faciliteacute la communication et la compreacutehension et a ainsi donneacute des reacutesultats Cette strateacutegie de travailler avec les prestataires locaux eacutetait assez nouvelle pour le CBI

Cependant il y a aussi des acteurs qui se demandent la neacutecessiteacute drsquoeacutelaborer lrsquoapplication mobile du portail Est-ce que ccedila reacutepondait vraiment agrave un besoin Et est-ce que les PME ont eacuteteacute impliqueacutees dans lrsquoeacutelaboration et lrsquoexeacutecution du programme Par exemple pour le portail il nrsquoy avait pas un comiteacute avec les membres de lrsquoASEPEX ainsi que des repreacutesentants des PMEs pour guider le deacuteveloppement En plus vu le nombre drsquoactiviteacutes et le changement de comportement que ccedila demandait du personnel les formations seules ne suffisaient pas agrave srsquoassurer la mise en œuvre De ce point de vu plus de coaching ou une autre forme drsquoappui serait neacutecessaire

9 Dans quelle mesure le programme srsquoest-il adapteacute agrave lrsquoeacutevolution des conditions externes afin drsquoassurer des reacutesultats maximaux Existe-t-il des facteurs externes qui ont influenceacute (soit positives ou neacutegatives) la mise en œuvre du programme

Le programme ne srsquoest pas adapteacute agrave lrsquoeacutevolution des conditions externes afin drsquoassurer des reacutesultats maximaux Cependant comme lrsquoeacutevaluation interne de 2016 lrsquoa montreacute il y a des facteurs externes qui ont influenceacute positivement la mise en œuvre du programme Drsquoabord lrsquoASEPEX a pu avoir un contrat de performance avec le ministegravere baseacute sur sa mise en œuvre du systegraveme de SampE Toutefois le contrat de performance (avec le budget accompagnant) na pas encore eacuteteacute concreacutetiseacute sur le plan financier LrsquoASEPEX a reccedilu environ 25 agrave 30 du budget demandeacute Cela pose certaines contraintes en ce qui concerne leur ambition de mener des activiteacutes neacutecessitant un budget

10 Dans quelle mesure le programme a-t-il eacuteteacute geacutereacute pour et non par des reacutesultats

Lrsquoimpression deacuteveloppeacutee sur la base de plusieurs sources est qursquoau deacutebut la motivation et lrsquoeacutenergie eacutetaient eacuteleveacutees pour exeacutecuter les activiteacutes du programme Mais au moment que la plupart des formations eacutetaient faites et les outils deacuteveloppeacutes la mise en œuvre des outils srsquoest beaucoup ralentie Egalement moins drsquoattention eacutetait donneacutee sur comment les PME et les acheteurs internationaux allaient finalement utiliser les outputs et ce qursquoil fallait pour y arriver

Lors du programme lrsquoapprentissage eacutetait continu surtout vu que crsquoeacutetait un programme focaliseacute sur le renforcement institutionnel Beaucoup de reacuteunions de coordination ont eacuteteacute faites ainsi que des reacuteunions trimestrielles de management au cours desquelles des constats et suggestions ont eacuteteacute faits pour atteindre les reacutesultats Il srsquoagit par exemple de la vue drsquoensemble des eacutecarts agrave combler dans plusieurs processus internes suites aux analyses ou des suggestions de renforcer les ressources humaines par exemple pour pousser lrsquoutilisation de tous les outils de SampE La coordination du programme a tout fait pour arriver aux reacutesultats Cependant la theacuteorie du changement nrsquoa pas fait objet de discussion lors des reacuteunions Par lagrave il est constateacute qursquoil y avait moins drsquoattention aux outcomes et comment arriver aux outputs

613 Efficience

11 Quelle est la qualiteacute de la contribution en termes de connaissances et de compeacutetences des experts externes et de la maniegravere dont la contribution a eacuteteacute deacuteployeacute

Ce programme a utiliseacute des experts seacuteneacutegalais et non pas les experts externes du CBI comme ccedila se passe parfois dans drsquoautres programmes BSOD (ie voir le programme BSOD au Mozambique eacutevalueacute en 2016) Les experts Seacuteneacutegalais connaissaient tous le contexte ainsi que leur domaine de compeacutetence et tous les acteurs ont eacuteteacute consideacutereacute tregraves compeacutetent

En ce qui concerne les formations en SampE les acteurs eacutetaient tregraves satisfaits par lrsquoapproche interactive utiliseacutee ainsi que le contenu des modules La seule contrainte indiqueacutee eacutetait que les sessions de formation mobilisaient beaucoup de temps ce qui privait les participants agrave vaquer aux autres activiteacutes de leur quotidien En plus les formations ont eu lieu agrave lrsquoASEPEX et ceci rendait la gestion des participants plus difficile Pour le SI les modules eacutetaient adapteacutes aux besoins de lrsquoASEPEX Apregraves la preacutesentation drsquoun module le prestataire faisait une deacutemonstration et une formation sur le tas Cette approche eacutetait bien appreacutecieacutee Le prestataire du volet AEC avait toutes les compeacutetences exemples et deacutevouement neacutecessaire Concernant le portail le constat est que trop peu de personnes au sein de lrsquoASEPEX ont beacuteneacuteficieacute des connaissances et compeacutetences des experts et qursquoune approche plus participatif avec lrsquoimplication de plus de personnes de lrsquoASEPEX permettrait de mieux engager le personnel concerneacute sur lrsquoutilisation et la gestion du portail

12 Planification geacuteneacuterale et organisation du programme

Le projet a eacuteteacute geacutereacute par deux personnes agrave lrsquoASEPEX dont lrsquoune personne eacutetait Responsable SampE et lrsquoautre Responsable des trois autres axes du BSOD Ils collaboraient avec un coordinateur et un gestionnaire du programme du CBI Beaucoup de responsabiliteacutes restaient au niveau de lrsquoASEPEX particuliegraverement sur la gestion et lrsquoexeacutecution du programme avec un bon contact avec le coordinateur du CBI qui visitait reacuteguliegraverement lrsquoASEPEX Une anneacutee apregraves le deacutemarrage du programme le responsable SampE eacutetait nommeacute SG Le second responsable a assureacute par la suite la coordination pour la mise en œuvre du systegraveme de SampE

Au niveau de la planification du programme un plan a eacuteteacute eacutelaboreacute avec les activiteacutes et responsabiliteacutes du CBI et de lrsquoASEPEX Une feuille de route avec les dates et seacutequences des activiteacutes nrsquoest vue ni un plan opeacuterationnel drsquoactiviteacutes avec le timing Les Termes de Reacutefeacuterences eacutetaient eacutecrits par lrsquoASEPEX et soumis au CBI qui ensemble avec lrsquoASEPEX faisaient le choix des prestataires La gestion financiegravere du projet eacutetait faite par le CBI qui payait directement les prestataires Cela influence lrsquoappropriation du programme du fait que ce nrsquoeacutetait pas 100 geacutereacute par lrsquoASEPEX

Deux rapports de progregraves ont eacuteteacute eacutecrits (le premier en octobre 2013 et le deuxiegraveme en septembre 2014) par le coordinateur du CBI avec lrsquoinput de la coordination au niveau drsquoASEPEX Un rapport de 2015 nrsquoexiste pas Les rapports eacutetaient tregraves brefs avec de lrsquoinformation sur la situation les reacutesultats par axe la gestion des risques les changements proposeacutes et autres constats Un plan de SampE accompagnait les deux rapports de progregraves Le dernier rapport de progregraves de 2014 ne faisait pas mention des conseils pour faire avancer le programme agrave part le deacutelai de deacutemarrage Cependant une eacutevaluation interne a eacuteteacute faite en feacutevrier 2016 pour identifier les obstacles et comment les surmonter pour lrsquoavancement des activiteacutes des QMS

Toute la documentation du projet crsquoest-agrave dire le plan du programme les rapports de progregraves et le rapport drsquoeacutevaluation ont eacuteteacute eacutecrits en anglais et non pas en franccedilais bien que la langue courante de lrsquoASEPEX soit le franccedilais Pour un partage drsquoinformation interne et un apprentissage le choix de la langue est important pour lrsquoimplication des acteurs cleacutes

13 Analyse coucirct-beacuteneacutefice (deacuteploiement des intrants par rapports aux coucircts)

Le budget total pour le programme eacutetait 157871 euro Les deacutepenses totales ne sont pas connues car les montants les plus reacutecents viennent du rapport du progregraves drsquooctobre 2014 Lrsquoutilisation du budget eacutetait en ce moment 94043 euro Voir la figure suivante

0 20000 40000 60000 80000

100000 120000 140000 160000

Budget global

Deacutepenseacute

Quelques constats peuvent se faire sur la base des donneacutees reccedilues Par axe

SI les deacutepenses faites ne sont pas justifieacutees par poste du budget dans le rapport de progregraves De plus il nrsquoy a pas de deacutepenses indiqueacutees en 2014 pour

- lrsquoaccegraves depuis lrsquoexteacuterieur pour les pocircles drsquoexport de lrsquoASEPEX et partenaires (extranet soit espace priveacute des PMEs)

- Renforcement des capaciteacutes du personnel par la sensibilisation et la formation au profiling - Creacuteation et mise agrave jour du reacutepertoire des exportateurs (reacutefeacuterentiel)

Est-ce que le budget a eacuteteacute utiliseacute

le portail les deacutepenses ne sont pas justifieacutees par poste du budget dans le rapport de progregraves

le SMQ les deacutepenses ne sont pas justifieacutees par poste du budget dans le rapport de progregraves La certification allait ecirctre financeacutee par lrsquoASEPEX ce qui eacutetait convenu au deacutebut du programme

le SampE une partie du budget nrsquoa pas eacuteteacute deacutepenseacute en 2014 Est-ce que crsquoest fait apregraves Il srsquoagit du test du dispositif

Au regard du budget preacutevisionnel le SampE eacutetait affecteacute la plus grande part suivi du SI du portail et en fin du SMQ Est-ce que ccedila correspond aux prioriteacutes par axe Une question srsquoest poseacutee pourquoi le test du dispositif de SampE a consommeacute 22880 Euro presque le budget affecteacute au SMQ Est-ce que ce montant est justifieacute

Au niveau de lrsquoutilisation des produits par le personnel et drsquoautres acteurs les donneacutees chiffreacutees sont disponibles que pour les formations de SampE

Modules Nombre de participants

Planification des projets et programmes 23

Indicateurs de SampE 21

Proceacutedures et outils de collecte de donneacutees 20

Reporting et eacutelaboration de rapports 17

Proceacutedures de veacuterification et de controcircle de la qualiteacute des donneacutees 20

Evaluation de lrsquoimpact 10

Informatique appliqueacutee au SampE SampE avec MS Project 14

Les formations ont alors coucircteacute 130 euro par participant (offre prestataire eacutetait 16282 Euro)

Les donneacutees suppleacutementaires ne sont pas disponibles pour mieux observer et analyser le rapport coucirct-beacuteneacutefice

14 Dans quelle mesure les risques du programme ont-ils eacuteteacute efficacement geacutereacutes

Les risques eacutetablis au deacutebut du programme

Risque Impact possible sur le program

Probabiliteacute Impact Strateacutegie drsquoatteacutenuation

Reacutealisation en 2013

1 Trop de projets et activiteacutes de la nouvelle strateacutegie prend trop de temps au personnel de lrsquoASEPEX

Ajouteacute en octobre 2013 Temps neacutecessaire pour deacutevelopper lrsquoessentiel du contenu des 3 axes

Portail

SI (un peu moins)

Manque de disponibiliteacute du personnel pour conduire des activiteacutes Des deacutelais peuvent se produire

3 4 Lien eacutetroit entre le CBI lrsquoASEPEX et les consultants locaux sur le progregraves du projet

Attention neacutecessaire de la part des coordinateurs de lrsquoASEPEX et du CBI pour suivre de pregraves le deacuteveloppement du contenu

Personnel tregraves impliqueacute et pas de deacutelai seacuterieux

Coordinateurs du programme de lrsquoASEPEX tregraves impliqueacutes Cependant le personnel a montreacute des difficulteacutes de fournir le contenu de pe le portail et le SI Des deacutelais se sont produits

2 Consultants avec les compeacutetences neacutecessaires ne peuvent pas ecirctre trouveacutes

Manque de capaciteacute locale pour conduire des activiteacutes du projet

3 4 Enquecircter le group potentiel des consultants degraves que possible

Pour tous les axes des consultants compeacutetents ont eacuteteacute trouveacutes

Plus de risque

3 Manque Deacutelai ou 3 3 Informer tous Non pas Pas drsquointeacuterecirct des support les parties encore mentionneacute institutions minimal aux impliqueacutees remarqueacutes associations participants reacuteguliegraverement PME

Probabiliteacute 5 = presque certain 4 = probable 3 = possible 2 = peu probable 1 = rare Impact 5 = grave 4 = majeur 3 = modeacutereacute 2 = mineure 1 = neacutegligeable

Drsquoautres risques nrsquoont pas eacuteteacute mentionneacutes dans les rapports de 2013 et 2014 Neacuteanmoins quelques obstacles (soit des risques) dans le programme eacutetaient constateacutes lors des entretiens avec plusieurs acteurs Un premier obstacle eacutetait le deacutepart du DG deux mois apregraves le deacutemarrage En ce moment ce nrsquoeacutetait pas vu comme risque car son successeur avait deacutemarreacute la relegraveve avec beaucoup drsquoeacutenergies

Cependant le portage neacutecessaire nrsquoeacutetait plus le mecircme comme constateacute lors des interviews sur la preacutesente eacutevaluation mais non pas encore dans le dernier rapport de 2014 Un deuxiegraveme obstacle fut le deacutepart du responsable SampE pour le poste de SG sans ecirctre remplaceacute Ces deux deacuteparts furent des risques eacutenormes pour le portage du projet la mise en œuvre des outils et la poursuite de lrsquoatteinte des outcomes A cause du deacutepart du responsable du SampE la coordination du programme BSOD est finalement revenue agrave une seule personne Compte tenu de lrsquoambition du programme et de la neacutecessiteacute de pouvoir de deacutecision dans la mise en œuvre des outils et du changement de comportement neacutecessaires cette situation eacutetait devenue un risque majeur pour le programme BSOD Vu que lrsquoancien responsable de SampE eacutetait devenu SG la confiance et lrsquoespoir existait que les activiteacutes et la mise en œuvre nrsquoallait pas avoir des deacutelais suppleacutementaires Neacuteanmoins son deacutepart de lrsquoASEPEX a bloqueacute la suite Le deacutepart drsquoautres pilotes du programme qui nrsquoeacutetaient eacutegalement pas remplaceacutes est un troisiegraveme obstacle Un quatriegraveme obstacle constateacute en cours du programme concerne lrsquoagent comptable qui bloquait le paiement neacutecessaire pour la poursuite des activiteacutes (par exemple le paiement de lrsquoheacutebergement du site lrsquoacompte pour faire lrsquoaudit agrave blanc) Un cinquiegraveme et dernier obstacle observeacute lors des interviews fut le faible niveau de lobbying aupregraves du gouvernement pour avoir un budget stable pour la durabiliteacute des activiteacutes

Au niveau de la gestion des risques le deuxiegraveme risque (consultants avec les compeacutetences neacutecessaires ne peuvent pas ecirctre trouveacutes) eacutetait rapidement eacutecarteacute Cependant les autres risques avaient un niveau de probabiliteacute eacuteleveacute et un impact modeacutereacute agrave majeur Le premier risque de surcharge de travail et la disponibiliteacute du personnel pour communiquer les donneacutees agrave renseigner aux diffeacuterents axes a eacuteteacute clairement sentie par la plupart des acteurs La strateacutegie drsquoatteacutenuation devenait compliqueacutee par les deacuteparts du DG et du responsable SampE Vu lrsquoimportance de lrsquoimplication et de la disponibiliteacute du personnel comme facteur de base pour la reacuteussite du programme des mesures plus seacutevegraveres devraient ecirctre poseacutees Diffeacuterentes suggestions ont eacuteteacute donneacutees lors des entretiens individuels et en atelier Plusieurs fois les personnes intervieweacutees ont proposeacute de sortir la chicote soit avoir une strateacutegie de motivation pour que le personnel srsquoadapte agrave la nouvelle faccedilon de travailler et de laisser tomber les anciennes habitudes Une autre suggestion eacutetait de reacuteorganiser le travail car en reacutealiteacute lrsquohypothegravese de la surcharge de travail ne serait pas fondeacutee Bien que une eacutevaluation interne ait voulu adresser cette situation rien nrsquoa eacuteteacute changeacute depuis On peut se demander si CBI a fait assez pour geacuterer cette situation (pex lier le financement au progregraves analyser au profond les causes sous-jacentes) et si CBI ne devait pas arrecircter le program plutocirct au lieu de continuer sur la base des promesses de la confiance et de lrsquoespoir

Par rapport au troisiegraveme risque concernant le manque drsquointeacuterecirct des parties externes la strateacutegie drsquoatteacutenuation eacutetait drsquoinformer ces parties reacuteguliegraverement Dans ce cadre il est inteacuteressant de voir les relations que lrsquoASEPEX tisse avec des entreprises car crsquoest eux qui sont senseacute agrave ecirctre beacuteneacuteficiaire des services ameacutelioreacutes gracircce au programme Un acteur interrogeacute a mentionneacute la difficulteacute de tisser de bonnes relations avec les entreprises qui ont leur culture propre qui nrsquoutilisent peut ecirctre pas neacutecessairement lrsquointernet comme outil de communication et ont besoin drsquoune autre faccedilon de communiquer Beaucoup deacutepend des approches des diffeacuterents individus chez ASEPEX qui sont partiellement partie crsquoest-agrave-dire qursquoil nrsquoy a pas une strateacutegie pour le faire Drsquoautres constats qui renforcent le lien faible avec les entreprises viennent de diffeacuterentes sources Dans le plan strateacutegique eacutelaboreacute en 2012 une faiblesse mentionneacutee eacutetait lrsquoinsuffisance de prise en compte des besoins et attentes des entreprises Le niveau de reacuteponse au questionnaire de satisfaction en 2014 fruit du travail sur le SMQ eacutetait assez bas Tregraves peu drsquoentreprises avait communiqueacute les informations qui leurs eacutetaient demandeacutees pour alimenter la base de donneacutees Crsquoeacutetait eacutegalement difficile drsquoavoir de lrsquoinformation aupregraves des entreprises lors de cette eacutevaluation un bref questionnaire en ligne est deacuteconseilleacute au regard des expeacuteriences preacuteceacutedentes et pour avoir des rendez-vous pour cette preacutesente eacutevaluation nous avons finalement eu que deux entretiens Ces constats contribuent agrave lrsquoimage que les relations avec les entreprises doivent encore ecirctre renforceacutees et que beaucoup plus drsquoefforts devait ecirctre fait dans le deacuteroulement du programme BSOD non pas seulement les informer mais plutocirct voir comment les impliquer davantage en leur donnant un rocircle plus actif afin qursquoils accegravedent aux marcheacutes internationaux

614 Durabiliteacute

15 Le BSO a-t-il pu continuer agrave fournir des produits et services ou institutionnaliser les changements organisationnels souhaiteacutes en raison du soutien du CBI dans le renforcement des capaciteacutes

Le reacutesultat du soutien du CBI dans le renforcement des capaciteacutes de lASEPEX sexprime principalement en termes de compeacutetences acquises et de connaissances du personnel ainsi que de la disponibiliteacute des outils comme le SI automatiseacute le portail et plusieurs documents du SMQ Comme indiqueacute dans le rapport deacutevaluation le personnel est tregraves satisfait du soutien de la capaciteacute que le BSOD a fourni Quelques services ont eacuteteacute ameacutelioreacutes tel que la deacutelivrance des Certificats drsquoOrigine le partage de lrsquoinformation aux entreprises lrsquoaccueil au bureau drsquoASEPEX Cependant il est aussi indiqueacute que tous les outils et compeacutetences issus des diffeacuterentes interventions nrsquoont pas encore eacuteteacute inteacutegreacutes drsquoune faccedilon efficace Les raisons mentionneacutees sont le problegraveme de ressources humaines le portage la motivation de la direction ainsi que le budget

La recherche de financement durable eacutetait identifieacutee agrave plusieurs fois comme obstacle Cependant ce nrsquoeacutetait pas mentionneacute par lrsquoASEPEX comme un souci au deacutebut du programme Au contraire lrsquoASEPEX srsquoest engageacute agrave faire des contributions telles que lrsquoheacutebergement du site et lrsquoaudit agrave blanc Mais peu drsquoeffort visible a eacuteteacute fait par lrsquoASEPEX soit agrave travers lrsquoeacutelaboration drsquoune strateacutegie soit agrave demandant lrsquoappui des partenaires tels que le CBI agrave obtenir plus de viabiliteacute financiegravere (par exemple par la vente de produits et services ASEPEX aux entreprises) Ce neacutetait pas une prioriteacute ni pour ASEPEX ni pour le CBI mais ccedila pourrait contribuer agrave leacutevolution limiteacutee de la base de financement aujourdhui et donc la durabiliteacute Malgreacute que lrsquoASEPEX a gagneacute le prix drsquoinnovation et le contrat de performance acquis lrsquoASEPEX a encore des problegravemes budgeacutetaires compareacutes aux autres organisations comme lrsquoASPT et lrsquoADPME qui ont plus de ressources Eacutetant donneacute que lrsquoASEPEX nrsquoa pas de fonds propres mais a simplement un budget opeacuterationnel il est difficile de mettre ses compeacutetences et connaissances acquises en application ainsi que de continuer agrave utiliser les outils

Alors en ce qui concerne la durabiliteacute des reacutesultats du projet et la faccedilon dont cela a eacuteteacute inteacutegreacute dans les activiteacutes il faut noter que des possibiliteacutes dameacutelioration existent Mais il faut du temps pour srsquoappliquer et utiliser les nouveaux outils et sensibiliser Il faut aussi motiver le personnel (par la reacutemuneacuteration la reacutevision de lrsquoorganigramme le team building etc) lrsquoaccompagner avec une forte implication du management et de lrsquoinspiration continue

16 Les exportateurs qui ont beacuteneacuteficieacute du soutien du BSO sont-ils capables de poursuivre leurs relations avec les importateurs etou de deacutevelopper de nouvelles relations avec drsquoautres

A coteacute du programme BSOD il y avait eacutegalement drsquoautres interventions par CBI notamment le programme de lrsquointelligence du marcheacute XE1 et XE2 Une partie de ces programmes eacutetait focaliseacutee sur lrsquoameacutelioration des prestations de service aux entreprises De mecircme lrsquoASEPEX collabore avec drsquoautres partenaires dans le cadre de ses activiteacutes Drsquoougrave toute la difficulteacute de mesurer exclusivement la contribution du BSOD sur les exportateurs Cependant il a eacuteteacute noteacute qursquoil y a des entreprises qui ont eu des contacts avec des acheteurs agrave partir du portail En outre les fiches pays permettent agrave tout exportateur de se renseigner sur les marcheacutes et eacuteveacutenements commerciaux qui se passent dans le monde Les reacutesultats de lrsquoeacutevaluation interne de 2016 ainsi que des entretiens effectueacutes avec des entreprises montrent que les entreprises ne freacutequentent pas encore le portail pour la recherche drsquoinformation Une grande entreprise de production et drsquoexportation de fruits et leacutegumes a clairement dit qursquoelle ne deacutepend pas de lrsquoASEPEX pour deacutevelopper de nouvelles relations avec drsquoautres acteurs Son entreprise fonctionnait deacutejagrave bien avant qursquoelle ne connaisse lrsquoASEPEX Tout de mecircme elle appreacutecie bien lrsquoappui de lrsquoASEPEX pour la participation aux foires

Pour que le portail puisse continuer agrave exister plus de services soient ameacutelioreacutes et deacuteveloppeacutes et que la certification soit faite lrsquoASEPEX doit reacuteussir agrave avoir un budget stable Un exemple mentionneacute dans ce cadre est la vente des services en ligne Cette option doit ecirctre eacutetudieacutee avec prudence mecircme si des exemples de reacuteussite existent tel qursquoau Ghana

17 Dans quelle mesure est-ce que le programme est inteacutegreacute dans les structures localesappartenant aux acteurs locaux

Dans le rapport nous avons deacutejagrave mentionneacute que des acteurs externes nrsquoeacutetaient pas impliqueacutes dans le deacuteveloppement et la gestion du programme BSOD Bien que des acteurs externes aient participeacute dans le processus de la planification strateacutegique et sont consulteacutes par des chefs de services pour leur planification annuelle plus drsquoefforts pourraient ecirctre faits dans lrsquoimplication des entreprises par exemple les repreacutesentants des associations sectorielles

7 Conclusions

71 Conclusions critegraveres DAC

711 Pertinence

Le projet est pertinent en termes du renforcement des capaciteacutes du personnel de lrsquoASEPEX et de lrsquoameacutelioration de quelques processus du travail internes tels que la planification et le suivi la documentation et lrsquoenregistrement des donneacutees des entreprises Les formations ont permis agrave tous les participants drsquoacceacuteder agrave la mecircme page et de se familiariser avec lrsquoapproche de suivi et eacutevaluation les concepts et approches de la deacutemarche qualiteacute y compris les analyses internes Quelques personnes ont eacutegalement beacuteneacuteficieacute de renforcement des capaciteacutes en ce qui concerne lrsquoutilisation de lrsquointranet et la gestion du portail Par rapport agrave la faccedilon dont les formations ont eacuteteacute dispenseacutees le style de formation lrsquoenvironnement dapprentissage ouvert la perspective internationale toutes sont jugeacutees pertinentes

En ce qui concerne la pertinence pour les entreprises drsquoexportation seacuteneacutegalaises leurs besoins eacutetaient pris en compte dans le processus de la Planification Strateacutegique Cependant que ce program soit une reacuteponse au problegraveme perccedilu par les entreprises demeure pas sur car les activiteacutes du programme eacutetait surtout focaliseacute sur le renforcement institutionnelle et moins sur comment les entreprises pourraient utiliser les reacutesultats pour arriver aux outcomes Vu que les entreprises nrsquoeacutetaient pas impliqueacutees au programme leurs besoins nrsquoeacutetaient pas pris en compte lors de lrsquoexeacutecution du programme

Le programme BSOD eacutetait eacutegalement pertinent pour le gouvernement du Seacuteneacutegal Le secteur drsquoexport commenccedilait agrave gagner de lrsquoimportance ainsi que la Gestion Axeacutee sur les Reacutesultats Alors au niveau national eacutegalement il y avait un besoin drsquoavoir des agences capables de donner des services de qualiteacute et qui travaillent selon lrsquoapproche GAR Du point de vu du CBI appuyer le secteur des exportations au Seacuteneacutegal corrobore tregraves logiquement avec le focus du gouvernement neacuteerlandaise sur le deacuteveloppement eacuteconomique et plus speacutecifiquement pour le CBI de promouvoir la perspective drsquoexportation vers lrsquoEurope

712 Efficaciteacute

En termes drsquoefficaciteacute lrsquoeacutevaluation a chercheacute agrave savoir si le programme faisait les bonnes choses et si elles avaient eacuteteacute bien faites Lrsquoassistance technique du BSOD agrave travers les prestataires seacuteneacutegalais a eacuteteacute bien appreacutecieacutee Le deacutemarrage des activiteacutes a connu un peu de retard ducirc au processus de contractualisation de ces prestataires Toutes les activiteacutes ont commenceacute dans la deuxiegraveme moitieacute de 2013 et la plupart a eacuteteacute acheveacutee en 2014 dont lrsquointranet le portail et les activiteacutes de SampE

Apregraves que la plus part des activiteacutes ont eacuteteacute reacutealises la suite des activiteacutes pour atteindre les outcomes a eacuteteacute ralenti Lrsquointranet a eacuteteacute partiellement utiliseacute la livraison des inputs pour le portail eacutetait lent lrsquoameacutelioration des processus sur base des eacutecarts constateacute nrsquoa pas connu beaucoup de suite Egalement les outcomes identifieacutes nrsquoont pas eacuteteacute atteints Lrsquointranet nrsquoest pas utiliseacute par les entreprises pour garder agrave jour leurs donneacutees le portail nrsquoest pas connu ni beaucoup utiliseacute par des entreprises Lrsquoenquecircte faite en 2016 aupregraves des entreprises a montreacute que le portail nrsquoeacutetait pas connu ni utiliseacute par les entreprises La plateforme acheteur ne fonctionne pas drsquoougrave les acheteurs internationaux ne peuvent acceacuteder aux entreprises enregistreacutees dans lrsquoannuaire en ligne La reacuteponse sur la question cleacute de lrsquoeacutevaluation Dans quelle mesure et comment lrsquoimplication du CBI a-trsquoelle contribueacutee au deacuteveloppement institutionnel de lrsquoASEPEX afin de permettre agrave celle-ci drsquoameacuteliorer la capaciteacute des PME agrave exporter dit que les capaciteacutes ont eacuteteacute renforceacutees mais cela nrsquoas pas ameneacute agrave ameacuteliorer les capaciteacutes des PME agrave exporter

Les reacutesultats du BSOD et le non drsquoatteinte des outcomes srsquoexpliquent par plusieurs raisons Premiegraverement lrsquoutilisation des outputs agrave lrsquointerne de lrsquoASEPEX nrsquoa pas eu lrsquoappui et la coordination neacutecessaire Lrsquoorganisation du programme eacutetait faite sous une structure leacutegegravere avec deux personnes chez lrsquoASEPEX qui coordonnait le programme sous le controcircle drsquoun Directeur Geacuteneacuteral tregraves motiveacute Avec le deacutepart drsquoun de ces coordinateurs et de ce DG il eacutetait difficile de continuer agrave motiver et agrave pousser le personnel pour la mise en œuvre du programme La motivation et lrsquoengagement du personnel de continuer lrsquoutilisation des produits du BSOD eacutetait

influenceacutee par ce manque de portage de la nouvelle Direction Geacuteneacuterale Deuxiegravemement dans le programme il manquait des activiteacutes permettant aux entreprises drsquoutiliser les outputs produits Autrement lrsquoanalyse de la theacuteorie du changement a connu un manquement profond pour atteindre les outcomes Aussi les outcomes agrave atteindre nrsquoont pas fait objet des discussions lors des reacuteunions Troisiegravement le setup institutionnel nrsquoeacutetait pas efficace pour atteindre les outcomes sans implication des entreprises Ceci peut ecirctre lieacute au fait que les besoins et reacutesultats internes eacutetaient surtout consideacutereacutes et moins les outcomes agrave atteindre avec les reacutesultats internes

713 Efficience

La qualiteacute des experts locaux eacutetait perccedilue tregraves positive Beaucoup de sujets ont eacuteteacute couverts lors des formations et le program eacutetait ambitieux pour acqueacuterir la certification ISO 9001-8000 Beaucoup drsquoattention et de temps eacutetaient consacreacutes aux activiteacutes surtout les formations et les analyses des processus Mais degraves que ces activiteacutes ont eacuteteacute reacutealiseacutees il nrsquoy a pas eu de suite conseacutequente

Les derniegraveres donneacutees sur lrsquoutilisation du budget nrsquoont pas eacuteteacute mises agrave la disposition des eacutevaluateurs drsquoougrave toute la difficulteacute drsquoeacutevaluer lrsquoefficience du BSOD Une analyse du retour sur lrsquoinvestissement du projet a eacuteteacute difficile agrave faire car les donneacutees complegravetes ne sont pas connues Sur base de donneacutees drsquoOctobre 2014 presque 60 du budget total (euro 157871) eacutetait deacutepenseacute

Lrsquoefficience au niveau de la gestion du projet eacutetait bonne au deacutebut dans le sens ougrave la structure eacutetait leacutegegravere avec deux coordinateurs de lrsquoASEPEX un coordonateur du CBI et un programme manager du CBI En outre lrsquoutilisation des pilotes et copilotes dans le volet de SMQ a eacuteteacute positivement appreacutecieacutee en termes drsquoefficience du projet Cependant le deacutepart des ressources humaines important reacutesultant agrave un seul coordinateur pour le portage et la poursuite des activiteacutes a handicapeacute lrsquoefficience du program Egalement le non implication des entreprises qui eacutetait quand mecircme mentionneacute dans les risques comme lsquole non inteacuterecirct des parties externesrsquo a neacutegativement influenceacute lrsquoefficience du program Car les outcomes nrsquoont pas eacuteteacute eacuteteint

714 Durabiliteacute

La durabiliteacute des reacutesultats pourrait se trouver dans la capaciteacute du personnel de lrsquoASEPEX qui a eacuteteacute renforceacute mecircme si une partie de ce personnel ait quitteacute la boicircte Cependant les activiteacutes proposeacutees pour combler les eacutecarts dans diffeacuterents processus concernant le SMQ nrsquoont pas eacuteteacute reacutealiseacutees Egalement lrsquointranet nrsquoest mecircme pas utiliseacute agrave 50 et le portail nrsquoest pas encore reacuteguliegraverement mis agrave jour

La durabiliteacute des outputs deacutepend du portage de la disponibiliteacute et de la motivation du personnel Le fait que le BSOD soit porteacute depuis 2014 par une seule personne au niveau de lrsquoASEPEX ne favorise pas la durabiliteacute Le risque est eacutegalement que si ce coordonateur ne sera plus la au moment que tout les outputs ne sont pas encore systeacutematiseacute la durabiliteacute sera tregraves peu Egalement les deacutefis de paiement de certaines activiteacutes portaient agrave la durabiliteacute (ex lrsquoheacutebergement du site wwwimportfromsenegalcom)

715 Conclusions - Minimum Quality Norms (MQN)

Les reacutealisations selon les normes minimales de qualiteacute du programme BSOD (octobre 2012)

Tableau Normes minimales de qualiteacute du programme BSOD

Norme minimale

Norme atteinte

Appreacuteciation

Transfert de capaciteacute

Le BSO et le CBI certifient quun minimum de 80 des compeacutetences a eacuteteacute transfeacutereacute

80 100 Le transfert de capaciteacutes par des formations a eacuteteacute reacutealiseacute agrave 100

Utilisation de capaciteacute

Le BSO certifie quun minimum de 60 de la capaciteacute acquise est utiliseacute en pratique

Lrsquoensemble drsquoutilisation des compeacutetences issues des formations coaching et systegravemes eacutetait estimeacute agrave 30 en 2016

Effet de lrsquoutilisation de capaciteacute

60 des utilisateurs clients des services du BSO indiquent que la prestation de services du BSO sest ameacutelioreacutee dans les domaines ougrave CBI a fourni de laide

Le portail donne plus drsquoinformation qursquoavant Mais peu de services sont ameacutelioreacutes agrave part la deacutelivrance de certificat drsquoorigine lrsquoaccueil et la communication

8 Leccedilons apprises et implications pour le soutien futur du CBI dans lrsquoexportation

Ci-dessous un certain nombre de points sont preacutesenteacutes sur ce qui sest bien passeacute et ce qui pourrait ecirctre ameacutelioreacute dans le projet Apregraves ce bref reacutesumeacute les principales leccedilons apprises sont preacutesenteacutees avec un certain nombre dimplications recommandations pour guider la mise en œuvre future du soutien du CBI dans la chaicircne de valeur des exportations

Points positifs

Opportuniteacute drsquoapprentissage pour tout le personnel de lrsquoASEPEX

Outputs reacutealiseacutes

Compeacutetences et deacutevouement des prestataires

Approche et attitude flexible du CBI

Lrsquoanalyse des processus par le personnel formeacute

Motivation au deacutebut du projet

Opportuniteacutes drsquoameacutelioration

Plus drsquoattention aux risques et leur gestion

Plus de reacuteflexion sur lrsquoutilisation des services ameacutelioreacutes par les beacuteneacuteficiaires et que faire dans le programme pour y arriver

Une meilleure structure de coordination au sein de lrsquoASEPEX pour le portage du projet

Combler les eacutecarts des processus analyseacutes

Renforcer les capaciteacutes financiegraveres de lrsquoASEPEX

81 Avoir un Theacuteorie de Changement solide

Chaque intervention a besoin drsquoavoir une base forte avec une vision claire du programme Alors le deacuteveloppement drsquoune theacuteorie du changement est important comme il a eacuteteacute fait pour le programme BSOD Cependant un constat de lrsquoeacutevaluation fut qursquoil y avait un manquement des conditions neacutecessaires drsquoaller des outputs vers lrsquoutilisation par les entreprises exportateurs et les acheteurs internationaux vers la contribution de lrsquoaugmentation de lrsquoexportation au Seacuteneacutegal Egalement les entreprises drsquoexportation nrsquoont pas eacuteteacute impliqueacutees dans la reacuteflexion sur la theacuteorie du changement du BSOD

Recommandations

Faire une analyse profonde des conditions neacutecessaires pour atteindre les outcomes Si lrsquooutcome finale est deacutecideacute il est important drsquoeacutevaluer tout ce qui est neacutecessaire pour y arriver en tenant compte des conditions externes au programme

Impliquer les beacuteneacuteficiaires crsquoest-agrave-dire une repreacutesentation des entreprises exportatrices et des exportateurs internationaux dans la reacuteflexion de la theacuteorie du changement

Garder lrsquoœil sur lrsquooutcome viseacute et le renforcer de temps en temps preacutefeacuterablement lors des reacuteunions avec les acteurs impliqueacutes tels que le comiteacute de direction

82 Srsquoassurer du portage par le montage institutionnel

La reacuteussite de tout projet deacutepend entre autre du montage institutionnel Il est cleacute que ce montage doit avoir une base solide qui contribue au portage par toute lrsquoorganisation pour lrsquoatteinte de lrsquooutcome souhaiteacute Surtout quand le programme demande un changement drsquoattitude comme crsquoeacutetait le cas pour ce BSOD

Recommandations

impliquer les beacuteneacuteficiaires dans un comiteacute de direction Les avantages reacutesident du fait que ccedila donne plus drsquoappropriation du programme ccedila facilite la communication avec les entreprises et ccedila pourrait constituer une forme de maintien drsquointeacuterecirct pour le projet vivant

avoir un coordinateur geacuteneacuteral et des points focaux pour chaque axe Ceci pourrait aider agrave maintenir la continuiteacute dans le programme apregraves avoir exeacutecuteacute les activiteacutes Car crsquoest surtout lrsquoutilisation des outils et le changement de comportement demandeacute qui doit ecirctre accompagneacute Ce rocircle de point focal pourrait donner au personnel qui comprenne bien lrsquoorganisation et qui sont capables de manœuvrer de telle faccedilon que le personnel est impliqueacute pour renforceacutee le portage du program Il faut alors des personnes avec un certain pouvoir dans lrsquoorganisation accompagneacute drsquoune motivation solide pour atteindre le but Une seule personne ne peut pas jouer ce rocircle

Avoir un comiteacute de conseil avec un pouvoir et une motivation solide pour atteindre le but Par exemple avoir une personne expeacuterimenteacutee dans le processus de certification ISO 8000-9001 pourrait aider

Etre plus exigeant du coteacute de CBI quand il nrsquoy a pas de progregraves dans le programme

83 Construire des relations avec des entreprises

Plus drsquoefforts seraient neacutecessaires pour construire des relations efficaces avec les entreprises car crsquoest une condition cleacute pour la reacuteussite du projet La gestion proposeacute de geacuterer ce risque agrave travers une communication reacuteguliegravere nrsquoa pas eacuteteacute efficace

Recommandations

impliquer les entreprises dans la conception du programme mecircme si le programme deacutecoule du plan strateacutegique qui inclue les besoins des beacuteneacuteficiaires En effet le point de vu des beacuteneacuteficiaires est neacutecessaire pour atteindre les objectifs du programme

avoir des repreacutesentations des entreprises dans le Conseil de Direction pour inteacutegrer leurs contributions dans le programme Cela pourrait aussi aider agrave mettre la pression sur la direction de lrsquoASEPEX agrave garder le flow dans le programme et de pousser lrsquoorganisation drsquoaller jusquau bout

84 Mesurer le changement interne

Pour mesurer le progregraves et lrsquoimpact de tout programme drsquointervention la situation de deacutepart doit ecirctre connue Pour un programme focaliseacute sur les capaciteacutes internes lrsquooutil des 5C drsquoailleurs recommandeacute par le CBI peut servir agrave ce but

Recommandations

faire lrsquoanalyse 5C au deacutebut du programme pour avoir la situation de deacutepart et de reacutefeacuterence Il est fondamental que tout le personnel participe agrave cette analyse et que ce nrsquoest pas vu comme un outil de jugement par le bailleur du programme mais comme un outil drsquoapprentissage interne

faire lrsquoanalyse 5C agrave la fin du programme pour pouvoir comparer lrsquoavant et lrsquoapregraves projet

85 Durabiliteacute

Le programme exige un changement de comportement du personnel pour utiliser les produits du programme Il faut du temps pour permettre aux personnes de srsquohabituer agrave une nouvelle approche et des nouveaux outils de travail Dans la conception du BSOD un des risques mentionneacute eacutetait la surcharge de travail du personnel Ca veut dire que si le programme BSOD est perccedilu par le personnel comme quelque chose de suppleacutementaire et que lrsquoavantage que le programme peut avoir pour leur propre travail drsquoabord nrsquoest pas senti il faut donner le temps au personnel et preacutevoir un accompagnement par le programme afin drsquoeffectuer ces changements

Recommandations

srsquoassurer que tout le personnel est impliqueacute dans la conception du programme pour le portage du programme

nommer des champions peacuteriodiquement parmi le personnel Un champion serait par exemple le le staff du mois qui a montreacute un effort drsquoappliquer des outils du programme qui a eu un reacutesultat remarquable qui a une ideacutee innovante pour le programme Cette formule pourrait motiver le personnel

impliquer plus de personnes dans la gestion du portail et srsquoassurer que leurs capaciteacutes sont renforceacutees pour les tacircches correspondantes

augmenter lrsquoappropriation du programme par faire les rapportages de progregraves en franccedilais et en faire des processus participatifs en demandant lrsquoinput de lrsquoASEPEX

ANNEXE 1 BIBLIOGRAPHIE

Documents reccedilus de CBI 1 BSOD ASEPEX Project plan 022013 2 Evaluatie BSOD ASEPEX contactpersonen 3 ITC Final draft-Report Benchmarking ASEPEX 4 List of Institutional Risks 5 ME Verslag ASEPEX Senegal 6 Mission Report Internal Evaluation ASEPEX 18-19 Feb 2016 7 Project Progress Report BSOD ASEPEX Oct 2013 8 Project Progress Report BSOD ASEPEX Sept 2014 9 TdR BSOD Portail Export V10 (2013) 10 TdR BSOD SE (2013) 11 TdR BSOD SMQ 10 (2013-2014) 12 Use of 5C Model within CBI 13 EFECE BSOD Evaluation LatAm Final Report 14 Official CBO response to evaluation report LA def 15 PM manual implementation meso level 16 Rapport des formations de Suivi et Evaluation

Documents reccedilus drsquoASEPEX 17 Dispositif drsquoASEPEX Extrait 18 Guide drsquoutilisation ASEPEX Site des acheteurs 19 LI Asepex Etude de Cas 20 People Input ASEPEX - application mobile 21 People Input ASEPEX ndash benchmark dese best practices web_ASEPEX 22 PI ndash ASEPEX Rubriquage Portail V2 23 PI ndash ASEPEX Rubriquage site acheteurs 24 PI ndash Connection APP ASEPEX meacutethodologie 25 SE_Preacutesentation indicateurs 26 SE presentation module 4 27 SE presentation indicateur 28 SE Rapport sit ref ASEPEX 2014 29 SMQ ASEPX Formation au management des Processus 30 SMQ ASEPEX module formation ISO 9001 version 2008 31 SMQ ASEPEX Pratique drsquoaudit qualitif 32 ASEPEX- Plan strateacutegique de deacuteveloppement mise agrave jour aout 2013 33 Cadre logique ASEPEX 34 Logique drsquointervention ASEPEX 35 Logique drsquointervention ASEPEX 2 36 Plan de suivi final 37 Rapport annuel 2012 MMS 38 TdR situation de reacutefeacuterence 39 Enquete de satisfaction clients 2014 40 Format drsquoenquete de satisfaction 2014 41 Rapport annuel 2012 42 Fiches drsquoanalyses des processus 43 Rapports des audits internes 44 SMQ list de documents codifieacutes

Documents reccedilus drsquoAEC 45 Rapport diagnostic de qualiteacute 2013 46 Cartographie des processus

ANNEXE 2 INFORMATEURS CLEacuteS

Reacuteunions conversations par Skype ou au teacuteleacutephone ndash CBI

Jim Tersteeg ndash CBI Program manager

Peter van Gilst ndash CBI ExpertProgram manager

Joost van der Kooij ndash consultant program XE1 Reacuteunions avec le personnel de lrsquoASEPEX

Mr Bathiel Ciss ndash Seacutecreacutetaire Geacuteneacuterale ASEPEX

Mr Diabel Ndaw ndash Responsable SI et SMQ ASEPEX

Mme Astou Winnie Beye ndash Chef de service COM ASEPEX

Mr Seacuterigne Alioune Diop ndash Chef de service SEEF ASEPEX

Mr Seyid Nour Dine Bangoura ndash Agent DPIEC ASEPEX

Mr Ababacar Fall ndash Agent DAF ASEPEX Converstations par Skype ou au teacuteleacutephone ex-personnel ASEPEX

Mr Mbaye Jean Marie Diouf ndash Seacutecreacutetaire Geacuteneacuteral ADEPME Dakar

Mr Ndiasseacute Ngom ndash Saint Louis

Mme Oulimata Fall Sarr ndash Geneve Reacuteunions avec drsquoacteurs externes

Dr Laurent Sina ndash Consultant Seacutenior AEC Dakar

Mr Ababacar Kane ndash Preacutesident ESMP Dakar

Mr Serigne Barro ndash general manager People Input

Mr Bassirou Tambedou ndash Chief technology officer

Mr Tanoor Dieng ndash membre fondateur BAAMTU

Mme Olimata Sy ndash Agent deacuteveloppeur BAAMTU

Mme Oulimata Diakhateacute ndash Directrice entreprise de peche Saint Louis

Mme Aminata Dominique Diouf ndash Domaine Agricole de Nema Participants atelier 5C et preacutesentation des reacutesultats

Mr Seacuterigne Aliou Diop ndash Chef de service SEEF ASEPEX

Mr Papa Ndieng ndash Chef de service SIEC ASEPEX

Mr Ababacar Fall ndash Agent DAF ASEPEX

Mr Ndeye Thiror Ba ndash Assistent DPIEC

Mr Cheikh Sadibou Fall ndash Responsable pocircle export ASEPEX

Mr Sane Ibrahim ndash Responsable des marcheacutes

Mme Aissatou Fall ndash Agent commercial BAAMTU

Participants atelier Theacuteorie du Changement

Mr Serigne Aliou Diop ndash Chef service SEEF ASEPEX

ANNEXE 3 RESULTATS DE LrsquoATELIER 5C

ANNEXE 4 MATRICE DEVALUATION

Training amp Consultancy

Area of

Inve stiga tion

Main Question from ToR

Sub Questions operationalisati

on Means of Verification

indicators Source Method

1 To what extent did the program me meet the needs of the BSO and the general export environm ent in Senegal

11 To what extent were the competencies to be transferred through the EDEP modules considered relevant by internal and external stakeholders

Degree of interviewed BSO staff (operational level) that mention gt 3 competencies and explain their relevancy in relation to their day-to-day work

BSOD staff (mgt + operational)

Interview guide staff (semi-structured) +scoringrating

TOC workshop ToC workshop guide

Degree of interviewed external stakeholders that state the improved performance of BSO staff and provide gt 2 examples

External stakeholders sector organisations companies (in selected sectors)

Interview guide es + entreprises (semi-structured) +scoringrating

12 To what extent did the combination of EDEP modules address a qualitative need of the BSO and (potential) exporters

Inventory of perceptions of interviewed internal and external stakeholders on the added value of the project

BSOD staff (mgt + operational) Focus on Mgt

Interview guide staff + es (semi-structured) +scoringrating

ToC workshop ToC workshop guide

Interview guide es + entreprises

13 Were sectors and products to be included in the EDEP modules identified in line with BSO and national priorities

Interviewed BSO staff (Mgt) confirm alignment of modules with BSO and national priorities

BSOD staff (Mgt + staff) Focus on Mgt

ToC Workshop ToC workshop guide

The BSOD programme documents shows alignment with policy documents in terms of prioritization

Program documents policy documents

Document review

14 What has been the perceived ownership of the programme

Degree of interviewed BSO staff who cite examples demonstrating ownership of the programme

BSO Staff External stakeholders (exporters producers etc)

Degree of interviewed external stakeholders who can cite examples of demonstrated ownership of the BSOD programme

2 Were the constraint s concernin g the BSO and the export environm ent properly identified and addressed

21 To what extent were BSO organizational development constraints identified in a participatory manner

Degree of interviewed BSO staff that indicate they are satisfied with the identification process of organisational development priorities

BSO staff + CBI Staff + key experts

22 To what extent did choices regarding modules reflect BSOs organizational development priorities

Degree of interviewed BSO staff and management that indicate that the module choice reflect BSOs organisational development priorities

BSO staff and mgt + CBI staff

The BSOD programme documents argument the choice of modules and shows alignment with BSOs organisational development priorities

Document review

Ede August 2017 43

Area of

Inve stiga tion

23 To what extent did the implementation of the identified BSOD modules leave room for changes due to organisational development needs of the BSO that may have risen during the implementation of the programme

Interviewed CBI and BSO staff cite number of examples of programme adjustments during implementation

Interview guide staff amp CBI program team (semi-structured) +scoringrating

24 To what extent has feedback from the export environment regarding perceived relevance of BSO service provision been taken along in adjusting the programme

Inventory of perceptions of interviewed internal stakeholders (CBI key experts + BSO) and BSO clients

CBI experts BSO staff (key informants) clients

5C workshop 5C workshop

3 To what extent was the program me aligned with the policies of CBI and the Netherlan ds Ministry of Foreign Affairs

31 To what extent was the programme aligned with the policies of CBI and the Netherlands Ministry of Foreign Affairs

The BSOD programme documents argument the choice of modules and shows alignment with CBIs and MoFAs policy

Selected policies of MoFA CBI -to be provided by CBI

Document review + interviews

4 To what extent have outputs and outcomes been achieved as defined in the interventi on logic

41 To what extent have the activities been implemented as planned If deviations occurred in the planning why did these occur and what were the consequences of these deviations

Degree of activities as defined in Logframe that has been implemented according to plan time wise

BSO staff (key informants)

Interview guide staff (semi-structured)

Degree of activities as defined in Logframe that has been implemented according to plan content wise

Project Indicators (as in the LF) + Final Report

Document review

Ede August 2017 44

Area of

Inve stiga tion

looking at -activities quality and quantity of service deivery within the program itself -Outputs reduction of capacity constraint s at BSO level -Outcome improvem ents in service delivery of the BSO

42 To what extent have outputs been delivered by CBI become part of the regular organizational processes services provided by the BSO

Degree of interviewed BSO staff that can indicate x number of outputs that have been integrated in the current BSO work processes

BSO staff CBI staff and key experts (for triangulation)

Interview guides (semi-structured)

43 To what extent have BSO services improved as a result of the products delivered by CBI

Assessment of project contribution in light of other organisational development processes

BSO staff Key experts and CBI staff (for triangulation) SMEs

Document review interview guides contribution analysis

44 To what extent has learning supported by CBI led to the adjustment of other BSO products services

Degree of interviewed BSO staff CBI staff and key experts that cite examples of adjustments improvements in key BSO services products

BSO staff Key experts and CBI staff for triangulation) SMEs

Interview guides (semi-structured) ToC contribution analysis

45 To what extent has BSO staff (as well as management) been satisfied with the quality of the service delivery by CBI

Degree of BSO staff and management that indicate satisfaction with CBI support and performance

BSO staff (operational and mgnt)

Interview guides

46 To what extent were the various companies that have used services provided in areas (eg sectors) that received support by CBI appreciative of the support received (as compared to areas where this support was not received)

Perceptions by interviewed BSO staff and clients (SMEs)

BSO staff clients Document review Interview guides

5 Are there any unforesee n (positive or negative) side effects as a

51 Has the programme contributed to organisational changedevelop ment other than foreseen at the start of the programme

Degree of interviewed BSO staff that mention other aspects of change (organisational culture management style processes structure)

BSO staff (operational and mgnt) CBI staff

Interview guides

Ede August 2017 45

Area of

Inve stiga tion

conseque nce of the BSOD program me

52 Has there been any unforeseen change in the BSO environment (eg reaction of external stakeholders) as a consequence of the implementation of the BSOD programme

Examples provided in reports and interviews with BSO staff and clients

Reports + BSO staff + clients

Document review interview guides

6 To what extent can outcomes be attributed to the CBI BSOD program me (attributio n)

61 To what extent has the service delivery in the respective areas improved and can this be attributed to the BSOD outputs

Degree of interviewed BSO staff that mention improved skills in gt 2 service areas

BSO staff + clients + reports

Confirmation triangulation by interviewed clients

7 To what extent can the interventi onrsquos outputs be considere d ldquoaddition alrdquo (Addition ality refers to outputs that would not have been achieved in the market without the program me)

71 Would it have been possible for the BSO to meet its organizational development demand through other sources means in the market (eg Through competitive service providers)

Inventory of other options service providers

BSO staff + overview of market

Inventory of (financial political organisational) possibilities for acquiring organisational support

8 Has the right interventi on strategy been chosen (right

81 To what extent did the chosen intervention strategy meet the BSO needs

Degree of interviewed BSO staff that confirm alignment between BSOD intervention strategy and BSO needs

BSO staff ToC workshop

Interview guides ToC workshop

Ede August 2017 46

Area of

Inve stiga tion

nature and mix of training and consultan cy services)

9 To what extent did the program me adapt to changing external condition s in order to ensure maximum outcomes Are there any external factors that have influence d (either positive or negative) program me implemen tation

91 To what extent have external conditions (political social and economical) changed during the implementation of the programme

Inventory of the political and economic environment during programme implementation

BSO Staff stakeholdersrep orts ToC workshop

Document review interview guides ToC

92 To what extent has this change been discussed and led to adjustments in the programme

Degree of interviewed stakeholders and staff that relate changes to the external environment to adaptations in interventions

BSO Staff stakeholders interviews ToC workshop

Document review interview guidelines ToC workshop

10 To what extent has the program me been managed for not by results

101 To what extent has results information (eg Information regarding the use -and usefulness- of improved competencies in BSO service delivery) been used for adjusting programme activities

Inventory of the feedback loop within the BSO programme (functioning of MampE system)

ToC ndash workshop with BSO staff

102 To what extent has learning taken place questioning the programme results chain

Qualitative information from involved parties evidence from documents - changes in result chains

ToC workshop guide

CBI staff Bso staff

Interview guidelines

Documents Document review

Ede August 2017 47

Area of

Inve stiga tion

11 Quality of the input in terms of knowledg e and skills of the external experts and how it was deployed

111 To what extent did the BSO staff as well as BSO management appreciate the knowledge and skills of the various external experts that provided assistance during the implementation of the programme

Degree of BSO staff that provide positive assessment of external experts

Staff of BSO (operational + mngnt)

12 General planning and organisati on of the program me

121 To what extent did quarterly reports lead to adjustments in the planning of the programme

Degree of BSO staff that confirm relevance and use of quarterly reports and relate them to project management of BSO intervention

Quarterly reports + BSO staff

Document review + interviews guidelines

13 Cost-benefit analysis (deploym ent of inputs versus costs)

131 How much money was used to produce the various outputs in the programme

Relation financial input and output outcome level

Budget AccountsReport s

Document review

132 How many people made use of the various outputs produced in the project (both internal as well as external)

Mapping of users (internal and external)

BSO staff 5C workshop

Document review 5C workshop

14 To what extent have the program me risks effectivel y been managed

141 What external risks (if any) were identified during the implementation of the project (both internal as well as external risks)

Reconstruction of the risks identified at the time

5C workshop with BSO staff

142 How were these risks dealt with (risk owner)

Overview of risk management and measures taken

15 Has the BSO been capable to continue providing products and

151 To what extent have CBI products andor services been incorporated in BSO productsservic es

Inventory of key organisational processes that can be related to BSOD programme

5C Workshop with BSO staff and key informants (clients)

Degree of staff that confirm relation between organisational change and BSO support

Ede August 2017 48

Area of

Inve stiga tion

services or institutio nalize desired organisati onal change as a result of CBI support in capacity developm ent

152 To what extent have these BSO products services improved as a consequence of internal learning (taking into account customer feedback)

Overview of current customer feedback system

5C Workshop with BSO staff and key informants of clients

Document review 5C workshop interview guidelines

16 Are exporters who have received BSO support capable of continuin g their relationsh ips with importers andor develop new relationsh ips with others

161 To what extent do exporters continue developing their exports as a consequence of having received BSO support based on CBI supported BSO products andor services

Overview of current services provided by BSO and relation with perceived relevance by customers

Interview guidelines 5C workshop contribution analysis

162 To what extent can the BSO and local stakeholders sustain the services technology based on their financial and institutional capacity

5C workshop

17 To what extent was and is the program me embedde d in local structures owned by local stakehold ers

171 to what extent are external stakeholders involved in the development and management of the BSOD program

Degree of interviewed external stakeholders indicating their involvement in the developmend and management of the BSOD program

External stakeholders

Ede August 2017 49

ANNEXE 5TERMS OF REFERENCE

Ede August 2017 50

Annex 1 Terms of Reference final version 20170327

Evaluation of BSOD programme ASEPEX in 2017

Introduction

The policy of CBI for the non-integrated programmes is to conduct external

evaluations of its programmes at least one year after completion This reflects the

desire to be accountable for the work the organisation performs and to learn from

past experiences Evaluations are carried out by one or more independent

evaluators in accordance with the guidelines of the IOB (Policy and Operations

Evaluation Department of the Ministry of Foreign Affairs) As is agreed with the

Ministry of Foreign Affairs (MFA) a selection of the finished Business Support

Organisations Development (BSOD) programmes will be evaluated For this round

of evaluations only one BSOD programme is left for evaluation the ASEPEX

programme in Senegal This specific BSOD intervention has been designed and

implemented in Senegal from 2013 to 2015 Recently the country was selected for

the implementation of the CBI Strategic Plan 2016 ndash 2020 Evaluation of the

programme is important in the light of the continuation of activities in this country

and with this BSO Important insights can be gained even more as it is an

example of an LDC and CBI will amplify its activities in this category of countries

Annex 1 provides a brief description of this programme

This Terms of Reference outlines the framework for the evaluation of this

programme known in the CBI registration system as programme 5165 ASEPEX

Institutional Development

Table 1 BSOD programme to be evaluated

Programme BSO Country Modules Start End

5165 ASEPEX Senegal EDEP 01-03-2013 31-12-2015

1 Development and implementation of an intranet application 2 Development

of EXPORT PORTAL SENEGAL 3 Development and implementation of a Quality

Management System 4 Further professionalise the development and

implementation of the Monitoring and Evaluation framework used within ASEPEX

1 Background and context

The Centre for the Promotion of Imports from Developing Countries (CBI) is part

of the Netherlands Enterprise Agency of the Ministry of Economic Affairs (RVOnl)

and is contracted by the Ministry of Foreign Affairs to implement programmes that

aim to contribute to sustainable economic growth in developing countries through

the expansion of export from these countries

One way of achieving this is by offering support to Business Support Organisations

(BSOs) in the countries to expand and improve their services in the field of export

development and promotion in developing countries A BSOD intervention allows a

BSO to position itself in the local market as a lsquopartner of choicersquo for existing and

potential Small and Medium Sized Enterprises (SMErsquos) in their efforts to enter

(new) European or international markets or to expand current exports After

successfully developing or improving its export development and promotion

services for the European market the BSO will also be able to apply the same

approach and develop similar services for other international markets

Each BSOD programme has been designed around a set of objectives specific to

the context and individual BSO These goals and targets are formulated in the

Result Chain This Result Chain forms the basis upon which the interventions

should be assessed The Result Chain of this BSOD programme is included in

annex 2 In addition CBI seeks to analyse the interventions according to the

Minimum Quotation Norms and the 5C model as further explained in section 4

Information on CBI BSOD programmes and their role in institutional

development can be found in annex 3

The BSOD programme under consideration focused on delivering tools to the

organisations development of a new intranet system website development

meant as Export Portal development of a quality management system and further

development of the implementation of their monitoring and evaluation system

CBI didnrsquot provide financial support to obtain computer hard- and software but

provided the technical assistance and resources for capacity building activities

ASEPEX made the investments for the hard- and software

Contacts with ASEPEX date back from 2008 with a Training of the Trainers

experience after which contacts were minimal for some time just until 2012

when with the arrival of a new director contacts were renewed and the

5165 programme was agreed upon The programme was completed in 2015

During the execution of the 5165 programme two new programmes have been

started These are the Integrated Export Development programmes for Fresh Fruit

and Vegetables (XF1) and Natural Ingredients for the Food Pharmaceutical and

Cosmetic Industries (XE1) both run from 2013 to 2017

2 Objective

As stated above the objective of the evaluation is twofold to demonstrate

accountability and to determine what lessons can be learned for future

CBI activities

The first objective accountability means that the evaluation has to provide a

rigorous and objective insight into the extent to which the BSOD programme

has been carried out efficiently and effectively with regards to delivering on its

expected results

The second objective learning means that the evaluation needs to provide insight

into whether and why the BSOD programme approach has been successful in

eliminatingreducing constraints within the targeted export sectors and the extent

to which this has contributed to improving the enabling export environment

In 2012 CBI started the implementation of Integrated Programmes which put the

BSOD development programmes into one coherent programme for a sector in a

country together with activities directed towards companies or government

institutions The BSOD programme due for evaluation with this study is developed

in 2013 when integrated programmes were being developed however this

programme is still developed as an autonomous programme directed towards a

Business Support Organisation only As a consequence outcomes of the learning

objective of this evaluation cannot be directly applied to the current approach Its

findings can however teach lessons for the BSOD interventions that are part of

the current programmes Determinants of success and failure thus need to be

identified and analysed to inform decision-making about the shaping of future

integrated programmes

Senegal the home country of the BSO ASEPEX is qualified as one of the lsquoLess-

developed Countriesrsquo in the world CBI will extend its activities to more LDCs

Working in LDCs requires specific attention points in the programmes as BSOs in

these countries can have typical characteristics for example they dispose of less

resources high staff turnover to name some Also the Government structures in

these countries can show more weaknesses than in Upper and Middle Income

Developing Countries (UMDCs) and pose particular problems to the sector BSOs

The evaluation may shed light on the functioning of a BSO in a LDC what

obstacles it poses and how these may be overcome

CBI is interested in gaining insight into the different approaches it has been

implementing during the past years The central research question for this

evaluation is To what extent and how did CBI involvement contribute to the

institutional development of the BSO in order to this BSO to enhance the capacity

of SMErsquos to export To answer this question the following sub-questions

should be addressed

1 What has changed in the capacity of the organisation

2 How did changes in capacity affect output and outcome

3 How effective was external (CBI) support

4 What can we learn

The evaluation should be based on the OECDDAC evaluation criteria1

Relevance Effectiveness Efficiency Impact and Sustainability and the

extra criterion of Managing for Development Results (MfDR2)

1 Visit httpwwwminbuzanlbijlagenproducten-en-dienstenevaluatieiobiob-evaluation-policy-and-

guidelines-for-evaluationshtml for the full IOB guidelines for evaluation

2 MfDR is a management strategy that focuses on using performance information to improve decision-making For

more information visit httpwwwmfdrorg

3 Expected outputs

The expected output of the evaluation is a user-friendly report that meets the IOB

evaluation criteria and includes

a rigorous assessment of the performance of the BSOD programme in

terms of its efficiency effectiveness and the use of Managing for

Development Results (MfDR) principles

A thorough analysis and assessment of the sustainability level of

attribution additionality and relevance of programme outcomes as well

as the extent to which the intervention has met the targets and goals as

formulated in the LFA of the BSOD programme With sustainability we

refer to the lasting effects the intervention has after the end of the

programme

The Managing for Development Results principles suppose the programme

measured progress continuously and used the results measured to adjust

the implementation of the programme on a regular basis

Insight in lessons learned and local viewsideas regarding the relation

between specific BSOD interventions and outputs This includes

(un)intended positive or negative effects

We expect the contracted party to cooperate with a peer group consisting of Peter

van Gilst Programme Manager of the programme at CBI Diabel Ndaw Project

Manager Information System Quality and Information Monitoring at ASEPEX

Senegal and Ceacutecile Fassaert Programme Manager Monitoring amp Evaluation at CBI

This peer group will assess the proposed methodology evaluation proposal and

the concept of the final evaluation report If needed the contracted party may

request up to two meetings with the peer group during the evaluation period for

quality and continuation purposes The contracting authority (CBI) will decide on

the contracted partyrsquos request prior to approval

4 Approach and evaluation criteria

OECDDAC evaluation criteria

Efficiency Efficiency is about the relationship between input and output The fact

that the results were obtained at reasonable costs ie how well means and

activities were converted into results and the quality of the results achieved

Effectiveness Effectiveness is about the relationship between output and

outcome The extent to which the development interventionrsquos objectives

were achieved or are expected to be achieved taking into account their

relative importance

Relevance The extent to which the objectives of a CBI programme are

consistent with the needs of the exporters and importers BSO and country needs

the priorities of the Ministry of Foreign Affairs and CBI policy

Sustainability The continuation of benefits from a development intervention

after major development assistance has been completed The probability of

continued long-term benefits The resilience to risk of the net benefit flows over

MfDR The principles of MfDR are

focusing the dialogue on results at all phases of the development process

aligning programming monitoring and evaluation with results

keeping measurement and reporting simple

managing for not by results

using results information for learning and decision making

Research questions relating to these criteria are included in Annex 4 A suggestion

for presentation of the results is included in 5

Minimum Quality Norms (MNQs)

CBI and the Netherlands Ministry of Foreign Affairs (MFA) have agreed on three

criteria to measure the minimum quality norms as summarised in table 2 Each

BSOD intervention consists of modules In this programme the module EDEP was

implemented and consisted of the following activities

Develop the content of a new intranet system

Development of a website Development and implementation of a quality management

system according to the ISO 9001-800 standards

Further development of the implementation of their monitoring

and evaluation system

Each activity must be assessed by the Minimum Quality Norms

The minimum quality norms are put in place so that CBI can justify the funding of

these modules This justification entails that they have been properly executed

according to the standards MFA prescribes

The evaluator is expected to design a method that can measure the MQNs This

includes designing (semi-)structured interviews and suitable questions that

measure the extent to which the desired level of the MQNs has been reached

Finally it must be presented in a clear manner in which the results are easy to

interpret

The evaluator is welcome to consult previous BSOD evaluation reports to gain

insight in how the measurement of MQNrsquos has been approached in the past

The report can be sent upon request

Table 2 Minimum quality norms of the BSOD programme

Transfer of the capacity

The BSO and CBI certify that a minimum of 80 of

the competences have been transferred3

Minimum Norm

Use of the capacity

The BSO certifies that a minimum of 60 of the

gained capacity is used in practice

Norm 60

Effect of the use of capacity

60 of the users clients of the services of the

BSO indicate that the service delivery of the BSO

has improved in those areas where CBI has

provided assistance

Norm 60

The exact application of the above may vary from programme to programme

The 5C model

The main objective of a BSOD programme is capacity development of the BSOs in

question One approach to assessing capacity development is the 5C (core

capabilities) model The 5C model is used as a universal tool to establish the

effectiveness of capacity development efforts within Ministry of Foreign Affairs

international cooperation programs

The 5C model looks at organisations as open systems The open-systems

approach offers an endogenous perspective on capacity ndash the way capacity

develops from within ndash rather than merely looking at what outsiders can do to

promote it (figure 1) Almost all organisations are embedded in wider systems

that transcend geographical levels (local national and global) As such

organisations are open systems with permeable boundaries

Figure 2 Organisations as open systems

3 Cert s

reache

The open-systems approach to capacity development has four pillars

Adopting an open-systems view on organisations

Applying a results orientation

Giving full consideration to context

Exploiting both the functional-rational and the political economy aspects of

organisations and change4

Please note that the programmes in question were not designed with the 5C

model in mind Therefore it is not our intention to evaluate them primarily on the

basis of this model The programmes should first be evaluated according to the

objectives as they were defined during the inception phase However we do

believe the 5C analysis can help to offer a broader perspective on the relevance

and effectiveness of our programmes Using the model may also shed light on

effects of the programme which reach further than the objectives of the

programme which may be captured by using a model covering all aspects of an

organisation even though the objectives didnrsquot intend to have an effect on all

these aspects By applying the 5C model we expect to contribute to the learning

objective of this evaluation

5 Methodology

It is expected that the consultant will apply a mix of evaluation methods that do

justice to the dual accountability and learning purpose of the evaluation that

provide both qualitative and quantitative insight in the expected and unexpected

results of the intervention taking into account the principles on which the 5C

model relies

Capacity development is an endogenous process (from within) Capacity development is a continuous non-linear process

Every organisation needs basic capabilities (5 core capabilities)

Organisations are open complex systems Organisations are influenced by several external and internal factors

Organisations are results oriented

The five core capabilities are

Definitions of the 5 Core Capabilities (ECDPM definitions)

a The partner organisation is capable to commit and act5

b The Partner Organisation is capable to deliver on development objectives6

c The partner organisation is capable to relate7

4 Nils Boesen Looking forward a results-oriented model Development Outreach World Bank Institute (September 2005)

5 This core capability is about the capability of the organisation to be conscious and aware of its position in the world to

configure itself to develop its own motivation and commitment and then to act It has a lot to do with attitude and self-

perception It is connected to deeper patterns of behaviours that are partly structural psychological and usually deeply

embedded

6 This core capability is focused on what many see as larger development results organisations are regarded as performance

actors designed to act in accordance with technical and policy rationality The emphasis is on functional instrumental ways of

meeting a set of objectives and fulfilling a mandate

d The partner organisation is capable to adapt and self-renew8

e The partner organisation is capable to achieve coherence9

According to ECDPMrsquos conceptual framework the 5 Core Capabilities have to be strengthened in a consistent and coherent manner in order to strengthen the

organisation in a sustainable way An important principle is that the 5 Crsquos do not stand on their own they are strongly interrelated and each capability is

influenced by the other capabilities

The implementation of the 5C model should be guided by the

following methodological implications

Start from the reality of the organisation understanding local context

Setting of indicators with the organisation Evidence based What have beneficiaries experienced

The consultant will make use of three or more sources of information to verify

and substantiate its assessment (triangulation)

The evaluation methods would need to include both primary and secondary

data collection methods as follows

Desk review

The programme under review BSOD ASEPEX Senegal was restarted in 2013

The consultant will critically review the project plans lsquoProgramme Plan Restart

BSOD ASEPEX Senegalrsquo the programme start documents periodical project

updates annual programme progress reports final programme documents and

the audit report10 The International Trade Centre (ITC) in particular the ITCrsquos

Benchmarking Programme has carried out a study on the performance of the

BSO and produced a report including analysis and recommendations This report

should also be used for the evaluation Based on all this information the

consultant will propose an evaluation matrix11 to be approved by the CBI MampE

manager

Fieldwork data collection

Following the desk review the consultant will conduct interviews with involved

staff (such as CBI programme manager CBI project managers external

consultants and CBI team coordinator) The consultant will also conduct fieldwork

in the programme country and will interview depending on the learning need

beneficiaries and other stakeholders that are involved in the programme value

chain(s)

7 This capability has to do with how to relate and survive within the context and in connection with other actors

consolidating and defending the systemrsquos autonomy functioning and existence as much through the informal and the

intangible as through the formal and the tangible

8 The fourth core capability is about the flexibility to adapt to changing circumstances The pace of change shapes the future of

the tasks facing the organisation or erodes the existing capabilities of those organisations that failed to keep up Learning and

combining short term responsiveness with the ability to focus over the long term are important aspects of this capability

9 The final capability addresses the notion of balancing diversity and coherence and to encourage both stability and innovation

But also balancing the five capabilities

10 The exact reporting structure tends to vary per programme 11An evaluation matrix systematically describes the way in which the researcher plans to provide answers for the key

evaluation questions which facts are collected how are these used to arrive at an assessment of efficiency effectiveness

relevance and susta inability

BSO management and staff including previous staff responsible for

the programme at that time

The BSOrsquos beneficiaries to assess the extent to which the intervention has

met the targets formulated in the LFA and other perceived benefits from CBI

intervention (better services better use of services export growth through

the better functioning of the BSO)

Other chain stakeholders such as ministries financial institutions and

other BSOs

Programme managers and experts that were involved in the programme

The consultant will choose appropriate quantitative andor qualitative data

collection tools depending on the context and the learning need for

example individual interviews focuspeer group discussions or survey using

(semi-) structured (online) questionnaires

In order to reduce costs we suggest that the contracting party hires local

experts to (partially) carry out the fieldwork

6 Deliverables

Full proposal (to be approved by CBI) including a methodological proposal

(max 4 p)

Draft report (see 5 for the indicative structure of the report)

Final report (maximum of 30 pages excluding annexes for

proposed structure see 6)

A debriefing with CBI staff for learning purposes

7 Payment conditions

After delivery of the Draft report the contractor may submit part of the

invoice The final payment will be done after approval of the final report by

the steering committee

Annex 1 Programme restart BSOD ASEPEX Senegal

The reformulation of the BSOD project was conducted during a mission to ASEPEX at the

end of January 2013 During that mission within several meetings with the new director

of ASEPEX and his staff a restart of the BSOD programme was discussed designed and

approved

The BSOD programme is reformulated based on the connection between the new

strategic plan of ASEPEX and the focus on export development and promotion of

Senegalese SMErsquos

Background and objective

In 2011 the last BSOD activities of the preceding BSOD programme were conducted after

which the programme stopped In October 2011 CBI visited the new director of ASEPEX

and during that meeting the director requested to restart the BSOD programme In

November the director visited the CBI in The Hague and plans were made to schedule a

reformulation mission in January A project plan resulted of that mission containing the

activities to be conducted by the CBI in collaboration with ASEPEX and local consultants

The activity areas were based on the strategic plan of ASEPEX Le plan Strateacutegique de

deacuteveloppement de lrsquoASEPEX The activities of the programme were focussed on 4 main

Develop the content of a new intranet system within ASEPEX with specific regard to

the profiling of SMErsquos connected to ASEPEX

Development of a website which on the one hand is linked to the profile database of

the SMErsquos (focussed on buying organisations) and on the other hand can disseminate market information to the SMErsquos

Development and implementation of a quality management system according to the

ISO 9001-800 standards

Further development of the implementation of their monitoring and evaluation system

with a specific focus on the new programmes of the CBI in Senegal lsquoIngreacutedients Naturelsrsquo and lsquoFruits et legumes fraisrsquo

The activities aimed to contribute to the development of ASEPEX as the export promotion

organisation of Senegal and a facilitation of Senegalese SMErsquos in their effort to enter foreign markets Furthermore some of the BSOD activities were linked to the other two

programmes of the CBI in Senegal

The full Programme Plan Restart document is available at CBI office

Annex 2 Result Chain programme 5165 ASEPEX

Appendix II Result Chain

Training

Additional export in sector

SMEsusethenew servicesandproducts

oftheBSO

Developmentand implementationofQMS

Newimproved mdash40sustainableBSO

productsandservicesiiaAfl

Further enhancement 4_ ofuseofMampE

capabiFtiesandfnmtrfr

Worbngwith MampE

Development of Company Senegal Export website profiling

Development of database QMS exporter

BSODevelopmentmodule

Annex 3 CBI ndash Institutional Development

Product name BSOD (regular)

Target group

Selected business support organizations on macro meso andor micro level within the network

of selected export value systems in selected CBI countries

Objective of the product

The BSOD programme contributes to the sustainable development of competitiveness of

SME-exporters and producers in developing countries with a primary focus at European

markets by increasing the impact and added value of the BSO in the value system

Results to be achieved

The moment that the BSOD programme is completed

all relevant competences and tools related to the needs-based CBI knowledge domains

are transferred effectively to and based within the BSO and its network so that the BSO is able to play a pro-active role within the export value system and is able to improve its services continuously based at the needs of its clients

The results to be achieved are dependent on the constraints to export in selected export

sectors and the specific needs of the BSO

The programme must deliver the results within a maximum of 18 expert intervention missions

and by distance coaching and is focused at realizing one or more selected sub-results

Sub-results concerning improved BSO services Developed new products and services or improved existing products and services on

export development and export promotion strategies and export services portfolios

Collaboration models and task division with other service providers in exports these actors can be other BSOs or public and private service providers as well as governmental organizations

Developed services on advising and informing local policy makers with focus on improving the trade promotion climate

Possible interventions in the organizational context in order to achieve the above Improved organizational vision policy strategy structure so that adequate European market

related (sector specific) services can be offered A system of quality assurance for export services that is owned by the recipient organization

(such as manuals developed client feedback processes procedures for internal quality control

) Capacity developed for the creation of sustainable income generation Improved marketing and communication of the services of the BSO to its clients

and stakeholders

Improved competences of the BSO staff concerning strengthening the relations with the target group identification of opportunities for exporters to the European market and competences to deliver quality services in the export value system

A network of local external experts under the umbrella of the BSO Improved capacity and processes for the development and or improvement of services

Indicators

Letter of Commitment developed and approved by BSO and CBI that mentions the results

to achieve effect and impact

A Logical Framework that will be kept up-to-date during the implementation and that

is approved by the BSO

The module is formally completed when the critical activities that are formulated and

mentioned in the LFA are completed within the maximum number of intervention missions

Annex 4 relevant research topics and questions

Efficiency

Quality of the input in terms of knowledge and skills of the external experts

and how it was deployed

General planning and organisation of the programme

Cost ndash benefit analysis (deployment of inputs versus the costs)

To what extent have the programme risks effectively been managed

Effectiveness

To what extent have outputs and outcomes been achieved as defined in

the intervention logic looking at

o Activities quality and quantity of service delivery within the programme

itself

o Outputs reduction of capacity constraints at BSO level and

o Outcome improvements in service delivery of the BSO

Are there any unforeseen (positive or negative) side effects as a consequence of

the BSOD programme

To what extent can outcomes be attributed to the CBI BSOD

programme (attribution)

To what extent can the interventionrsquos outputs be considered ldquoadditionalrdquo (Additionality refers to outputs that would not have been achieved in the

market without the programme)

Has the right intervention strategy been chosen (right nature and mix of

training and consultancy services)

To what extent did the programme adapt to changing external conditions in

order to ensure maximum outcomes Are there any external factors that have

influenced (either positive or negative) programme implementation

To what extent has the programme been managed for not by results

Relevance

To what extent did the programme meet the needs of the BSO and the

general export environment

Were the constraints concerning the BSO and the export environment properly

identified and addressed

To what extent was the programme aligned to the policies of CBI and

the Netherlands Ministry of Foreign Affairs

Sustainability

Has the BSO been capable to continue providing products and services or

institutionalize desired organisational change as a result of CBI support in

capacity development

Are exporters who have received BSO support capable of continuing their

relationships with importers andor develop new relationships with others

To what extent was and is the programme embedded in local structuresowned

by local stakeholders

Annex 5 table for summary of main findings

The following table may be used to summarise the main findings per programme

in relation to the 5 IOB evaluation criteria

CriteriaPhase Design

(satisfactory

less than

satisfactory)

Implementation

(satisfactory

less than

satisfactory)

Follow-up

(satisfactory

less than

satisfactory)

Efficiency

Effectiveness

- output level

- outcome

Impact

Relevance

Sustainability

Managing for

Results

Annex 6 structure of final report (indicative)

Executive summary (maximum of 2 pages)

1 Introduction

11 CBI

12 The Business Support Organisation Development (BSOD

programmes)

13 Evaluating the BSODs

14 Structure of the report

2 Set-up and implementation of evaluation

21 Objective

22 Main research questions

23 Methodology and implementation

24 Limitations

3 Context description (political economic export policies and performance

role of BSOrsquos)

4 Overview of results and conclusions of the programme (Accountability)

41 Introduction

42 Assessment of results per evaluation criteria

421 Relevance

422 Effectiveness

423 Efficiency

424 Impact

425 Sustainability

43 Summary of main findings

5 Major lessons learned

6 Recommendations

Annexes

- List of abbreviations

- Bibliography

- Terms of Reference

- Project team

- Approved Plan of Action

- List of documents consulted during the evaluation

- List of persons participating in the evaluation

This is a publication of

Netherlands Enterprise Agency

Prinses Beatrixlaan 2

PO Box 93144 | 2509 AC The Hague

T +31 (0) 88 042 42 42

E klantcontactrvonl

wwwrvonl

This publication was commissioned by the ministry of Foreign Affairs

copy Netherlands Enterprise Agency | April 2020

Publication number RVO-078-2020RP-INT

NL Enterprise Agency is a department of the Dutch ministry of Economic

Affairs and Climate Policy that implements government policy for

Agricultural sustainability innovation and international business and

cooperation NL Enterprise Agency is the contact point for businesses

educational institutions and government bodies for information and advice

financing networking and regulatory matters

Netherlands Enterprise Agency is part of the ministry of Economic Affairs and

Climate Policy

1 Introduction

5 Le programme BSOD

7 Conclusions

8 Leccedilons apprises et implications pour le soutien futur du CBI danslrsquoexportation

RAPPORT FINALE

Saskia Brand

Jean Michel Sene

telnr +31 318 650060

EXECUTIVE SUMMARY 4

RESUMEacute 7

1 INTRODUCTION 10

Contexte 10

41 Objectifs 11

46 Limites 13

611 Pertinence 19

613 Efficience 28

7 CONCLUSIONS 34

711 Pertinence 34

713 Efficience 35

PI People Input

Executive Summary

Resumeacute

Contexte

Pertinence

Efficaciteacute

Efficience

Durabiliteacute

Limitations

1 Introduction

Contexte

41 Objectifs

Latelier 5C3

46 Limites

5 Le programme BSOD

Si vous avez

611 Pertinence

les ameacuteliorer

612 Efficaciteacute

613 Efficience

0 20000 40000 60000 80000

100000 120000 140000 160000

Budget global

Deacutepenseacute

Portail

SI (un peu moins)

Plus de risque

614 Durabiliteacute

7 Conclusions

711 Pertinence

712 Efficaciteacute

713 Efficience

714 Durabiliteacute

Norme minimale

Norme atteinte

Appreacuteciation

Points positifs

Recommandations

85 Durabiliteacute

Recommandations

Area of

Inve stiga tion

Document review

Ede August 2017 43

Area of

Inve stiga tion

Document review

Ede August 2017 44

Area of

Inve stiga tion

Interview guides

Ede August 2017 45

Area of

Inve stiga tion

Ede August 2017 46

Area of

Inve stiga tion

ToC workshop guide

CBI staff Bso staff

Ede August 2017 47

Area of

Inve stiga tion

Document review

Ede August 2017 48

Area of

Inve stiga tion

5C workshop

Ede August 2017 49

Ede August 2017 50

Introduction

2 Objective

CBI activities

expected results

should be addressed

4 What can we learn

3 Expected outputs

programme

relative importance

interpret

Minimum Norm

Use of the capacity

Norm 60

provided assistance

Norm 60

The 5C model

3 Cert s

reache

5 Methodology

model relies

embedded

Desk review

manager

chain(s)

other BSOs

6 Deliverables

(max 4 p)

approved

Training

oftheBSO

Worbngwith MampE

Target group

and stakeholders

Indicators

Efficiency

Effectiveness

itself

the BSOD programme

Relevance

Sustainability

(satisfactory

less than

satisfactory)

Implementation

(satisfactory

less than

satisfactory)

Follow-up

(satisfactory

less than

satisfactory)

Efficiency

Effectiveness

- output level

- outcome

Impact

Relevance

Sustainability

Managing for

Results

1 Introduction

11 CBI

programmes)

21 Objective

24 Limitations

role of BSOrsquos)

41 Introduction

421 Relevance

422 Effectiveness

423 Efficiency

424 Impact

425 Sustainability

6 Recommendations

Annexes

- Bibliography

- Project team

T +31 (0) 88 042 42 42

E klantcontactrvonl

wwwrvonl

Climate Policy

1 Introduction

5 Le programme BSOD

7 Conclusions

RAPPORT FINALE

Saskia Brand

Jean Michel Sene

telnr +31 318 650060

EXECUTIVE SUMMARY 4

RESUMEacute 7

1 INTRODUCTION 10

Contexte 10

41 Objectifs 11

46 Limites 13

611 Pertinence 19

613 Efficience 28

7 CONCLUSIONS 34

711 Pertinence 34

713 Efficience 35

PI People Input

Executive Summary

Resumeacute

Contexte

Pertinence

Efficaciteacute

Efficience

Durabiliteacute

Limitations

1 Introduction

Contexte

41 Objectifs

Latelier 5C3

46 Limites

5 Le programme BSOD

Si vous avez

611 Pertinence

les ameacuteliorer

612 Efficaciteacute

613 Efficience

0 20000 40000 60000 80000

100000 120000 140000 160000

Budget global

Deacutepenseacute

Portail

SI (un peu moins)

Plus de risque

614 Durabiliteacute

7 Conclusions

711 Pertinence

712 Efficaciteacute

713 Efficience

714 Durabiliteacute

Norme minimale

Norme atteinte

Appreacuteciation

Points positifs

Recommandations

85 Durabiliteacute

Recommandations

Area of

Inve stiga tion

Document review

Ede August 2017 43

Area of

Inve stiga tion

Document review

Ede August 2017 44

Area of

Inve stiga tion

Interview guides

Ede August 2017 45

Area of

Inve stiga tion

Ede August 2017 46

Area of

Inve stiga tion

ToC workshop guide

CBI staff Bso staff

Ede August 2017 47

Area of

Inve stiga tion

Document review

Ede August 2017 48

Area of

Inve stiga tion

5C workshop

Ede August 2017 49

Ede August 2017 50

Introduction

2 Objective

CBI activities

expected results

should be addressed

4 What can we learn

3 Expected outputs

programme

relative importance

interpret

Minimum Norm

Use of the capacity

Norm 60

provided assistance

Norm 60

The 5C model

3 Cert s

reache

5 Methodology

model relies

embedded

Desk review

manager

chain(s)

other BSOs

6 Deliverables

(max 4 p)

approved

Training

oftheBSO

Worbngwith MampE

Target group

and stakeholders

Indicators

Efficiency

Effectiveness

itself

the BSOD programme

Relevance

Sustainability

(satisfactory

less than

satisfactory)

Implementation

(satisfactory

less than

satisfactory)

Follow-up

(satisfactory

less than

satisfactory)

Efficiency

Effectiveness

- output level

- outcome

Impact

Relevance

Sustainability

Managing for

Results

1 Introduction

11 CBI

programmes)

21 Objective

24 Limitations

role of BSOrsquos)

41 Introduction

421 Relevance

422 Effectiveness

423 Efficiency

424 Impact

425 Sustainability

6 Recommendations

Annexes

- Bibliography

- Project team

T +31 (0) 88 042 42 42

E klantcontactrvonl

wwwrvonl

Climate Policy

1 Introduction

5 Le programme BSOD

7 Conclusions

EXECUTIVE SUMMARY 4

RESUMEacute 7

1 INTRODUCTION 10

Contexte 10

41 Objectifs 11

46 Limites 13

611 Pertinence 19

613 Efficience 28

7 CONCLUSIONS 34

711 Pertinence 34

713 Efficience 35

PI People Input

Executive Summary

Resumeacute

Contexte

Pertinence

Efficaciteacute

Efficience

Durabiliteacute

Limitations

1 Introduction

Contexte

41 Objectifs

Latelier 5C3

46 Limites

5 Le programme BSOD

Si vous avez

611 Pertinence

les ameacuteliorer

612 Efficaciteacute

613 Efficience

0 20000 40000 60000 80000

100000 120000 140000 160000

Budget global

Deacutepenseacute

Portail

SI (un peu moins)

Plus de risque

614 Durabiliteacute

7 Conclusions

711 Pertinence

712 Efficaciteacute

713 Efficience

714 Durabiliteacute

Norme minimale

Norme atteinte

Appreacuteciation

Points positifs

Recommandations

85 Durabiliteacute

Recommandations

Area of

Inve stiga tion

Document review

Ede August 2017 43

Area of

Inve stiga tion

Document review

Ede August 2017 44

Area of

Inve stiga tion

Interview guides

Ede August 2017 45

Area of

Inve stiga tion

Ede August 2017 46

Area of

Inve stiga tion

ToC workshop guide

CBI staff Bso staff

Ede August 2017 47

Area of

Inve stiga tion

Document review

Ede August 2017 48

Area of

Inve stiga tion

5C workshop

Ede August 2017 49

Ede August 2017 50

Introduction

2 Objective

CBI activities

expected results

should be addressed

4 What can we learn

3 Expected outputs

programme

relative importance

interpret

Minimum Norm

Use of the capacity

Norm 60

provided assistance

Norm 60

The 5C model

3 Cert s

reache

5 Methodology

model relies

embedded

Desk review

manager

chain(s)

other BSOs

6 Deliverables

(max 4 p)

approved

Training

oftheBSO

Worbngwith MampE

Target group

and stakeholders

Indicators

Efficiency

Effectiveness

itself

the BSOD programme

Relevance

Sustainability

(satisfactory

less than

satisfactory)

Implementation

(satisfactory

less than

satisfactory)

Follow-up

(satisfactory

less than

satisfactory)

Efficiency

Effectiveness

- output level

- outcome

Impact

Relevance

Sustainability

Managing for

Results

1 Introduction

11 CBI

programmes)

21 Objective

24 Limitations

role of BSOrsquos)

41 Introduction

421 Relevance

422 Effectiveness

423 Efficiency

424 Impact

425 Sustainability

6 Recommendations

Annexes

- Bibliography

- Project team

T +31 (0) 88 042 42 42

E klantcontactrvonl

wwwrvonl

Climate Policy

1 Introduction

5 Le programme BSOD

7 Conclusions

PI People Input

Executive Summary

Resumeacute

Contexte

Pertinence

Efficaciteacute

Efficience

Durabiliteacute

Limitations

1 Introduction

Contexte

41 Objectifs

Latelier 5C3

46 Limites

5 Le programme BSOD

Si vous avez

611 Pertinence

les ameacuteliorer

612 Efficaciteacute

613 Efficience

0 20000 40000 60000 80000

100000 120000 140000 160000

Budget global

Deacutepenseacute

Portail

SI (un peu moins)

Plus de risque

614 Durabiliteacute

7 Conclusions

711 Pertinence

712 Efficaciteacute

713 Efficience

714 Durabiliteacute

Norme minimale

Norme atteinte

Appreacuteciation

Points positifs

Recommandations

85 Durabiliteacute

Recommandations

Area of

Inve stiga tion

Document review

Ede August 2017 43

Area of

Inve stiga tion

Document review

Ede August 2017 44

Area of

Inve stiga tion

Interview guides

Ede August 2017 45

Area of

Inve stiga tion

Ede August 2017 46

Area of

Inve stiga tion

ToC workshop guide

CBI staff Bso staff

Ede August 2017 47

Area of

Inve stiga tion

Document review

Ede August 2017 48

Area of

Inve stiga tion

5C workshop

Ede August 2017 49

Ede August 2017 50

Introduction

2 Objective

CBI activities

expected results

should be addressed

4 What can we learn

3 Expected outputs

programme

relative importance

interpret

Minimum Norm

Use of the capacity

Norm 60

provided assistance

Norm 60

The 5C model

3 Cert s

reache

5 Methodology

model relies

embedded

Desk review

manager

chain(s)

other BSOs

6 Deliverables

(max 4 p)

approved

Training

oftheBSO

Worbngwith MampE

Target group

and stakeholders

Indicators

Efficiency

Effectiveness

itself

the BSOD programme

Relevance

Sustainability

(satisfactory

less than

satisfactory)

Implementation

(satisfactory

less than

satisfactory)

Follow-up

(satisfactory

less than

satisfactory)

Efficiency

Effectiveness

- output level

- outcome

Impact

Relevance

Sustainability

Managing for

Results

1 Introduction

11 CBI

programmes)

21 Objective

24 Limitations

role of BSOrsquos)

41 Introduction

421 Relevance

422 Effectiveness

423 Efficiency

424 Impact

425 Sustainability

6 Recommendations

Annexes

- Bibliography

- Project team

T +31 (0) 88 042 42 42

E klantcontactrvonl

wwwrvonl

Climate Policy

1 Introduction

5 Le programme BSOD

7 Conclusions

PI People Input

Executive Summary

Resumeacute

Contexte

Pertinence

Efficaciteacute

Efficience

Durabiliteacute

Limitations

1 Introduction

Contexte

41 Objectifs

Latelier 5C3

46 Limites

5 Le programme BSOD

Si vous avez

611 Pertinence

les ameacuteliorer

612 Efficaciteacute

613 Efficience

0 20000 40000 60000 80000

100000 120000 140000 160000

Budget global

Deacutepenseacute

Portail

SI (un peu moins)

Plus de risque

614 Durabiliteacute

7 Conclusions

711 Pertinence

712 Efficaciteacute

713 Efficience

714 Durabiliteacute

Norme minimale

Norme atteinte

Appreacuteciation

Points positifs

Recommandations

85 Durabiliteacute

Recommandations

Area of

Inve stiga tion

Document review

Ede August 2017 43

Area of

Inve stiga tion

Document review

Ede August 2017 44

Area of

Inve stiga tion

Interview guides

Ede August 2017 45

Area of

Inve stiga tion

Ede August 2017 46

Area of

Inve stiga tion

ToC workshop guide

CBI staff Bso staff

Ede August 2017 47

Area of

Inve stiga tion

Document review

Ede August 2017 48

Area of

Inve stiga tion

5C workshop

Ede August 2017 49

Ede August 2017 50

Introduction

2 Objective

CBI activities

expected results

should be addressed

4 What can we learn

3 Expected outputs

programme

relative importance

interpret

Minimum Norm

Use of the capacity

Norm 60

provided assistance

Norm 60

The 5C model

3 Cert s

reache

5 Methodology

model relies

embedded

Desk review

manager

chain(s)

other BSOs

6 Deliverables

(max 4 p)

approved

Training

oftheBSO

Worbngwith MampE

Target group

and stakeholders

Indicators

Efficiency

Effectiveness

itself

the BSOD programme

Relevance

Sustainability

(satisfactory

less than

satisfactory)

Implementation

(satisfactory

less than

satisfactory)

Follow-up

(satisfactory

less than

satisfactory)

Efficiency

Effectiveness

- output level

- outcome

Impact

Relevance

Sustainability

Managing for

Results

1 Introduction

11 CBI

programmes)

21 Objective

24 Limitations

role of BSOrsquos)

41 Introduction

421 Relevance

422 Effectiveness

423 Efficiency

424 Impact

425 Sustainability

6 Recommendations

Annexes

- Bibliography

- Project team

T +31 (0) 88 042 42 42

E klantcontactrvonl

wwwrvonl

Climate Policy

1 Introduction

5 Le programme BSOD

7 Conclusions

Executive Summary

Resumeacute

Contexte

Pertinence

Efficaciteacute

Efficience

Durabiliteacute

Limitations

1 Introduction

Contexte

41 Objectifs

Latelier 5C3

46 Limites

5 Le programme BSOD

Si vous avez

611 Pertinence

les ameacuteliorer

612 Efficaciteacute

613 Efficience

0 20000 40000 60000 80000

100000 120000 140000 160000

Budget global

Deacutepenseacute

Portail

SI (un peu moins)

Plus de risque

614 Durabiliteacute

7 Conclusions

711 Pertinence

712 Efficaciteacute

713 Efficience

714 Durabiliteacute

Norme minimale

Norme atteinte

Appreacuteciation

Points positifs

Recommandations

85 Durabiliteacute

Recommandations

Area of

Inve stiga tion

Document review

Ede August 2017 43

Area of

Inve stiga tion

Document review

Ede August 2017 44

Area of

Inve stiga tion

Interview guides

Ede August 2017 45

Area of

Inve stiga tion

Ede August 2017 46

Area of

Inve stiga tion

ToC workshop guide

CBI staff Bso staff

Ede August 2017 47

Area of

Inve stiga tion

Document review

Ede August 2017 48

Area of

Inve stiga tion

5C workshop

Ede August 2017 49

Ede August 2017 50

Introduction

2 Objective

CBI activities

expected results

should be addressed

4 What can we learn

3 Expected outputs

programme

relative importance

interpret

Minimum Norm

Use of the capacity

Norm 60

provided assistance

Norm 60

The 5C model

3 Cert s

reache

5 Methodology

model relies

embedded

Desk review

manager

chain(s)

other BSOs

6 Deliverables

(max 4 p)

approved

Training

oftheBSO

Worbngwith MampE

Target group

and stakeholders

Indicators

Efficiency

Effectiveness

itself

the BSOD programme

Relevance

Sustainability

(satisfactory

less than

satisfactory)

Implementation

(satisfactory

less than

satisfactory)

Follow-up

(satisfactory

less than

satisfactory)

Efficiency

Effectiveness

- output level

- outcome

Impact

Relevance

Sustainability

Managing for

Results

1 Introduction

11 CBI

programmes)

21 Objective

24 Limitations

role of BSOrsquos)

41 Introduction

421 Relevance

422 Effectiveness

423 Efficiency

424 Impact

425 Sustainability

6 Recommendations

Annexes

- Bibliography

- Project team

T +31 (0) 88 042 42 42

E klantcontactrvonl

wwwrvonl

Climate Policy

1 Introduction

5 Le programme BSOD

7 Conclusions

Resumeacute

Contexte

Pertinence

Efficaciteacute

Efficience

Durabiliteacute

Limitations

1 Introduction

Contexte

41 Objectifs

Latelier 5C3

46 Limites

5 Le programme BSOD

Si vous avez

611 Pertinence

les ameacuteliorer

612 Efficaciteacute

613 Efficience

0 20000 40000 60000 80000

100000 120000 140000 160000

Budget global

Deacutepenseacute

Portail

SI (un peu moins)

Plus de risque

614 Durabiliteacute

7 Conclusions

711 Pertinence

712 Efficaciteacute

713 Efficience

714 Durabiliteacute

Norme minimale

Norme atteinte

Appreacuteciation

Points positifs

Recommandations

85 Durabiliteacute

Recommandations

Area of

Inve stiga tion

Document review

Ede August 2017 43

Area of

Inve stiga tion

Document review

Ede August 2017 44

Area of

Inve stiga tion

Interview guides

Ede August 2017 45

Area of

Inve stiga tion

Ede August 2017 46

Area of

Inve stiga tion

ToC workshop guide

CBI staff Bso staff

Ede August 2017 47

Area of

Inve stiga tion

Document review

Ede August 2017 48

Area of

Inve stiga tion

5C workshop

Ede August 2017 49

Ede August 2017 50

Introduction

2 Objective

CBI activities

expected results

should be addressed

4 What can we learn

3 Expected outputs

programme

relative importance

interpret

Minimum Norm

Use of the capacity

Norm 60

provided assistance

Norm 60

The 5C model

3 Cert s

reache

5 Methodology

model relies

embedded

Desk review

manager

chain(s)

other BSOs

6 Deliverables

(max 4 p)

approved

Training

oftheBSO

Worbngwith MampE

Target group

and stakeholders

Indicators

Efficiency

Effectiveness

itself

the BSOD programme

Relevance

Sustainability

(satisfactory

less than

satisfactory)

Implementation

(satisfactory

less than

satisfactory)

Follow-up

(satisfactory

less than

satisfactory)

Efficiency

Effectiveness

- output level

- outcome

Impact

Relevance

Sustainability

Managing for

Results

1 Introduction

11 CBI

programmes)

21 Objective

24 Limitations

role of BSOrsquos)

41 Introduction

421 Relevance

422 Effectiveness

423 Efficiency

424 Impact

425 Sustainability

6 Recommendations

Annexes

- Bibliography

- Project team

T +31 (0) 88 042 42 42

E klantcontactrvonl

wwwrvonl

Climate Policy

1 Introduction

5 Le programme BSOD

7 Conclusions

Resumeacute

Contexte

Pertinence

Efficaciteacute

Efficience

Durabiliteacute

Limitations

1 Introduction

Contexte

41 Objectifs

Latelier 5C3

46 Limites

5 Le programme BSOD

Si vous avez

611 Pertinence

les ameacuteliorer

612 Efficaciteacute

613 Efficience

0 20000 40000 60000 80000

100000 120000 140000 160000

Budget global

Deacutepenseacute

Portail

SI (un peu moins)

Plus de risque

614 Durabiliteacute

7 Conclusions

711 Pertinence

712 Efficaciteacute

713 Efficience

714 Durabiliteacute

Norme minimale

Norme atteinte

Appreacuteciation

Points positifs

Recommandations

85 Durabiliteacute

Recommandations

Area of

Inve stiga tion

Document review

Ede August 2017 43

Area of

Inve stiga tion

Document review

Ede August 2017 44

Area of

Inve stiga tion

Interview guides

Ede August 2017 45

Area of

Inve stiga tion

Ede August 2017 46

Area of

Inve stiga tion

ToC workshop guide

CBI staff Bso staff

Ede August 2017 47

Area of

Inve stiga tion

Document review

Ede August 2017 48

Area of

Inve stiga tion

5C workshop

Ede August 2017 49

Ede August 2017 50

Introduction

2 Objective

CBI activities

expected results

should be addressed

4 What can we learn

3 Expected outputs

programme

relative importance

interpret

Minimum Norm

Use of the capacity

Norm 60

provided assistance

Norm 60

The 5C model

3 Cert s

reache

5 Methodology

model relies

embedded

Desk review

manager

chain(s)

other BSOs

6 Deliverables

(max 4 p)

approved

Training

oftheBSO

Worbngwith MampE

Target group

and stakeholders

Indicators

Efficiency

Effectiveness

itself

the BSOD programme

Relevance

Sustainability

(satisfactory

less than

satisfactory)

Implementation

(satisfactory

less than

satisfactory)

Follow-up

(satisfactory

less than

satisfactory)

Efficiency

Effectiveness

- output level

- outcome

Impact

Relevance

Sustainability

Managing for

Results

1 Introduction

11 CBI

programmes)

21 Objective

24 Limitations

role of BSOrsquos)

41 Introduction

421 Relevance

422 Effectiveness

423 Efficiency

424 Impact

425 Sustainability

6 Recommendations

Annexes

- Bibliography

- Project team

T +31 (0) 88 042 42 42

E klantcontactrvonl

wwwrvonl

Climate Policy

1 Introduction

5 Le programme BSOD

7 Conclusions

Resumeacute

Contexte

Pertinence

Efficaciteacute

Efficience

Durabiliteacute

Limitations

1 Introduction

Contexte

41 Objectifs

Latelier 5C3

46 Limites

5 Le programme BSOD

Si vous avez

611 Pertinence

les ameacuteliorer

612 Efficaciteacute

613 Efficience

0 20000 40000 60000 80000

100000 120000 140000 160000

Budget global

Deacutepenseacute

Portail

SI (un peu moins)

Plus de risque

614 Durabiliteacute

7 Conclusions

711 Pertinence

712 Efficaciteacute

713 Efficience

714 Durabiliteacute

Norme minimale

Norme atteinte

Appreacuteciation

Points positifs

Recommandations

85 Durabiliteacute

Recommandations

Area of

Inve stiga tion

Document review

Ede August 2017 43

Area of

Inve stiga tion

Document review

Ede August 2017 44

Area of

Inve stiga tion

Interview guides

Ede August 2017 45

Area of

Inve stiga tion

Ede August 2017 46

Area of

Inve stiga tion

ToC workshop guide

CBI staff Bso staff

Ede August 2017 47

Area of

Inve stiga tion

Document review

Ede August 2017 48

Area of

Inve stiga tion

5C workshop

Ede August 2017 49

Ede August 2017 50

Introduction

2 Objective

CBI activities

expected results

should be addressed

4 What can we learn

3 Expected outputs

programme

relative importance

interpret

Minimum Norm

Use of the capacity

Norm 60

provided assistance

Norm 60

The 5C model

3 Cert s

reache

5 Methodology

model relies

embedded

Desk review

manager

chain(s)

other BSOs

6 Deliverables

(max 4 p)

approved

Training

oftheBSO

Worbngwith MampE

Target group

and stakeholders

Indicators

Efficiency

Effectiveness

itself

the BSOD programme

Relevance

Sustainability

(satisfactory

less than

satisfactory)

Implementation

(satisfactory

less than

satisfactory)

Follow-up

(satisfactory

less than

satisfactory)

Efficiency

Effectiveness

- output level

- outcome

Impact

Relevance

Sustainability

Managing for

Results

1 Introduction

11 CBI

programmes)

21 Objective

24 Limitations

role of BSOrsquos)

41 Introduction

421 Relevance

422 Effectiveness

423 Efficiency

424 Impact

425 Sustainability

6 Recommendations

Annexes

- Bibliography

- Project team

T +31 (0) 88 042 42 42

E klantcontactrvonl

wwwrvonl

Climate Policy

1 Introduction

5 Le programme BSOD

7 Conclusions

Efficaciteacute

Efficience

Durabiliteacute

Limitations

1 Introduction

Contexte

41 Objectifs

Latelier 5C3

46 Limites

5 Le programme BSOD

Si vous avez

611 Pertinence

les ameacuteliorer

612 Efficaciteacute

613 Efficience

0 20000 40000 60000 80000

100000 120000 140000 160000

Budget global

Deacutepenseacute

Portail

SI (un peu moins)

Plus de risque

614 Durabiliteacute

7 Conclusions

711 Pertinence

712 Efficaciteacute

713 Efficience

714 Durabiliteacute

Norme minimale

Norme atteinte

Appreacuteciation

Points positifs

Recommandations

85 Durabiliteacute

Recommandations

Area of

Inve stiga tion

Document review

Ede August 2017 43

Area of

Inve stiga tion

Document review

Ede August 2017 44

Area of

Inve stiga tion

Interview guides

Ede August 2017 45

Area of

Inve stiga tion

Ede August 2017 46

Area of

Inve stiga tion

ToC workshop guide

CBI staff Bso staff

Ede August 2017 47

Area of

Inve stiga tion

Document review

Ede August 2017 48

Area of

Inve stiga tion

5C workshop

Ede August 2017 49

Ede August 2017 50

Introduction

2 Objective

CBI activities

expected results

should be addressed

4 What can we learn

3 Expected outputs

programme

relative importance

interpret

Minimum Norm

Use of the capacity

Norm 60

provided assistance

Norm 60

The 5C model

3 Cert s

reache

5 Methodology

model relies

embedded

Desk review

manager

chain(s)

other BSOs

6 Deliverables

(max 4 p)

approved

Training

oftheBSO

Worbngwith MampE

Target group

and stakeholders

Indicators

Efficiency

Effectiveness

itself

the BSOD programme

Relevance

Sustainability

(satisfactory

less than

satisfactory)

Implementation

(satisfactory

less than

satisfactory)

Follow-up

(satisfactory

less than

satisfactory)

Efficiency

Effectiveness

- output level

- outcome

Impact

Relevance

Sustainability

Managing for

Results

1 Introduction

11 CBI

programmes)

21 Objective

24 Limitations

role of BSOrsquos)

41 Introduction

421 Relevance

422 Effectiveness

423 Efficiency

424 Impact

425 Sustainability

6 Recommendations

Annexes

- Bibliography

- Project team

T +31 (0) 88 042 42 42

E klantcontactrvonl

wwwrvonl

Climate Policy

1 Introduction

5 Le programme BSOD

7 Conclusions