Ingénierie des dispositifs de formation à l’international · 2014. 5. 28. · 6ème journées d’études « Ingénieries des dispositif de formation à l’International »,

6ème journées d’études « Ingénieries des dispositif de formation à l’International », 11-12 octobre 2001 -- 11--

Direction générale de la coopération internationale et du développement

Ingénierie des dispositifs de formation à l’international

EEEvvvaaallluuueeerrr llleeesss ppprrrooojjjeeetttsss dddeee cccrrréééaaatttiiiooonnn ooouuu dddeee rrrééénnnooovvvaaatttiiiooonnn

dddeeesss dddiiissspppooosssiiitttiiifffsss dddeee fffooorrrmmmaaatttiiiooonnn aaagggrrriiicccooollleee eeettt aaagggrrroooaaallliiimmmeeennntttaaaiiirrreee

A C T E S

Sixièmes journées d’études 11 - 12 octobre 2001

Agropolis-International – Montpellier - France

Avec la collaboration de


Sommaire

Liste des acronymes 5 Problématique et objectifs 7 Programme 8 Jeudi 11 octobre 2001 11 Ouverture des 6èmes Journées (G. BRINGUIER, CNEARC) 13 Allocution de bienvenue (M. WEISS, Agropolis) 15

Conférence « Les évaluations de projets internationaux de formation » :

− « Exigence d’évaluations et exigences de l’évaluation » (R. MABIT)

17

− « L’évaluation des Projets de Formations à la Banque Mondiale » (L. COLINET) 23

− « Les évaluations de projets internationaux de formation » (M. CHARLOT) 27

− « Stratégie d’intervention de l’AFD dans le domaine de la formation professionnelle » (A. WIDMAIER) 29 Vendredi 12 octobre 2001 31 Présentation de la synthèse des contributions écrites parvenues au secrétariat des journées d’études (A. MARAGNANI) 33

Restitution des ateliers :

− 1 : « Evaluation des apprentissages dans le cadre du projet d’appui au système éducatif en Côte d’Ivoire » 35

− 2 : « Evaluation du PTFE (Nabong, Laos)» 35

− 3 : « L’école andoranne : de l’évaluation à la prospective » 41

− 4 : « Evaluation du projet MANFORME en Tunisie » 43

− 5 : « Evaluation de l’EIER – ESTHER de Ouagadougou » 45 Synthèse des ateliers : « Décalage de sens : couples infernaux et redoutables » (R. COUDRAY) 47 Conférence « Normalisation – Démarche qualité et évaluation » (L. CAMBEROU) 49 Présentation d’une grille de conduite de projet de formation (P. DEBOUVRY, A.-M. GRANIE, G. GABORIAUD, A. MARAGNANI, D. RAGOT) 53 Table ronde « Avec qui, quand et comment évaluer les projets internationaux de formation ?» 55 Clôture des 6èmes journées (G. MATHERON, Agropolis) 65

Annexes Annexe 1 : Eléments d’une démarche d’ingénierie des dispositions de formation agricole… 69 Annexe 2 : Bibliothèque en ingénierie des dispositifs de formation – Agropolis – 73 Liste des participants classée par ordre alphabétique 77


Liste des acronymes AFNOR : Association Française de NORmalisation AFD : Agence Française de Développement AFDI : Association Française pour le Développement International ANDA : Association Nationale pour le Développement Agricole AGROMIP : pôle agronomique de Toulouse CCADIFA : Centre Comtois Audiovisuel Documentation Ingénierie de Formation Agricole CCL : Comité de Coopération avec le Laos CEP : Centre d’Expérimentation Pédagogique (Florac) CFPPA : Centre de Formation Professionnelle et de Promotion Agricoles CIEP : Centre International d'Etudes Pédagogiques CIRAD : Centre de Coopération Internationale en Recherche Agronomique pour le Développement CNEARC : Centre National d'Etudes Agronomiques des Régions Chaudes CNEAP : Centre National d’Enseignement Agricole Privé COPERCI : Comité Permanent de Coordination des Inspections CREUFOP : Centre Régional Universitaire de Formation Permanente CSIRO : Commonwealth Scientific and Industrial Research Organization DCT : Direction Générale de la Coopération Technique DGER : Direction Générale de l’Enseignement et de la Recherche DGCID: Direction Générale de la Coopération Internationale et du Développement DPEI : Direction des Politiques Economique et Internationale DRAF : Direction Régionale de l’Agriculture et de la Forêt DRIF : Délégué Régional Ingénierie de Formation EDA : Echelle de Degré d’Acquisition EIER : Ecole inter-états des Ingénieurs de l'Equipement Rural EMBRAPA : EMpresa BRasileira de Pesquisa Agropecuária ENESAD : Etablissement National d'Enseignement Supérieur Agronomique de Dijon ENFA : Ecole Nationale de Formation Agronomique ENGREF : Ecole Nationale du Génie Rural des Eaux et des Forêts ENITA : Ecole Nationale d’Ingénieurs des Travaux Agricoles ENITIAA : Ecole Nationale des Ingénieurs des Techniques des Industries Agricoles et Alimentaires ENSIA/SIARC : École Nationale Supérieure des Industries Agricoles et Alimentaires ENSA : École Nationale Supérieure Agronomique ENVT : Ecole Nationale Vétérinaire de Toulouse EPLEA : Etablissement Public Local d’Enseignement Agricole ESTER : Ecole des Techniciens Supérieurs de l'Hydraulique et de l'Equipement Rural FAFSEA : Fonds Assurance Formation des Salariés d’Exploitations Agricoles FEOGA : Fonds Européen d'Orientation et de Garantie Agricole GCIAR : Groupe Consultatif Recherche Agricole Internationale GRET : Groupe de Recherche et d’Echanges Technologiques IPE : Institut International de Planification de l’Education INIBAP : International Network for the Improvement of Banana and Plantain IRAM : Institut de Recherches et d’Application des Méthodes de Développement IRD : Institut de Recherche pour le Développement LEGTA : Lycée d'Enseignement Général et Technologique Agricole MAE : Ministère des Affaires Etrangères MAP : Ministère de l’Agriculture et de la Pêche MEN : Ministère de l’Education Nationale MFPE : Ministère de la Formation Professionnelle et de l’Emploi NATURA : Network of european Agricultural (Tropically and subtropically oriented) Universities and scientific complexes Related with Agricultural development OCAM : Organisation Commune Africaine et Malgache OCDE : Organisation de Coopération et de Développement Economique OILB : Organisation Internationale de l’Agriculture Biologique PASEF : Projet d’Appui au Secteur Education PECO : Pays d'Europe Centrale et Orientale PNUD : Programme des Nations Unies pour le Développement PTFE : Projet de Transformation de l’Ecole supérieure SFE : Société Française de l’Evaluation SRFD : Service Régional de la Formation et du Développement UE : Union Européenne UNESCO : United Nations Educational, Scientific and Cultural Organisation USDA : United States Department of Agriculture WBI : Institut de la Banque Mondiale


6èmes Journées d’Etudes

Ingénierie des dispositifs de formation à l’international PROBLEMATIQUE

Le ministère de l’Agriculture et de la Pêche et Agropolis se sont proposés depuis 1995, au travers la réalisation de journées d’études, d’analyser, de capitaliser et de structurer l’expérience acquise à l’international dans le domaine de l’expertise, du conseil et de l’appui à la création et la rénovation de dispositifs de formation agricole.

La réflexion conduite au cours des journées d’études précédentes s’était centrée sur le champ de la démarche d’ingénierie des dispositifs de formation et ses éléments clefs, l’identification de la demande internationale et les caractéristiques de l’offre française. Le développement des activités d’expertise et de conseil pour la création et la rénovation de dispositifs de formation exige parallèlement la prise en compte de l’évaluation dans la conduite de projets de formation, évaluation d’un contexte dans lequel un projet est à réaliser, suivi évaluation en cours de projet et évaluation des effets du projet après sa réalisation.

OBJECTIFS Les objectifs généraux des journées d’études sont de :

− renforcer les compétences d’expertise à l’international des participants ; − développer des réseaux dans l'espace européen et international ; − capitaliser les expériences et les pratiques d’ingénierie.

Ces objectifs sont complétés en 2001 par les objectifs spécifiques suivants :

− informer sur la place et le rôle des évaluations dans les institutions et programmes internationaux ; − développer une culture de l’évaluation parmi les participants comme un des éléments de tout projet de

formation à l’international ; − élaborer des références en matière d’évaluation à travers la rédaction de contributions et la conduite

d’ateliers d’études de cas. PUBLIC

Toute personne participant à des activités internationales de conseil, d’expertise, d’appui, de formation, pour la création ou la rénovation de dispositifs de formations agricoles et agroalimentaires, ou l’accompagnement de projets de développement rural.

COMITE DE PILOTAGE BREMARD Allain - SRFD Picardie, BROCHET Michel – CNEARC, CHARLOT Michel - Ministère de l’Agriculture et de la Pêche, DA DALT Bernard - Ministère des Affaires Etrangères, GASPERINI Lavinia – FAO, GIROUX François - ENSIA/SIARC, LATHAM Marc – Agropolis, MARAGNANI Alain - Inspection de l’enseignement agricole, METGE Jean – ENFA, SOUFFLET Jean-François – ENESAD, WEISS MARTIN - Agropolis. Coordination : MARAGNANI Alain : Tél. +33 (0)4.67.61.70.18, Fax. +33 (0)4.67.61.70.18, [email protected] WEISS Martin : Tél. +33 (0)4.67.04.75.76, Fax. +33 (0)4.67.04.75.99, [email protected] Logistique : SOUDAIS Claudine Agropolis - Avenue Agropolis - 34394 Montpellier Cedex 5 Tél : +33 (0)4.67.04.75.68 – Fax : +33 (0)4.67.04.75.99, [email protected]


Programme des 6èmes Journées d’Etudes Ingénierie des dispositifs de formation à l’international

Jeudi 11 octobre 2001

09h00 Ouverture des journées : Accueil des participants, remise des documents 09h30 Présidence : Guy BRINGUIER - CNEARC

Allocution d’ouverture : Martin WEISS – Agropolis.

10h00 Conférences : «Le rôle et la place des évaluations dans la conduite de projets internationaux de formation » 1. René MABIT – ministère de l’Agriculture et de la Pêche (IGA) 2. Laurence COLINET -Banque Mondiale 3. Michel CHARLOT - ministère de l’Agriculture et de la Pêche (DGER/FOPDAC) 4. Alain WIDMAIER - Agence Française de Développement.

14h30 Etudes de cas en ateliers : «Les évaluations de projets internationaux de formation »

1. Sadika BENSLIMANE - Centre International d’Etudes Pédagogiques (MEN) : Evaluation des apprentissages dans le cadre du projet d’appui au système éducatif de la Côte d’Ivoire 2. Christian DESSALLIEN, expert indépendant : Evaluation du projet de faculté agronomique de Nabong au Laos 3. Jean-Louis HERMEN - Université des Sciences Sociales Toulouse I et Bernard MONDY, Ecole Nationale de Formation Agronomique : Evaluation du système éducatif andorran 4. Pierre RUNNER - Institut International de Planification de l’Education (UNESCO) : Evaluation du programme Manforme en Tunisie 5. Benoît THERY - Théry International Management : Evaluation de l’EIER ETSHER de Ouagadougou

16h30 Etudes de cas en ateliers : «Les évaluations de projets internationaux de formation » 18h30 Activités proposées aux participants :

Visite d’Agropolis-Museum Présentation d’actions internationales par le CNEARC Présentation du réseau d’experts du ministère de l’Agriculture et de la Pêche Res’Expert par la DPEI


Vendredi 12 octobre 2001

09h00 Présentation de la synthèse des contributions écrites parvenues au secrétariat des

journées d’études : Alain MARAGNANI, Inspecteur de l’Enseignement Agricole. 09h15 Bilan des ateliers, synthèse : René COUDRAY - ENESAD

avec des représentants de chacun des ateliers : 1. Yvan GUIRONNET - CFFPA Carmejane 2. Dominique MATHIAS - ENSIA-SIARC 3. Paule DUPIN – DRIF 4. Jean METGE – ENFA 5. Louis DUPUY – CNEARC.

10h00 Président de séance : Hassine BOUZOUITA - Agence pour la Vulgarisation et la Formation Agricoles, Tunisie.

Conférence : « Normalisation, démarche qualité et évaluation »

Laurent CAMBEROU - AFNOR. Présentation d’une grille de conduite de projet de formation membres du groupe de travail MAE/MAP :

Pierre DEBOUVRY - expert indépendant, Anne-Marie GRANIE - ENFA, Gérard GABORIAUD - FAFSEA, Alain MARAGNANI - IEA, Dominique RAGOT - CCADIFA.

14h30 Table ronde : « Avec qui, quand et comment évaluer les projets internationaux

de formation ? » animateur : Jean-Yves MALEGEANT - ENITIAA intervenants des ateliers :

1. Sadika BENSLIMANE – CIEP 2. Christian DESSALLIEN - expert indépendant 3. Pierre RUNNER - IIPE-UNESCO 4. Benoît THERY - expert indépendant.

16h00 Allocution de clôture par Gérard MATHERON, Président d’Agropolis.


Jeudi 11 octobre 2001


Ouverture des 6èmes Journées d’Etudes

Ingénierie des dispositifs de Formation à l’International

Guy BRINGUIER Directeur du Centre National d’Etudes Agronomiques des Régions Chaudes (CNEARC)

uy BRINGUIER, le nouveau directeur du CNEARC souligne que son établissement est particulièrement intéressé par la thématique des journées car cela correspond aux activités développées par l’établissement

Il excuse Lavinia GA SPERINI, fonctionnaire principale pour l’éducation agricole et le développement rural au Service de l’éducation, de la vulgarisation et de la communication à la Direction du développement durable de la FAO qui nous a fait savoir que suite « à des imprévus dans la planification du travail de notre groupe de l'éducation, je ne pourrai assister à la réunion des Journées d'études de 11 et 12 octobre à Montpellier. J'aimerais que soient transmis mes souhaits de succès à tous les organisateurs et participants »

Il excuse également l’absence de Jean-Pierre LAFON, chef du Bureau de la formation professionnelle et de l'enseignement technique au ministère des Affaires étrangères suite à une convocation de dernière minute de son Directeur Général.

Il présente les différents intervenants de la matinée :

− René MABIT, Inspecteur Général de l’Agriculture, qui a animé un groupe de travail du Comité Permanent de Coordination des Inspections (COPERCI) et qui vient de rendre un rapport en juillet 2001 sur le thème « Pour une bonne pratique de l’évaluation » ;

− Laurence COLINET , qui était jusqu’en août 2001 « Evaluation Officer » à l’Unité d’évaluation de l’Institut de la Banque Mondiale ;

− Michel CHARLOT, le nouveau chef du Bureau coopération Internationale à la sous-direction de la Formation professionnelle, des actions de développement et de la coopération internationale des établissements (FOPDAC) de la DGER au ministère de l’Agriculture et de la Pêche ;

− Alain WIDMAIER , enfin, qui est Responsable Ressource humaines et formation professionnelle, au Département méditerranée de l’Agence Française de Développement, il suit plus particulièrement les questions de la formation professionnelle et de l’enseignement technique.

G


Allocution de bienvenue des 6èmes Journées d’Etudes Ingénierie des dispositifs

de Formation à l’International

Martin WEISS Secrétaire Général d’Agropolis

n tant que représentant d’Agropolis, je vous souhaite tout d’abord la bienvenue. Je donnerai un bref aperçu sur le rôle d’Agropolis, essentiellement pour ceux d’entre vous qui se joignent pour la première fois à nos

travaux sur « l’Ingénierie des dispositifs de formations à l’international ». Je rappellerai ensuite les objectifs et résultats de nos travaux précédents et évoquerai quelques pistes pour l’avenir. AGROPOLIS

− La communauté scientifique Agropolis comprend près de 3000 chercheurs et enseignants, 10000 si l’on ajoute les étudiants et stagiaires. La mission de cette communauté est de contribuer par la recherche et la formation au développement économique et social des régions chaudes. Les compétences scientifiques de la communauté correspondent à de grand enjeux du développement : la gestion des ressources non renouvelables, les sciences du vivant, la génomique, les biotechnologies, l’alimentation et les relations avec la santé humaine, la protection des cultures, la gestion des espaces naturels et cultivés…

− L’Association Agropolis a pour membres les établissements de recherche et de formation de la région Languedoc-Roussillon, les collectivités territoriales locales et diverses structures privées ainsi que des organismes étrangers (CSIRO, Australie ; USDA, Etats Unis d’Amérique ; EMBRAPA, Brésil) et internationaux (INIBAP, ICRA…).

o l’Association Agropolis accompagne les politiques de ses membres et contribue à la lisibilité et à la promotion de leurs compétences. Ses membres, mais aussi leurs tutelles, lui donnent mandat pour l’initiation des projets inter-institutionnels. Comme par exemple : la plate-forme des recherches avancées (réalisée avec le concours du Ministère de la Recherche, du Ministère des Affaires Etrangères et du GCIAR) et dont l’objectif est d’accueillir des chercheurs étrangers, notamment du Sud, conduisant des programmes de recherche d’intérêt commun avec nos organismes membres ;

o de plus, l’Association Agropolis offre également des services à ses membres : en matière d’accueil des chercheurs et étudiants étrangers par exemple, en fédérant l’offre documentaire, en contribuant à la gestion des campus, en organisant des manifestations scientifiques ;

o enfin, Agropolis apporte son soutien à la gestion de réseaux internationaux comme NATURA, le réseau d’Universités Européenne ; le Forum Européen de la recherche agricole pour le développement ; le réseau des Universités Agronomiques Francophones, l’ICRA, l’OILB ...

LES JOURNEES D’ETUDES

Ces journées sont organisées depuis 1995 conjointement par Agropolis et la DGER du ministère de l’Agriculture et de la Pêche avec le soutien du ministère des Affaires Etrangères et en liaison étroite avec le CNEARC, l’ENESAD, la SIARC et l’ENFA.

Leur objectif dès l’origine était d’analyser, à partir de cas, l’expérience acquise par les établissements du supérieur, du technique et du professionnel agricoles ainsi que des milieux associatifs, lors de démarches de création, en coopération internationale, de formations professionnelles répondant aux besoins de formation liés au développement et aux secteurs agricoles et agroalimentaires.

La réflexion sur nos pratiques a favorisé la prise de conscience de la nécessité, de créer des synergies et de structurer l’offre française, de la faire connaître et enfin, de rendre cette offre capable de répondre aux besoins des programmes internationaux.

E


Les missions du pôle national de compétences « coopération internationale » prévues par la DGER de juin

dernier et en cours de création au sein du CNEARC répondent à ce besoin. Dans son récent discours sur l’enseignement supérieur agronomique, le 3 octobre, le Ministre de l’Agriculture et de la Pêche, Jean GLAVANY, demande des approches communes entre établissements vers l’international. Cela constitue pour nous un encouragement à aller plus loin encore. VERS OU ?

On sait que la définition des stratégies de recherche et développement se font de plus en plus en concertation avec les utilisateurs, que les projets globaux se décident et sont gérés localement.

Nous devons être en mesure d’offrir nos compétences en amont des projets pour les études de faisabilité, en cours pour des missions d’ingénierie de dispositif de formation ma is également lors de démarches d’évaluations de projets, ce qui constitue le thème de nos travaux de ces deux journées. Pour cela :

− nous devrons être présents sur le terrain et faire connaître notre offre et nos compétences ; − nous devrons mieux connaître les procédures d’élaboration des projets au niveau des organismes

internationaux et des pays.

Pour cela, l’insertion au sein de réseaux internationaux pourrait être l’une de nos stratégies, nous avons d’ailleurs, la chance d’accueillir dans ces murs plusieurs de ces réseaux.

L’enjeu est de taille à un moment où les besoins du développement, de la sécurité alimentaire de la planète, de la préservation des ressources, sont multiples, complexes et correspondent à des problématiques très différentes.

Je vous souhaite un bon travail.


Conférence « Les évaluations de projets internationaux de formation »

- Exigence d’évaluations et exigences de l’évaluation -

René MABIT Inspecteur général de l’agriculture,

président de la commission permanente «évaluation» de l’Inspection générale, responsable du groupe de rédaction de Pour une bonne pratique de l’évaluation1.

e programme de ces journées d’études, dans son texte introductif intitulé « Problématique », pose comme hypothèse que « la prise en compte » de diverses évaluations « de projet, de contexte, d’effets » est « une exigence » pour le développement des activités d’ingénierie de formation.

Cette hypothèse me semble d’abord mériter un exposé des motifs. D’où vient cette exigence d’évaluations ? Quelle est sa légitimité ? Comment y répond- t-on, en France ?

Mais il ne suffit pas que les experts, consultants ou praticiens s’approprient cette demande d’évaluations. Quel que soit son domaine d’application, la démarche évaluative est en elle-même porteuse d’exigences auxquelles ils devront satisfaire.

Avant d’arriver à ce stade opérationnel de maîtrise des méthodes de l’évaluation et de construction de compétences individuelles et collectives, il aura fallu inévitablement se poser les questions : Qu’est-ce que l’évaluation ? Quelles sont ses finalités ? L’EXIGENCE D’EVALUATIONS : UNE DEMANDE CROISSANTE

Ce sont dans les pays où les principes de responsabilité et de transparence sont très prégnants que la demande d’évaluation est à la fois la plus forte et la plus naturelle. Il y a là une tradition de vérification de l’atteinte des objectifs annoncés et du coût des actions conduites. Les pays de culture anglo-saxonne ont ainsi développé une pratique dite « value for money ». Destinée à apprécier un projet ou un programme (en particulier lorsqu’il est financé par des fonds publics), elle vise à mesurer le rapport entre son coût et ses résultats.

Une conception voisine a vu le jour en France dans les années 1960-70 sous l’appellation « rationalisation des choix budgétaires » (RCB). Elle fut abandonnée faute d’une mise en œuvre probante et d’une véritable appropriation tant par les administrations publiques que par les citoyens.

Les années 1980-90 ont vu se développer, de façon très forte, la demande d’évaluations de diverses natures,

dans des domaines variés et à l’initiative de différents demandeurs. L’énumération qui suit, non exhaustive, illustre cette «irruption » de l’évaluation en France :

− nombre d’actions «territorialisées» sont cofinancées par des fonds venant de l’Union Européenne (fonds structurels, FEOGA -garantie..). Cette contribution est accompagnée d’une obligation communautaire d’évaluation qui se renforce et s’élargit régulièrement ;

− la décentralisation faite en France a provoqué un partage de compétences entre l’Etat et les régions mais aussi l’apparition de nombreuses politiques ou programmes contractualisés. Dans les deux cas une obligation d’évaluation a été introduite soit par le Parlement (cas des programmes régionaux de formation professionnelle) soit par les co-financeurs (cas des contrats de plan Etat- région) ;

− des dispositifs spécifiques ont été créés par le gouvernement français, dans les années 1990, dans le but d’évaluer par exemple les Universités, le revenu minimum d’insertion (RMI), des politiques publiques à caractère interministériel (les premiers projets étaient : l’informatisation de l’administration, la lutte contre la drogue et les toxicomanies, la gestion et l’aménagement des zones humides, l’aménagement des rythmes scolaires et des temps des enfants…) ;

− depuis 1998, l’obligation des études d’impact a été généralisée à l’ensemble des lois et décrets. L’obligation d’évaluation s’est étendue à toutes les procédures contractuelles d’organisation de l’action publique conduite conjointement par l’Etat français et les collectivités territoriales.

1 publié en juillet 2001 par le Comité de coordination des inspections du ministère de l’Agriculture et de la Pêche

L


Ces exemples montrent une évolution notable de l’importance donnée à l’évaluation. Ils révèlent que des besoins d’évaluation se sont fait plus ou moins confusément entendre. Les causes et les manifestations en sont multiples. Elles agissent aux plans institutionnel et culturel.

Les relations entre les pouvoirs et les personnes se modifient. Cette évolution sociale (sociétale) ne se fait pas sans contradictions. Les individus sont d’une part, de plus en plus attentifs au respect des règles de droit et de l’égalité de traitement. Et, d’autre part, en leur qualité d’usagers, de contribuables, de bénéficiaires potentiels de la prestation, les mêmes individus sont exigeants sur la spécificité et la qualité de cette prestation. Ils demandent des comptes, ils veulent avoir leur mot à dire. Cette tendance s’affirme de plus en plus, les domaines les plus sensibles étant ceux qui relèvent de la santé publique, de la sécurité, de l’alimentation, des transports.

Quant à la nécessité d’adaptation à des circonstances particulières, le droit a suivi cette demande, amplifiée par la nécessité de gérer les tensions entre le global et le local. La rigidité de la norme réglementaire nationale est désormais souvent assouplie par le recours aux contrats. L’hybridation du contrat ou de la convention, avec la loi et le règlement est aujourd’hui pratiquée en France à un point tel qu’on a pu parler de « contractualisation de la société ». En fait le contrat est souvent utilisé lorsqu’il s’agit de mettre en œuvre un projet ou un programme d’actions sur un territoire identifié (agglomération, ville, pays, communauté de communes, voire terroir dans le cas du contrat territorial d’exploitation agricole collectif). Il s’ensuit que les responsables, les partenaires et les opérateurs de ces projets ont besoin de nouveaux moyens d’information sur les actions réalisées et sur leurs effets. Un de ces moyens est l’évaluation.

Les collectivités locales, les services déconcentrés de l’Etat, les organismes ou opérateurs liés à des commanditaires ou des tutelles par des conventions d’objectifs, ont progressivement découvert cette voie de l’évaluation. Mais, en dépit des opérations appelées « renouveau du service public » (Michel ROCARD, 1990) ou « modernisation de l’Etat » (Lionel JOSPIN, 1998), l’acculturation des administrations et des dirigeants à l’évaluation est loin d’être accomplie. Malgré la tendance à un usage abondant du mot évaluation, souvent chez les décideurs et les opérateurs, la logique de l’action liée aux effets de mode l’emportent sur la logique des effets liés aux modes d’action. Et bien souvent on utilise le terme évaluation sans souci d’en professionnaliser la pratique voire même sans savoir ce que l’évaluation est ou n’est pas. L’EVALUATION : DE QUOI PARLE-T-ON ?

− Le mot évaluation, comme le mot ingénierie, est, dans la langue française, un mot attrape-tout. On y accroche des objets divers qui peuvent relever de la pratique pédagogique, de la gestion, de l’organisation de micro- ou macro-systèmes, de la construction de dispositifs ou de programmes…On peut ainsi « évaluer un élève », « évaluer un risque », « évaluer un projet », etc.

− Evaluation est également un mot spongieux qui, dans son usage courant, peut absorber indifféremment le contrôle, le diagnostic, l’étude d’impact, le suivi, la prospective… Evaluer peut être considéré comme un acte de vérification dans la mesure où on examine si les actions menées dans le cadre d’un programme correspondent aux objectifs annoncés. C’est une activité de conseil dans la mesure où l’évaluation vise à éclairer la stratégie et à aider à la décision. Ce peut être aussi une façon de rendre compte de l’action conduite et de la mettre en débat.

− Acquérir une culture de l’évaluation, et a fortiori se doter d’une expertise individuelle ou collective en matière d’évaluation, suppose que l’on partage une définition de l’évaluation et que l’on en connaisse la ou les finalités.

. UN NECESSAIRE TRAVAIL DE DEFINITION DE L’EVALUATION

L’examen de la situation de l’évaluation en France et sa comparaison avec celles d’autres pays ou d’instances internationales (Commission européenne, OCDE, associations internationales d’audit ou d’évaluation) permet de distinguer les diverses conceptions et de cerner les caractéristiques sur lesquels s’accordent les praticiens de l’évaluation :

− les fonctions d’évaluation ne doivent pas être confondues avec celles d’inspection, de contrôle, d’audit ou de conseil. La propriété caractéristique de l’évaluation est qu’elle s’intéresse avant tout aux effets produits par l’action menée dans le cadre d’un projet, d’un programme, d’une politique…Elle cherche non seulement à identifier et décrire ces effets mais à en analyser les causes. Elle tente d’expliquer les écarts entre les effets réels constatés et les effets prévus ou espérés.

− les fonctions premières de l’évaluation sont de comprendre et de porter un jugement de valeur, alors que celles du contrôle, du suivi, de l’inspection ou de l’audit sont principalement de vérifier, de surveiller, d’observer, de conseiller.

− cette analyse et l’appréciation qui en est tirée ne sont pas faites en référence à des normes prédéterminées ni à un référentiel standard. Chaque exercice d’évaluation comprend la construction d’un référentiel ad hoc et ouvert.


De l’examen des cultures et pratiques, on peut retenir la définition suivante : L’évaluation consiste, à partir de faits appuyés sur des données fiables, à mettre en évidence tous les effets attribuables à l’objet évalué (projet, programme, politique), à les confronter aux objectifs fixés et aux moyens mis en œuvre, et à en tirer un jugement sur cet objet.

La question est souvent posée d’une conception spécifiquement française de l’évaluation. Les pratiques mis es en œuvre, les outils utilisés ne mettent pas en évidence un modèle français de l’évaluation qui s’opposerait au modèle dominant au niveau international, d’origine anglo-saxonne. Des questions de vocabulaire et de traduction brouillent parfois la comparaison. Ainsi par exemple les français ont tendance à appeler «évaluation du risque» ce qui n’est pas une évaluation mais une appréciation statistique de l’importance relative d’un risque (risk assesment). Aux Etats-Unis «policy analysis» est ce que l’on nomme en France «évaluation des politiques» et on utilisera plutôt l’expression « program evaluation» pour désigner l’évaluation des effets d’un ensemble d’actions et de moyens identifiés au sein d’un projet ou d’une politique.

Cependant l’histoire et le contexte de l’évaluation ont, en France, de réelles particularités1. Dans l’administration française l’évaluation de l’action publique ou d’actions financées sur fonds publics est relativement récente. Elle a été officiellement instituée sous l’appellation «évaluation des politiques publiques» par un décret en janvier 1990 suite à un rapport au Premier ministre établi par Patrick VIVERET. Un dispositif lourd a alors été monté : Comité interministériel de l’évaluation, Conseil scientifique de l’évaluation garant de la validité des travaux, Commissariat général du plan responsable administratif de la mise en œuvre, instances d’évaluation en principe partenariales, passant commande à des organismes chargés de réaliser les travaux d’évaluation. Cette approche est donc très institutionnelle, idéologique, ambitieuse par le choix des objets à évaluer (souvent des politiques interministérielles qui étaient des ensembles complexes de programmes) et paradoxalement peu outillée.

Les premières expériences d’évaluation ont été en conséquences longues, compliquées et souvent peu probantes car il est difficile de porter un jugement global sur les effets d'une politique nationale complexe. En revanche, ces expériences ainsi que l’émergence de l’évaluation à des échelons territoriaux plus restreints (politiques régionalisées, politiques ou en fait programmes appliqués à des quartiers..) ont permis de progresser dans la conception même de l’évaluation, de son rôle et de ses méthodes. Si bien qu’en 1998, une relance des démarches d’évaluation a pu être faite dans l’ensemble dans l’appareil d’Etat ( décret du 18 novembre, circulaire du Premier ministre du 28 décembre 1998) et que s’est progressivement répandu un souci de «professionnalité» dans ce domaine2.

Sans que l’on puisse parler de modèle français de l’évaluation, il existe désormais une conception française de l’évaluation. Celle -ci met l’accent sur la participation des acteurs ou au moins sur leur accès aux résultats de l’évaluation, ainsi que sur le débat et le compromis . Elle fait ainsi sienne l’hypothèse que l’amélioration d’un programme dépend au moins autant, sinon plus, des logiques d’action face aux problèmes à résoudre que de la relation entre objectifs et moyens. «L’école française» de l’évaluation met aussi, plus que d’autres, l’accent sur le fait que les actions conduites, avec des fonds publics, le sont au nom de l’intérêt général ou en réponse à une demande sociale. En conséquence l’évaluation doit s’attacher aux effets durables (impacts) plus qu’aux effets immédiats, à la valeur sociale (sociétale) des actions menées plus qu’aux réalisations. Par ailleurs, l’ «école française» de l’évaluation insiste sur les finalités auxquelles l’évaluation doit répondre. LES FINALITES DE L’EVALUATION

La demande d’évaluation peut être fondée sur diverses finalités. Dans la réalité la finalité d’une évaluation est rarement explicite. Ce sont plutôt les objectifs opérationnels qui sont annoncés. Ou même ce n’est qu’en constatant ensuite quel usage il a été fait de cette évaluation que l’on peut lui affecter un rôle voire une finalité. Il est possible de faire de cette manière une typologie des évaluations. 3

S’agissant des finalités d’un exercice dont l’aboutissement est un jugement de valeur, il est cependant nécessaire de s’interroger sur le sens et éventuellement les valeurs qui sous-tendent la démarche d’évaluation. Cette interrogation appliquée au cas des politiques, projets, programmes et actions relevant de la sphère publique, nous a conduit à identifier et à retenir trois finalités possibles. Et dans la pratique de l’évaluation, tant du côté du commanditaire, que du côté de l’évaluateur, il sera souhaitable d’en occulter aucune. 1 cf. Le contexte français de l’évaluation : approche comparative, par Bernard PERRET, in Rapport annuel du Conseil scientifique de l’évaluation, 1992, La Documentation française, Paris. 2 En 1999 a été créée la Société Française de l’Evaluation (SFE) qui vise à regrouper des personnes directement concernées par l’évaluation dans leur activité professionnelle, à titre d’évaluateur, de chercheur, de formateur, de commanditaire ou d’utilisateur. Le président actuel de la SFE est le professeur Maurice BASLE, Université de Rennes 1. De nombreux pays ont de telles associations professionnelles. Il existe aussi une Société européenne. 3 Dans la publication Ingénierie des dispositifs de formation à l’international, (dir. A. MARAGNANI, Educagri, mai 2000), la présentation de l’évaluation d’un projet de coopération internationale faite par Jean-Pierre LAFON montre bien qu’une évaluation peut relever de registres différents : management, modernisation de la gestion, compte-rendu, médiation, apprentissage, consultation, etc…


Il s’agit de : 1. la finalité mobilisatrice : l’évaluation fournit des informations sur les effets d’un programme ou d’une

politique et donc renseigne sur la mise en œuvre et son efficacité. Elle fournit donc aux opérateurs des renseignements sur leurs pratiques. De ce fait, et pour le moins, l’évaluation mobilise leur attention. Elle les conduit inévitablement à réagir. Cette capacité mobilisatrice peut avoir plusieurs types d’effets sur la structure qui met en œuvre le programme ou qui le pilote : clarification des objectifs, amélioration de l’organisation du travail, responsabilisation des acteurs, motivation des opérateurs. Il y là une finalité mobilisatrice qui fait alors de l’évaluation à la fois un outil pour améliorer la gestion publique et une méthode de management.

2. la finalité stratégique : l’évaluation met en évidence des éléments qui ne sont pas nécessairement perçus dans l’action quotidienne. Elle met en perspective les orientations et les résultats. Elle interroge sur la pertinence des objectifs et la cohérence entre ceux-ci et les moyens mobilisés. Elle aide à penser le moyen- long terme et le complexe tout en capitalisant l’expérience. Elle évite de réinventer régulièrement des orientations et des objectifs sans avoir tiré le bilan des actions précédentes. L’évaluation est alors une aide à la prise de décision et un outil de gestion qui permet aux responsables d’une programme d’adapter, infléchir ou abandonner leur stratégie.

3. la finalité démocratique : l’évaluation, par les analyses qu’elle produit et par l’appréciation qu’elle porte sur l’objet évalué, contribue à l’information, et peut répondre à l’exigence de transparence à l’égard de l’utilisation qui est faite des «biens publics». Au sein de l’Union européenne par exemple, il est désormais établi que la Commission et tous les Etats membres sont redevables d’une information des citoyens sur les programmes mis en œuvre, sur leurs financements et sur leurs impacts. Des lignes directrices et des questions évaluatives sont systématiquement imposées dès le lancement des nouveaux programmes, par exemple les plans de développement rural pour 2000-2006. Dans toutes les démocraties contemporaines, la demande d’une évaluation ayant cette finalité de transparence et d’aide au débat sur l’action publique, se fait de plus en plus pressante. La demande vient des citoyens, des associations, des agents économiques, des élus eux-mêmes.1 Cette finalité démocratique de l’évaluation peut indisposer les décideurs ou les gestionnaires. Pour les évaluateurs elle est exigeante. Elle est aussi l’affirmation que les résultats d’une évaluation ont vocation à être diffusés et à nourrir le débat sur l’objet évalué.

LES EXIGENCES DE L’EVALUATION

Contrairement à l’idée répandue que l’évaluation est, comme la prose, une pratique innée que chacun exerce, sans le savoir ou le faire savoir, l’évaluation de programmes, d’actions, de projets, d’organismes… demande des compétences construites, exige une démarche rigoureuse, suppose une attitude spécifique.

Pour autant la pratique de l’évaluation n’a aucune raison d’être le monopole de quelques rares «grands experts» ou de «grands corps». Il y a simplement comme, dans d’autres domaines, à mobiliser les connaissances et compétences dont on dispose, à s’approprier la culture spécifique de cette fonction, à respecter des standards de qualité, à se doter d’une déontologie solide.

L’exercice d’évaluation pourra alors être abordé comme il se doit : de la manière la plus professionnelle possible. Mais ce «métier » d’évaluateur a la particularité de devoir conjuguer la rigueur méthodique et le souci permanent des finalités.

La démarche n’est évidemment pas la même selon le moment où prend place l’évaluation par rapport au cycle de vie du programme. On distingue quatre situations différentes :

- Evaluation ex ante (à priori) : faite avant l’adoption définitive et la mise en œuvre du programme, cette démarche n’a pas véritablement les caractéristiques d’une évaluation. Il s’agit d’une étude faite par des personnes autres que les gestionnaires du programme, qui s’assure de sa pertinence par rapport aux orientations et au contexte. Elle explicite les effets prévus (étude d’impact). Elle veille à la cohérence du dispositif et à la faisabilité des actions. Elle vérifie l’existence d’objectifs opérationnels et d’outils de suivi du programme (indicateurs, tableau de bord …).

− Evaluation ex post (à posteriori) : faite après la fin du programme, elle rend compte des réalisations effectuées, des objectifs atteints mais, dans la mesure du possible, de tous les effets observables imputables au programme, attendus et imprévus, positifs et négatifs. Elle donne donc une large place au questionnement (enquêtes, entretiens) près des différentes catégories d’acteurs du programme et aux études sur le «terrain». Elle propose, à partir de cet ensemble de données une analyse de l’impact global du programme. En fonction de la commande initiale ou du cahier des charges de l’évaluation, le jugement

1

Cette finalité de l’évaluation s’inscrit dans le droit fil de l’article 15 de la Déclaration des droits de l’homme et du citoyen selon lequel «la Société a le droit de demander compte à tout Agent public, de son administration ».


porté sur le programme sera à la fois global et spécifié de tel ou tel point de vue : de l’utilité, de la pérennité, de l’efficacité, de l’efficience…

− Evaluation à mi-parcours (intermédiaire) : pratiquée dans le cas de programmes relativement longs, cette forme d’évaluation permet de prendre en compte un contexte qui a évolué, de réexaminer la pertinence des orientations et objectifs de départ par rapport à celui-ci, de repérer et analyser les éventuels écarts entre la mise en œuvre effective et les intentions initiales ainsi que les premiers effets du programme.

− Evaluation concomitante (chemin faisant) : cette pratique relève pour une part du suivi de l’état d’avancement du programme et non de l’évaluation. S’y ajoute une analyse du contexte évolutif. Ce type d’évaluation continue permet dans le cas de programmes discutés ou délicats ainsi que dans le cas d’opérations pilotes ou expérimentales, de favoriser la transparence et la participation dans le droit fil de la finalité mobilisatrice de l’évaluation.

En conclusion :

Il n’existe pas de modèle universel d’évaluation ni de référentiel externe comme il en existe dans les fonctions de contrôle. Chaque évaluation nécessite que les évaluateurs construisent sur mesure l’appareillage nécessaire. A partir des finalités, orientations et objectifs du programme, tels qu’ils sont écrits, ils commenceront par s’entretenir avec le ou les responsables de ce programme pour se faire expliciter les enjeux. Prenant en compte le contexte, les évaluateurs construiront le questionnement qui leur paraît pertinent pour approcher les effets du programme. Mais pour cela, il leur faut examiner quelle est la série cohérente d’indicateurs accessibles, statistiquement validés, «non manipulables » qui pourrait leur permettre de repérer et de mesurer les réalisations et les effets du programme.

L’évaluation demande un temps préalable, déterminant pour la suite, de définition précise de l’objet à évaluer, des critères à utiliser, de choix des questions à poser, des données à rassembler, de sélection des indicateurs, et des personnes à associer ou à consulter.

La bonne réalisation d’un tel référentiel sur mesure et plus généralement la qualité d’une évaluation nécessite une expertise et une inventivité qui est plus collective qu’individuelle.

Des règles de production et des standards de qualité sont à respecter tout au long du processus. L’évaluation doit en effet être fidèle à la lettre de commande et au cahier des charges. Elle doit être fiable, transparente, compréhensible.

Mais le «métier» d’évaluateur impose aussi des exigences au plan déontologique, que l’on peut résumer en 4 points :

1. tout évaluateur doit être indépendant par rapport au commanditaire, au responsable et aux gestionnaires du programme et pouvoir exercer pleinement sa liberté de jugement ;

2. tout évaluateur est dans une attitude d’écoute des personnes, sans a priori et en respectant chacune ; 3. pour être utile et utilisable l’évaluation doit être partagée ; les évaluateurs doivent donc dans la démarche

suivie construire ce partage en travaillant en équipe, en privilégiant les approches pluralistes, en favorisant les échanges internes et externes ;

4. les évaluateurs de programme public formulent leur jugement en référence à l’intérêt général et en s’efforçant d’avoir, tout au long du processus, l’intelligence des finalités...


Conférence «Les évaluations de projets internationaux de formation»

- L’évaluation des Projets de Formation à la Banque Mondiale -

Laurence COLINET

Evalution officer, Institut d’évaluation de la Banque Mondiale Deux catégories de projets de formation correspondent à deux dispositifs d’évaluation distincts :

1. projets de formation sur prêts : investissements, réformes ; 2. projets de l’Institut de la Banque Mondiale (WBI) : mise en place de dispositif de formation continue.

OBJECTIF DE CETTE PRESENTATION Vous permettre de trouver l’information :

− Comment ? Pour chacune des deux catégories de projets (investissement / formation continue): − Quels dispositif, départements, méthodologie ?

POINTS COMMUNS AUX DEUX SYSTEMES D’EVALUATION Recherche de rigueur scientifique conjuguant :

− L’auto-évaluation pratiquée par les unités responsables d’activités (départements de la Banque région/secteur, agence de mise en oeuvre).

− L’évaluation indépendante effectuée par le Département de l’évaluation rétrospective des opérations (OED).

LE CYCLE DES PROJETS DE FORMATION SUR PRETS L’EVALUATION DES PROJETS DE FORMATION SUR PRETS Deux points à retenir:

− un cadre logique d’intervention (logical framework) dès la conception du projet, définit les indicateurs pour le suivi du projet.

− la notation des projets achevés, selon une grille commune à tous les projets de la Banque, dans tous les secteurs.

CADRE LOGIQUE D’INTERVENTION

− Schéma logique liant les intrants, les processus, les réalisations, les résultats et l’impact des projets − Méthodologie de la Banque développée par « OPCPS ».

Identification des projets et préparation => Cadre logique

Mise en oeuvre Évaluation intérimaire

Stratégies pays (CAS)

Evaluation d’impact

Approbation Fin de la mise en oeuvre ICR, PAR


NOTATION DES PROJETS ACHEVES

− Cinq notations pour tous les projets, selon des critères prédéfinis par OED − Trois notations liées à l’impact des projets :

o résultat : pertinence, efficacité, efficience ; o durabilité : situation du pays, disponibilité de fonds, situation du secteur, conditions d’exploitation... o développement institutionnel : cadre réglementaire, restructuration d’organismes…

NOTATION DES PROJETS ACHEVES

− Deux notations liées au processus o performance de la Banque : qualité du service assuré (supervision, évaluation) ; o performance de l’emprunteur : apports nécessaires à la préparation et l’exécution du projet.

− Prise en compte des facteurs exogènes − Rôle des notations dans le portefeuille Banque

PROJETS DE FORMATION CONTINUE DE WBI

− Quel public de formation continue ? o formateurs, décideurs, journalistes, des pays clients ; o personnel de la Banque ;

− Quelles formations ? o thèmes de développement multisectoriels, ex: lutte contre la corruption, gestion de la qualité de l ’air ; o séminaires; réseaux, assistance technique ; o recherche d’un effet multiplicateur par l’utilisation des nouvelles technologies, formations de

formateurs, franchise de cours.

L’EVALUATION DES PROJETS DE FORMATION DE WBI

− Quel dispositif ?

o unité d’évaluation interne, mais qui répond de la qualité de son travail à OED ; o évaluation sophistiquée des séminaires de formation sur financement Banque ; o systèmes de suivi-évaluation de certains programmes sur financement externe. Évolue vers un

système de suivi-évaluation systématique.

L’EVALUATION DES PROJETS DE FORMATION DE WBI

− Quelle méthodologie ?

o méthodologie pour l’évaluation des séminaires de formation selon le modèle de Kirkpatrick ; o pas de méthodologie standard pour évaluation des programmes

(dépend des partenaires cofinançant les programmes ou l’évaluation).

L’EVALUATION DES SEMINAIRES DE FORMATION

Les quatre niveaux de Kirkpatrick :

− niveau 1 : mesure de la qualité de la prestation et la satisfaction du client ; − niveau 2 : mesure de l’apprentissage ; − niveau 3 : changements dans le comportement individuel ; − niveau 4 : impact au niveau institutionnel.


OU TROUVER L’INFORMATION ?

− évaluation des séminaires de formation : WBIES ; − méthodologie pour l ’évaluation des programmes de formation utilisant les nouvelles technologies, les

réseaux de connaissance, y compris cadre logique (à venir) : WBIES ; − méthodologie de cadre logique/ Logical framework : OPCPS ; − exemples de cadres logiques établis pour des projets: le réseau sectoriel éducation de la Banque ; − leçons des évaluations des projets dans le secteur de l ’enseignement, méthodologie générale pour évaluer

l ’impact des projets : OED.



Michel CHARLOT

Chef du bureau Coopération internationale de la DGER du ministère de l’Agriculture et de la Pêche

out d’abord je voudrais vous présenter les excuses de Georges GOSSET qui a été appelé à d’autres fonctions et m’a demandé de préparer cette déclaration en soulignant le côté essentiel de ces travaux pour le ministère

de l’Agriculture et de la Pèche (MAP), pour deux raisons : 1- l’ingénierie des Dispositifs de formation à l’international est devenue centrale au MAP car le

développement de ces actions est désormais une priorité de la DGER dans son dispositif de coopération internationale ; il est donc permis d’espérer que ces actions vont devenir plus fréquentes ;

2- par ailleurs le rôle de la DGER a été redéfini : il sera désormais centré : o sur la rédaction de politiques de coopération internationale en liaison avec les autres directions du

MAP, les autres ministères ; o sur les conditions de mise en œuvre des actions ; o sur l’évaluation et les résultats de ces actions.

L’appui aux établissements, l’aide au montage des dossiers, le soutien nécessaire à leur gestion est confié à un pôle national de compétences, aidé en cela par les réseaux pays et les chargés de coopération en SRFD. Vous voyez donc les deux bonnes raisons qui expliquent l’intérêt que la DGER porte à ce travail. Par ailleurs l’évaluation est un thème porteur car :

− les normes qualité (ISO 9000) se généralisent ; − les programmes internationaux sont de plus en plus exigeants en ce domaine ; − se développe un souci d’efficacité de l’argent public et des politiques publiques.

…et pourtant c’est une notion nouvelle puisque la notion d’évaluation était absente des dispositifs jusqu’à une date récente si bien qu’après une logique du « Rien Evaluation », nous entrons dans une culture du « Tout Doit Etre Evalué ».

Or l’évaluation est un processus stressant et source de conflits en tous genres : les évalués remettent en cause la légitimité des évaluateurs qui connaîtraient moins bien le terrain qu’eux, s’interrogent sur les arrières pensées qui guident une évaluation… Il faut donc intégrer la démarche évaluative de façon automatique à tout projet afin d’en faire disparaître ces suspicions, ces peurs infondées.

Par ailleurs une démarche évaluative quasi automatique évitera le blocage des programmes qui sont arrêtés … en attendant la fin de l’évaluation, comme dans le cas du programme PENS ou AFDI qui écrit dans son rapport : « les programmes conduits par l’AFDI dans les pays de l’Afrique sub-saharienne dans le cadre de la convention d’objectif triennale signée avec le ministère des Affaires Etrangères avec le concours de L’ANDA sont arrivés à échéance au 30 juin 2000. En préalable à son renouvellement, le ministère a commandité une évaluation à laquelle l’ANDA est associée1 ».

Alors que des projets continuent : − dans les établissements (des classes privilégiées 1A BTS sont disponibles une année, seulement ce sera ,

plus délicat en 2ème année de les impliquer dans des programmes lors de la préparation des examens) ; − sur le terrain : le blocage des projets remet en cause le sérieux, et la légitimité des projets dans le temps.

Il est donc nécessaire d’adopter une approche sereine, donc préparée et cadrée, tout d’abord dans le temps, et

ensuite dans la méthode. La notion de temps est centrale car elle détermine la nature et la finalité de l’évaluation, vous retrouvez du reste cette idée dans les documents préparés par les organisateurs de ce colloque. A cette occasion je voudrais remercier Alain MARAGNANI pour tout le travail de préparation qui a été effectué, matérialisé par le recueil d’interventions joint au dossier remis aux participants.

1 Source : Rapport ANDA 2000

T


1. les évaluations ex ante s’effectuent avant le démarrage de l’action, elles permettent au promoteur potentiel

de prendre sereinement une décision quant à la poursuite du projet, elles permettent aux financeurs et aux décideurs de se prononcer sur l’acceptation ou le rejet du dossier. Pour la DGER, c’est une activité centrale puisque nous sommes associés à de multiples décisions de financement (dossiers ANDA, MAE etc) ;

2. les évaluations en cours de projet sont le plus souvent des évaluations internes souvent propres au porteur de projet : elles lui servent de garde fou pour éviter les dérives dans les budgets, dans le temps et par rapport aux objectifs attendus. Elles sont parfois effectuées par des organismes externes, notamment des financeurs de projets importants qui veulent ‘voir’ avant d’effectuer une seconde avance ;

3. les évaluations ex post, après la clôture du projet, sont les plus importantes et les plus difficiles : importantes car elles sont le bilan de plusieurs années de travail et préfigurent souvent l’avenir car elles sont associées à un recueil des bonnes pratiques à encourager et des écueils à éviter. Elles sont difficiles car l’environnement du projet a généralement changé avec le temps, et il convient donc de les effectuer par rapport à ce qui était prévu initialement et ensuite en distinguant les éléments nouveaux qui ont pu faussé ces prévisions. C’est ce type d’évaluations que nous devons développer à la DGER et nous serons donc très attentifs à vos travaux dans ce domaine.

Une seconde façon d’analyser les approches d’évaluation passent par leurs éléments constitutifs, au nombre de trois. Dans tout processus d’évaluation d’un dispositif de formation apparaissent :

− un commanditaire ; − un dispositif d’analyse ; − un objet.

1. le devoir du commanditaire est de fournir un cadre de référence clair et précis décrivant soigneusement

l’objet de l’évaluation, les critères d’évaluation. Certes des travaux ont déjà été effectués dans ce domaine, notamment par l’équipe du Groupe de Recherche et d’Echanges Technologiques mais vos contributions nous seront utiles pour mieux rédiger nos commandes et mieux nous préparer à ces évaluations, que nous les conduisions nous mêmes ou demandions leur réalisation à des spécialistes externes ;

2. le dispositif d’analyse diffère selon le type d’évaluation retenu : dans le cas des évaluations internes, il va de soi que les évaluateurs seront proches ou s’identifieront aux acteurs de l’action. Cette proximité garantira une meilleure réactivité ou rétroactivité sur la suite du dispositif. Dans le cas d’évaluation externe, il va de soi que les évaluateurs seront nécessairement éloignés du projet pour atteindre le degré d’objectivité et d’impartialité nécessaire. Il était donc nécessaire, comme indiqué dans l’introduction, de donner une plus grande indépendance à la DGER par rapport aux actions des établissements afin de garder cette capacité d’analyse externe objective ;

3. l’objet des évaluations, c’est à dire les dispositifs de formation que l’enseignement agricole tente de mettre en place dans différents pays. Il s’agit d’objets d’études extrêmement complexes qui doivent démarrer bien en amont des situations pédagogiques si nous voulons donner à ces opérations toutes leurs chances de réussir. Par exemple, l’environnement juridique des projets doit être soigneusement analysé : ainsi le droit du sol, détermine largement le temps d’un investissement agricole, donc du type de cultures et donc le système de formation correspondant.

Il vous appartient donc de dégager des méthodes permettant de faire émerger de bonnes pratiques et de

multiplier ces actions ; car le sous développement, la faim, le chômage chronique sont toujours présents. Nous savons à quels désespoirs et quels extrêmes ils peuvent conduire : à nous de relever ces défis.



- Stratégie d’intervention de l’AFD dans le domaine de la formation professionnelle -

Alain WIDMAIER

Agence Française de Développement

ORIENTATION GENERALE

L’AFD a une longue tradition d’intervention dans le domaine de la formation professionnelle en

accompagnement des investissements qu’elle a financés en matière d’infrastructures et de développement rural. Ces interventions ont concerné principalement les sociétés d’Etat et leur centre de formation.

Depuis une dizaine d’années, l’AFD s’intéresse aux programmes de modernisation ou de restructuration des système nationaux de formation professionnelle en accompagnement des réformes économiques de l’appareil de production, des mutations technologiques des entreprises et de leur stratégie de développement en milieu concurrentiel.

L’AFD conditionne son intervention à l’expression d’une demande explicite des secteurs productifs concernés et donc de leurs représentants. Elle fait du partenariat entre l’Etat et les acteurs privés de l’économie, un passage obligé dans le processus d’instruction des projets qu’on lui demande de financer.

DEMARCHE STRATEGIQUE

L’AFD finance des projets dans le domaine de la formation professionnelle avec des pays qui partagent une

double préoccupation : 1. voir se développer un tissu national d’entreprises performantes et compétitives pour l’économie du

pays ; 2. développer l’employabilité des ressources humaines du pays et notamment des jeunes qui sortent de

l’école obligatoire.

Les pays concernés par de tels projets en cours (pays du Maghreb mais aussi d’Asie comme le Vietnam) sont confrontés à un double défi :

1. moderniser le dispositif de production en développant l’entreprise privée ; 2. développer l’emploi tout en réduisant les personnels des entreprises publiques.

L’AFD retient de ses échanges avec les autorités de ces pays deux impératifs nationaux : 1. une nécessité économique de modernisation du dispositif de production qu’il soit public, en voie de

privatisation ou privé ; 2. une obligation sociale et économique de développer l’emploi, chez les jeunes notamment.

En regard de ces enjeux économiques et polit iques et des réponses que doivent apporter leurs responsables, la

formation professionnelle peut être un investissement efficace et rentable pour peu qu’elle suive une démarche de mise en œuvre permettant de :

− sécuriser l’investissement en faisant partager le risque entre l’Etat investisseur et le patronat employeur et en formalisant, au plus haut niveau, les partenariats public/privé qui contractualisent les engagements des deux parties ;

− garantir le maximum d’employabilité des stagiaires formés en appliquant le mode de formation en alternance et par apprentissage et en intégrant des formations complémentaires d’insertion pour les formés qui en expriment le besoin ;

− rentabiliser l’investissement en Formation Professionnelle par une meilleure exploitation des moyens financés : c’est ainsi que l’AFD se positionne sur le financement 1de la création ou de la restructuration de

1 A.W : Octobre 2001


Centres Sectoriels de Formation Professionnelle multiservices, c’est-à-dire faisant de la formation initiale, de la formation continue et de la formation de reconversion sur le mode de l’alternance et par l’apprentissage.

Le maillon faible mais indispensable de ce descriptif est la représentation patronale : fédérations, groupements

professionnels ou unions patronales ; le financement de projets de Formation Professionnelle peut aider à l’émergence de ce partenaire indispensable aux côtés de l’administration.

C’est pourquoi les projets de formation professionnelle financés actuellement par l’AFD intègrent la mobilisation d’un partenariat d’appui de Fédérations homologues françaises afin d’aider à cette émergence.

Pour les pays d’Afrique subsaharienne (ZSP), les conditions requises ne sont pas vraiment encore réunies pour engager des programmes nationaux de formation professionnelles permettant d'accompagner efficacement le développement de leur dispositif de production en milieu concurrentiel.

Le développement et à fortiori la compétitivité du dispositif de production n’est pas l’affaire d’une entreprise isolée ou d’un groupe d’entreprises mais plutôt celle de l’environnement dans lequel se déroule l’activité économique. De ce fait, la mise à niveau industrielle implique, en matière de ressources humaines, des actions au niveau du dispositif de formation mais aussi au niveau institutionnel.

Ces actions induisent des changements de comportements et de mentalité entre partenaires sociaux et de nouvelles règles du jeux qui doivent être bien comprises pour être utiles ; elles ne peuvent être engagées sans que soit préalablement clarifiée la stratégie sectorielle choisie sur le plan politique : modalité d’implication des milieux professionnelles, modalités de pilotage par la demande, analyse institutionnelle, modalités de financements de la formation professionnelle, architecture du dispositif…

A partir de là, un cadre stratégique d’intervention peut être élaboré présentant la vision partagée des différentes parties prenantes : Etat, patronat, secteur artisanal informel, opérateurs privés de formation, syndicats…

Le cadre stratégique précise les objectifs des réformes à engager, le cadre institutionnelle à mettre en place et les modalités de financement à prévoir. La concertation avec les organisations qui ont une expérience en la matière, dont les bailleurs de fonds, est très importante dès ce stade.

La réforme des systèmes éducatifs et les lois d’orientation de la formation professionnelle sont constitutifs de cette démarche qui contribue au développement du capital humain des pays et à la production d'un bien public national.

La mise en œuvre de cette démarche dans les pays ZSP d’Afrique est une nécessité économique et financière qui devra mobiliser les efforts concertés du dispositif français d’aide au développement (AFD et MAE) dès l’amont de la réflexion.


Vendredi 12 octobre 2001


Présentation de la synthèse des contributions écrites parvenues au secrétariat des journées d’études.

Alain MARAGNANI

Inspecteur de l’Enseignement Agricole

ous avons reçu 22 contributions, soit plus que l’année passée (17) mais un peu moins qu’en 1999 (24). Je signale au passage que j’avais envoyé par mél plusieurs informations et plusieurs demandes de contribution

écrite à plus de 400 personnes… Plus que le nombre des contributions, ce qu’il me semble important de souligner c’est le changement qualitatif de ces contributions. Vous pouvez d’ailleurs en juger vous-même en consultant les contributions de 1999 et 2000 sur le serveur de la DGER (educagri.fr/actions/coopint/4journée/sommaire.htm ou educagri.fr/actions/coopint/5journée/sommaire.htm). Le contenu de ces contributions a fortement changé à deux niveaux :

− les présentations de projets donnent beaucoup plus d’importance aux éléments d’analyse de la démarche conduite dans ces projets ;

− le nombre de contributions décrivant et analysant des éléments de la démarche, ou l’ensemble de la démarche, de création ou de rénovation de dispositifs de formation augmente très fortement.

Les contributions manifestent globalement un meilleur centrage de la réflexion sur le cœur de la problématique

et moins sur des aspects d’une nature différente, formation de formateurs ou ingénierie pédagogique. Comme les autres années, je pensais pouvoir faire trois grands types de contributions, des contributions

décrivant un projet, des contributions s'interrogeant sur un élément de la démarche en s'appuyant sur une étude de cas, des contributions d’analyse de la démarche, même si leur importance relative changeait (moins de contributions d’étude de cas, plus de contribution sur la démarche) mais aussi leur contenu (moins de description des éléments d’organisation du projet et plus d’analyse de la démarche)… A la relecture des textes, je me suis rendu compte que cette typologie n’était plus valide compte tenu des changements de leurs contenus. Quasiment toutes abordent les questions sur la démarche même, soit sur la base de cas, soit dans une réflexion plus abstraite dans laquelle les expériences de terrain apparaissent moins. DES ANALYSES SES DIFFERENTS ELEMENTS DE LA DEMARCHE SUR LA BASE D’ETUDES DE CAS

Ce sont les contributions concernant les projets de rénovation de l’enseignement agricole camerounais, la formation des inspecteurs pédagogiques marocains, la mise en place d’un dispositif d’appui à la formation des jeunes agriculteurs marocains, la formation horticole à l’école de Preak-Leap au Cambodge, la définition d’une stratégie de développement pour la formation agricole au Cambodge toujours, le diagnostic de la formation des techniciens de l’ETSHER de Ouagadougou, l’analyse du projet français d’appui à l’ESSA de Tananarive, la préparation d’un colloque franco-tunisien sur la formation professionnelle agricole, l’évaluation d’un projet de partenariat entre le LEGTA de Fontaines et un établissement béninois, ou sur le projet MedWetCoast sur la formation à la protection des écosystèmes côtiers et des zones humides de méditerranée…

Toutes ces contributions manifestent une réflexion intégrant le projet dans le contexte économique et social, les systèmes éducatifs, et comprenant une mise en relation avec la demande initiale. Réflexion qui manifeste d’une recherche d’une vision globale, d’analyse systémique, dans le cadre de la préparation à des métiers ou des activités professionnelles en milieu rural.

Mais ces descriptions de projets sont aussi l’occasion d’interrogation sur la démarche mise en œuvre… par exemple sur le rôle de l’ingénierie de la demande (GAUTIER), ou sur les modalités même de la coopération (PETERMAN), soit sur le travail en partenariat (DENYS, DJEGUI, RAGOT ), soit sur la mobilisation des acteurs notamment des bénéficiaires (DASCON, FENNEC, METGE au Maroc, mais aussi pour l’ETSHER)… c’est aussi le cas dans le projet MedWetCoast (THEVENIN) en fait des questions qui relèvent beaucoup de l’ingénierie sociale des projets.

Quelques-unes unes soulèvent plutôt des questions de démarche et d’outils en matière d’évaluation : les éléments de cette évaluation (BERGER, MOLLARD), la relation entre objectifs du projet, objectifs de l’institution et objectifs de l’évaluation (D’ORGEVAL, WYBRECHT), « l’invention » ou l’imagination de formes différentes d’évaluation en fonction de l’analyse des enjeux (JAZE)…

N


Je voudrais ajouter un mot concernant le projet MedWetCoast pour avoir eu le plaisir d’en savoir un peu plus que les trois pages de la contribution écrite en ayant participé à des journées d’études de l’ATEN. J’y avais été frappé par la proximité des démarches conduites et des outils élaborés alors que nous n’avions pas connaissance de nos actions respectives… confirmant une appréciation sur une « manière française » d’aborder les questions de formation, d’analyse systémique et de partenariat entre acteurs.

DES CONTRIBUTIONS DE REFLEXION SUR LA DEMARCHE D’INGENIERIE

Il s’agit de contributions moins, ou pas, reliées à un cas concret et qui manifestent d’un ensemble d’expériences de terrain. Elles peuvent porter plus particulièrement sur l’évaluation de projet de formation, par exemple sur la gestion et le contrôle du risque en matière d’évaluation (MURESAN), sur les difficultés de l’évaluation « participative » (BEAUDOUX, DASCON)… ce qui n’est pas sans renvoyer à l’interrogation sur l’ingénierie sociale de projet de formation… ou sur les différents niveaux de l’évaluation avec la remarquable synthèse de C.FAULIAU.

Elles peuvent également porter sur l’ensemble de la démarche en soulignant les conditions d’un travail en partenariat, soit par le biais d’une réflexion sur la « posture » de l’intervenant situé à la croisée des culture (GRANIE), soit en s’appuyant sur les enseignements issus de nombreuses expériences internationales (GREUIN, MARTIN, PIEJUS). Deux contributions enfin, s’efforcent de construire une vision globale d’une démarche de création ou de rénovation de dispositifs de formation (BECKER, PERIER et DEBOUVRY, MARAGNANI).

En tout dernier, j’ai conservé pour la conclusion la contribution de J.MAGNE qui soulève la question de la

présence française à l’international et qui pose la question de notre « professionnalisme ». Les contributions des participants tout en manifestant une grande évolution de notre réflexion, soulignent aussi combien nos expériences sont encore très éloignées les unes des autres… même s’il existe cette « petite musique » d’analyse systémique et de partenariat entre acteurs dans le cadre de l’intérêt général. Analyse systémique et partenariat pour l’intérêt général oui… mais chacun chez soi ! Comme les intervenants de l’année passée l’avaient déjà largement souligné, cette « petite musique » ne suffira pas à faire connaître ou reconnaître notre compétence si nous n’apprenons pas à systématiquement travailler ensemble.


Restitution de l’atelier 1 : « Evaluation des apprentissages dans le cadre du projet

d’appui au système éducatif en Côte d’Ivoire »

Intervenant : Sadika BENSLIMANE Chargée de mission, Centre International d’Etudes Pédagogiques

Animateur : Anne-Marie GRANIE

Enseignant-chercheur à l’ENFA

Rapporteur : Yvan GUIRONNET Formateur au CFPPA de Carmejane

Le projet intitulé « Projet d’appui au secteur éducation / formation (PASEF) – Banque mondiale – Côte d’Ivoire 1999-2002 » nous a été présenté par Sadika BENSLIMANE.

EVALUER LES APPRENTISSAGES

Ce projet porte sur l’évaluation des apprentissages en mathématiques et français au niveau des classes CP2,

CE2 et CM2 de l’enseignement primaire de Côte d’Ivoire. Cette étude est conduite par le Centre International d’Eude Pédagogique (CIEP), service du ministère de l’Education nationale.

Elle répond à l’appel d’offre de la Banque mondiale visant à l’amélioration de la qualité du système éducatif ivoirien. Cette étude en cours constitue un des quatre volets du PASEF (Projet d’Appui au Secteur Education / Formation). Elle est conduite par des spécialistes français en mesure des apprentissages, en analyse des systèmes éducatifs, en mathématiques, en français, en analyse des programmes et livrets scolaires.

LA METHODOLOGIE

La méthodologie a été développée autour de trois points :

1. la définition de critères visant à évaluer le système éducatif : o au niveau de l’élève, des critères classiques tels qu’âge, sexe… mais aussi des critères visant à

préciser s’il a accès à la lecture dans sa vie de famille, la langue parlée par sa famille … o au niveau de la classe, portant en particulier sur le maître et la salle de classe ; o au niveau de l’établissement.

2. l’analyse des curricula, à travers les programmes officiels, les manuels, les livrets du maître et différents documents élaborés par le ministère. Les références de l’évaluation sont dans les programmes tels qu’ils sont définis par le ministère de l’Education et de la formation de base ;

3. des questionnaires élaborés à partir des critères précédents et soumis à un échantillon d’élèves, leurs maîtres et directeurs. Les modalités des réponses sont mis en relation avec les résultats des tests de niveau réalisés en parallèle.

LES QUESTIONNEMENTS

Le débat et les questions qui ont suivi cette présentation peuvent se regrouper autour de cinq items, paroles des participants :

1. la place et le rôle des ivoiriens dans le dispositif : « Y participent-ils ? », « Quel rôle jouent-ils ? ». Le groupe s’est posé la question de la construction collective de l’équipe d’évaluation. Il s’agit d’apprécier la nature du partenariat (participatif – force de propositions – suiveur…).

2. le transfert de modèles : on a parlé de « coupé -collé » du système français. Par exemple en matière d’évaluation :


o « La dictée, est-elle un indicateur pertinent en Afrique où l’oralité est très importante ? » ; o « Quel rôle joue la langue française en Côte d’Ivoire ? », etc…

Cette manière de faire nous a conduit à poser un questionnement de fond autour de la « neutralité de la méthode », de son universalité… que met-on sous la transférabilité ?

Le questionnement sur ces deux points s’est traduit en terme de propositions par l’intérêt d’associer les

partenaires à tout le processus d’évaluation. (mais cela renvoie au problème de durabilité des projets). On a parlé de « co-évaluation », « la co-construction, la co-évaluation sont sans doute beaucoup plus faciles sur des petits projets ».

La co-évaluation suscite de l’inquiétude car elle renvoie à notre posture dans nos actions de coopération internationale. Il s’agit de passer « du faire à la place de l’autre au faire ensemble », c’est sans doute le vrai travail de transférabilité qui échappe à l’ethnocentrisme.

3. la culture de l’évaluation : o « On est tous sensibles à la culture de l’évaluation » ; o « L’évaluation, en particulier l’auto évaluation, peut amener un questionnement, une remise en

question de nos pratiques. On ne le fait pas assez » ; o « Il nous faut apprendre à tirer les leçons des évaluations précédentes, faire des évaluations « en

boucle », tirer des leçons des évaluations d’autres projets comparables ». La culture de l’évaluation est une construction collective (appropriée – vécue…).

4. l’évaluation, pour qui ? pourquoi ? : le questionnement initial sur la place et le rôle des ivoiriens dans le

dispositif s’est élargi aux attentes, aux besoins des commanditaires et bénéficiaires. Nous avons aussi abordé le rôle de l’évaluation comme support d’échanges entre les intervenants nationaux et transnationaux d’un projet.

o « La première question à se poser c’est une évaluation pour qui ? pour quoi ? C’est d’autant plus important que l’évaluation permet de recadrer la technique » ;

o « Il y a une multitude d’évaluations. Le choix de la méthode et des techniques dépend de la demande du pays, du porteur de projet ». « Qui évalue l’évaluateur ? » ;

o « Qui va évaluer la performance et la pertinence de notre évaluation ? ». Derrière tout cela on devine au moins deux préoccupations : le jugement porté sur nous, l’impact du travail réalisé.

5. l’évaluation, comment ?

o « Il faut arriver à évaluer les retombées de la formation sur le milieu, y compris environnemental » ;

o « La nécessaire prise en compte d’indicateurs de l’état du pays pour mettre en place un dispositif d’évaluation ». « La difficulté de nos interventions évaluatives est liée à la faiblesse de l’évaluation de la demande » ;

o « Quand on construit les objectifs, il y a deux parties distinctes ; l’une fixe, que l’on réalise avec nos certitudes ; l’autre plus spongieuse, plus aléatoire, plus difficile à appréhender ».

L’évaluation recouvre un ensemble de pratiques diverses. Il y a différents types d’évaluation. Le cas présenté

nous montre l’intérêt : − d’une évaluation externe ; − d’une professionnalité (détention de compétences précises) ; − d’une prise de conscience des contraintes pour construire le dispositif d’évaluation dans un cadre plutôt

strict, mais aussi de découverte des intentions (marges de libertés) pour un travail plus rapproché avec les partenaires du projet.

Evaluer c’est ECOUTER – CONNAITRE et RECONNAITRE Un clin d’œil avec une citation de COCTEAU : « Puisque ces mystères nous dépassent, feignons d’en être les organisateurs ! ».


Restitution de l’atelier 2 : « Evaluation du PTFE (Projet de Transformation de l’Ecole supérieure de Nabong en Faculté

d’Agriculture et des Forêts) »

Intervenant : Christian DESSALLIEN Expert indépendant

Animateur : Isabelle TOUZARD

Direction des Relations Internationales et de la Valorisation du CNEARC

Rapporteur : Dominique MATHIAS Responsable formation continue – ENSIA-SIARC

Projet /Action évaluée : projet franco-lao d’assistance à l’ESAN (PJ : document remis par expert) L’atelier s’est déroulé en trois temps :

1. présentation du projet franco-lao d’assistance à l’ESAN o historique ; o contenu ; o montage financier et technique ; o pérennité potentielle ; o évolutions prévisibles.

2. déroulement de la mission d’évaluation o décodage de l’appel d’offre d’évaluation émis par l’AFD (commanditaire de l’évaluation) ; o conduite pratique de la mission d’évaluation ; o formalisation et exploitation des données recueillies sur le terrain.

3. structuration de projet d’évaluation ou comment se préparer et préparer le projet d’évaluation pour être :

o Performant ; o utile pour l’avancement du projet évalué ; o partenaire plutôt que juge.

Les discussions et échanges ont été nombreux au cours des trois étapes. Les questions ont plus porté sur la

conduite du projet lui-même, que sur la conduite et la méthodologie de l’évaluation elle-même. Ce point devrait être approfondi à l’avenir, car il semble démontrer que les participants recherchent pour

beaucoup, une martingale susceptible de leur permettre de s’intégrer dans des actions plutôt qu’une réflexion de fond sur les objectifs, méthodes et moyens nécessaires pour la conduite d’actions réunies. Les trois points ci-dessus, sont repris en détails dans le développement qui suit.

PROJET FRANCO-LAO D’ASSISTANCE A L’ESAN

Le projet est porté depuis le début, par le CCL (Comité de Coopération avec le Laos) ONG constituée par des

amoureux et connaisseurs profonds du Laos. Cette animation et l’implantation très ancienne du CCL au Laos a conservé, même au moment de la vague communiste des années 70-80, ont été des facteurs majeurs de la réussite des actions et du partenariat franco-lao initié dans et autour du projet.

Suite à plusieurs petites actions bilatérales menées de 1984 à 1994, il a été décidé de monter un projet dont l'objectif était de faire passer une structure d’enseignement agricole et forestier du statut d’école d’agriculture à celui de Faculté. Cela signifiait en particulier, le renforcement des compétences des enseignants et la création de nouveaux départements scientifiques.

L’animation de ce projet a été confié au CCL en collaboration avec un lycée agricole, le MAE, le MAP. La gestion financière du projet a été réalisée par l’AFD (ex CFD).


La base de la coopération mise en place était constituée par la création de “ Binômes franco-lao ” entre un enseignant français et enseignant lao. L’enseignant français devait organiser et accompagner la formation d’un enseignant lao ; l’enseignant lao devait, quant à lui, transcrire ses connaissances dans la langue et le contexte laotien. Les principaux problèmes rencontrés au cours de cette action de compagnonnage ont été :

− les différences énormes de revenus entre les professeurs lao (qui gagnent environ 20 US $) et les experts et expatriés français ;

− la difficulté majeure était liée aux problèmes de traduction, les ressources locales en traducteur compétant étant proche de zéro ;

− la difficulté pour les professeurs lao de transcrire une méthode et un savoir français dans un contexte notablement différent ;

− la difficulté de faire évoluer les compétences des enseignants lao dont le niveau scientifique est souvent très faible.

DEROULEMENT DE LA MISSION D’EVALUATION

1. évaluation de l’appel d’offres :

A l’issue de l’appel d’offres, il est apparu à l’expert que l’AFD était prête à financer une deuxième phase de réalisation. L’objectif implicite de l’évaluation était donc de conforter cette volonté tout en indiquant expressément les points à améliorer. L’appel d’offres émis par l’AFD ne faisait aucunement mention de projets parallèles menés par la coopération allemande, l’intégration ou l’association du programme d’appui à l’ESAN aurait pourtant été judicieux. De même, il n’était pas fait état du programme général laotien de restructuration de l’enseignement agricole, dans lequel s’inscrivant pourtant le programme ESAN avec des objectifs ambitieux pour le Laos (formation de 1000 ingénieurs agronomes polyvalents).

2. grilles de sélection de l’expertise :

L’examen croisé des compétences de l’expert et de l’appel d’offres semble indiquer que les critères de sélection retenus ont été :

o l’expérience du Laos acquise dans le cadre de mission PNUD ; o la connaissance de systèmes éducatifs indochinois (évaluation au Cambodge).

3. conduite de l’évaluation

Durée effective de la mission : o préparation avant départ : 3 jours o sur place : 3 semaines o dépouillement : 1/3 du temps sur place o rapport : 2 jours

A noter le temps nécessaire au dépouillement significativement supérieur au temps prévu au contrat. L’évaluation sur place visait à caractériser les points suivants :

o utilité, impact sur le pays des étudiants formés à l’ESAN ; o budget de fonctionnement et modalité de financement de la faculté :

? la faculté ne peut pas tourner sans apport massifs de l’étranger ou des étudiants (85 % du budget).

o stratégie/projet d’établissement : ? pas de projet d’établissement formalisé.

o pérennité du projet : ? doutes s’il n’y a pas de changement statutaire significatif.

o cohérence du projet avec les besoins du pays : ? la définition des besoins est difficile à réaliser, de ce fait, la pertinence des objectifs de 1000 étudiants est éludée dans le cadre du projet.


STRUCTURATION DES PROJETS D’EVALUATION

Pour l’expert, la structuration évaluation de programmes de formation internationaux devrait être réalisée selon

une “ logique qualité ” qui devrait au moins intégrer les thèmes suivants :

1. pérennité du projet et nécessité : o vision élargie de l’évaluation ; o évaluation de la stratégie implicite ou explicite du projet.

2. professionnalisme de l’évaluation : o on ne s’autoproclame pas évaluateur, nécessite compétences et connaissances techniques de

l’amont et aval du projet. 3. compagnonnage /co-évaluation :

o l’évaluation sert à aider à la progression du projet. Pour éviter le risque d’interférence entre l’évaluation et les recommandations, il est nécessaire de séparer ces deux fonctions dans le temps.

En conclusion de l’atelier, le groupe participant a établi avec l’expert une démarche et une grille pour la conduite du programme d’évaluation.

4. démarche o environnement ? o infrastructures o résultats

? étudiants ? pédagogie ? enseignants

o relations externes ? autres universitaires ? autres universités ? partenariat avec développement rural

o processus de décision ? interne ? externe

o suivi projet ? par partenaire local ? par partenaire français ? par bailleur de fonds

o recherche / ingénierie ? insertion projet dans cadre général filière


Restitution de l’atelier 3 : « L'école andorrane : de l'évaluation à la prospective »

Intervenants : Jean-Louis HERMEN

Professeur à l’Université des Sciences Sociales de Toulouse I Bernard MONDY

Enseignant à l’Ecole Nationale de Formation Agronomique de Toulouse

Animateur : Bertrand QUETIN Formateur au CEMPAMA

Rapporteur : Paule DUPIN

Déléguée Régionale Ingénierie de Formation Auvergne

Remarque liminaire : Le déroulement de l'atelier n'a pas suivi strictement le «cahier des charges». Il s'est centré sur le cas présenté. Les questions ont permis d'approfondir sa connaissance et de comprendre la démarche d'évaluation mise en œuvre.

LE CONTEXTE

− les évaluateurs: deux universitaires et leurs équipes d'étudiants ; − l'objet d'évaluation: l'école andorrane dans son environnement .

Les éléments de contexte :

− l'Andorre, un pays complètement indépendant seulement depuis 15 ans ; − la création d'une école andorrane, à cette époque, pour des questions identitaires, à côté de deux autres

systèmes: le système français public, le système espagnol public ou privé, confessionnel ou non . Un système éducatif andorran relativement complexe ;

− un pays à démographie en croissance forte, à cause de l'immigration espagnole, et maintenant portugaise ; − un équilibre, pour un micro- état, entre France et Espagne, équilibre difficile à tenir.

L'ECOLE ANDORRANE, L'OBJET ETUDIE

− école créée par les enseignants et les familles, avec une forte exigence pédagogique (MONTESSORI, multilinguisme…) ;

− croissance continue de ses effectifs ; − « montée » progressive du primaire au bac.

PRINCIPALES PROBLEMATIQUES ABORDEES PENDANT L'ATELIER

1. l'élaboration de la question posée : les interlocuteurs des universitaires sont arrivés avec une question de localisation d'université. 9 mois après, on est sur une question d'évaluation:

o temps long mais indispensable de mise en confiance; o recherche pendant ce temps de personnes ressources.

2. l'évaluation est d'abord politique : o derrière la question d'évaluation de l'école andorrane au sein du système éducatif andorran, se pose

la question de l'équilibre entre ses composantes espagnole et française ; o les interlocuteurs ont adhéré à la démarche d'évaluation à partir du moment où elle est apparue

clairement comme une démarche prospective, aboutissant à des scénarios de gestion du système éducatif.

3. l'évaluation est systémique, tout au long de la démarche («la petite musique française»!) o dans la définition de la question : «l'évaluation de l'école andorrane au sein de son

environnement, avec sa complexité» ;


o dans l'analyse du contexte: analyse des données concernant l'ensemble des facteurs qui peuvent conditionner le système éducatif, analyse aussi des autres systèmes (français et espagnol) ;

o dans la conduite de l'évaluation elle-même: indicateurs portant sur les relations entre les différents systèmes, recherche des représentations de l'école andorrane par l'ensemble des acteurs (ceux de l'école andorrane mais aussi ceux des autres écoles), présentation des indicateurs confrontés aux représentations…

4. l'évaluation a construit ses outils ex post, référentiels comme indicateurs . o l'élaboration des référentiels d'évaluation a consisté à collecter et classer les objectifs énoncés dans

différents documents, à différentes occasions ; o le classement des référentiels en trois ensembles - référentiels de formation, référentiels de

production de la formation, référentiels d'effets attendus de la formation - a été validé par les demandeurs ;

o à partir de ces référentiels, des questions sont élaborées, des thématiques d'évaluation ; o les indicateurs sont construits chemin faisant. Indicateurs quantitatifs construits au fil des sources

accessibles ou non… Par exemple, sur les sujets sensibles, les données ont dû être collectées par une stratégie de contournement (c'est le cas notamment pour la question du multilinguisme affiché mais pas aussi effectif que cela).

5. l'évaluation a été utilisée comme moyen d'information des acteurs politiques , mais aussi comme outil de formation. Le modèle d'évaluation adopté sera utilisé à l'avenir.

6. la prospective : elle a décliné des scénarios possibles, avec des hypothèses construites à partir des constats. Ces scénarios définissent à la fois des valeurs pour les indicateurs, mais préconisent aussi des modes d'évaluation. 3 scénarios: gestion concurrentielle non régulée des différents systèmes éducatifs, gestion concurrentielle régulée, gestion étatique.

UNE QUESTION DE FOND

Finalement, au delà des scénarios, émerge une question de fond : faire face à une croissance de l'école andorrane, croissance qui peut être fragile. Le dynamisme pédagogique peut être remis en cause par des contraintes budgétaires.

Une situation que l'enseignement agricole connaît bien…


Restitution de l’atelier 4 : « Evaluation du projet MANFORME en Tunisie »

Intervenant : Pierre RUNNER

Chargé de mission, Institut International de Planification de l’Education, UNESCO

Animateur : GIROUX Directeur de la Section des Industries Agroalimentaires des Régions Chaudes de l’ENSIA

Rapporteur : Jean METGE

Responsable coopération internationale de l’ENFA PRESENTATION DU PROJET

L’objectif global est de contribuer, à travers la mise à niveau de la formation professionnelle (FP), à l’amélioration de la compétitivité des entreprises tunisiennes dans le contexte d’ouverture des marchés et notamment de l’établissement d’un zone de libre échange avec l’UE. Les objectifs spécifiques portent sur :

- l’identification et la définition, qualitative et quantitative, des besoins en compétences des entreprises ; − le renforcement de la capacité d’accueil, de la qualité et de la capacité de réponse du système de FP public

et privé ; − l’établissement d’une démarche qualité au sein du Ministère de la Formation Professionnelle et de l’Emploi

(MFPE) et des institutions sous tutelle.

Il s’agit donc d’un programme dont l’objectif économique est prioritaire. Mais l’objectif social est également présent puisque la création d’emplois est recherchée.

Le projet concerne tous les secteurs d’activités : industrie, artisanat, tourisme, agriculture… Il porte sur la

période 1998-2003. Mais compte tenu des retards accumulés liés à de problèmes de procédures, on peut considérer que les actions n’ont véritablement commencé qu’en 2000.

Le financement alloué est très important : 450 millions d’Euros dont 45 millions de prêts par la Banque Mondiale et 45 millions sous forme de dons par l’Union Européenne. Différentes autres « Coopérations » parmi lesquelles la Coopération Française interviennent également. Le solde étant à la charge de l’Etat tunisien.

L’assistance technique représente une part importante de l’opération : 30 millions d’Euros au total. L’EVALUATION

Réalisée à la demande de la Commission européenne, elle concerne principalement les opérations conduites dans le cadre de MANFORME/UE. Elle a été conduite par 2 consultants de l’Institut International de la Planification de l’Education sur 2 semaines en février 2001.

Il s’agissait à l’origine d’une évaluation à mi-parcours, mais en raison des retards de calendrier, l’opération s’est transformée en évaluation de démarrage. La déma rche utilisée repose sur les procédures d’évaluation en vigueur pour tous les programmes conduits par l’UE. Mais les « indicateurs objectivement vérifiables » (IOV) qui figurent dans le « cadre logique » n’ont pu être tous utilisés en raison de la précocité de l’opération d’évaluation. En fait les thèmes principaux abordés ont été les suivants :

− l’utilisation des fonds ; − la complémentarité entre les interventions de l’UE et celles des autres bailleurs ; − la pertinence des premières actions par rapport aux objectifs ; − la révision éventuelle de certains IOV (tous n’étaient pas, semble-t-il, très clairs au départ).

La mission d’évaluation de durée limitée a fait l’objet d’un programme très dense préparé par l’Unité de

Gestion du Projet (UGP) en place auprès du MFPE. La plupart des acteurs concernés (Ministre, directeurs centraux, responsables des services déconcentrés, échantillon d’entreprises, centres de formation ,… ) ont pu être rencontrés.


La mission s’est déroulée dans un climat favorable de confiance réciproque grâce aux relations privilégiées existant au préalable entre Mme le Ministre de la Formation Professionnelle et de l’Emploi et les experts évaluateurs.

Le rapport d’évaluation porte une appréciation dans l’ensemble positive sur le démarrage du programme. Quelques point ont été relevés par l’intervenant :

− par exemple, il semble bien que les entreprises se soient mobilisées fortement pour définir leurs besoins en compétences et que le fonctionnement des structures en charge de l’opération soit satisfaisant ;

− quelques freins ont cependant été décelés. Le passage d’un logique d’offre de formation à une logique d’analyse et de réponse à une demande n’est pas toujours bien perçue par la Direction de la gestion des centres de formation professionnelle qui voient dans ce processus un affaiblissement de leur pouvoir de contrôle.

LES DEBATS

De nombreux éléments ont fait l’objet de demandes de précisions auprès de l’intervenant.

Quelques points ont plus particulièrement été débattus : 1. la méthodologie « cadre logique » : le cadre logique d’un projet comporte des « indicateurs objectivement

vérifiables » bien définis. Les procédures d’évaluation privilégient ces indicateurs. Ceci constitue un cadre sécurisant. Mais n’y a-t-il pas là un risque de nuire à la nécessaire dynamique d’un projet ?

2. l’évaluation de démarrage : Comment se situe-t-elle par rapport aux autres types d’évaluation : ex/ante ; en cours ; ex/post ; d’impact ? A quoi sert-elle véritablement ? Quelle méthodologie adopter puisque les IOV ne sont plus alors utilisables ?

3. la posture de l’expert évaluateur : Comment concilier la distance indispensable à conserver vis à vis des opérateurs du projet, et la relation humaine à établir, nécessaire à l’obtention d’informations et à la compréhension des faits, mais susceptible ensuite d’ altérer le jugement ?


Restitution de l’atelier 5 : « Evaluation de l’EIER – ETSHER de Ouagadougou»

Intervenant : Benoît THERY

Thery International Management

Animateur : Pierre DEBOUVRY Consultant indépendant

Rapporteur : Louis DUPUY

Direction des Relations Internationales et de la Valorisation du CNEARC

PRESENTATION

L’IER-ETSHER1 sont deux institutions d’enseignement supérieur agricole régional créées au début des années 70, pour former des cadres de l’équipement et de l’aménagement rural.

Ce sont des écoles inter-états, placées sous l’autorité d’un Conseil d’Administration, où chacun des 14 pays membres (pays francophone de l’Afrique de l’Ouest et du Centre) est représenté par un Ministre.

Ces structures ont été créées sous l’égide de l’OCAM2 par la coopération française aux fins de constituer un outil d’intégration régionale et un moyen de formation de haut niveau permettant de dispenser, au Sud du Sahara, des formations qualifiantes comparables à celles des grandes écoles du Nord.

Pour ce faire, le concours de la France a été formalisé par des conventions pluriannuelles de financement (4 ans) fixant le cadre, le contenu et les modalités d’un appui conséquent concernant la mise à disposition de l’assistance technique, l’attribution de bourses d’études et de stages et l’octroi de subventions de fonctionnement.

Cette coopération bilatérale a été complétée ensuite par d’autres partenaires (Allemagne, Danemark, Pays Bas, Union Européenne) ainsi que par l’Agence Universitaire de la Francophonie (AUF).

Fin 1996, à l’échéance des conventions, la France, premier contributeur, a souhaité réaliser un bilan de son appui pour lui permettre de définir de nouvelles modalités de coopération dans le cadre de projets d’établissements et des concours apportés par les autres partenaires financiers. EVALUATION-DEBAT

Il a ainsi été demandé à un cabinet de consultant indépendant une « étude d’évaluation des conventions de 1992 à 1996 », par la réalisation de deux missions (de 10 jours chacune) effectuées à 3 mois d’intervalle.

La première mission portait sur le bilan proprement dit des activités de chaque école et sur l’évaluation de la coopération française dans ses différentes composantes.

La deuxième, concernait l’étude des projets d’établissement de chaque école et de leur adéquation à l’environnement socioprofessionnel des états membres, l’analyse des possibilités et conditions de rapprochement des deux structures, l’estimation des moyens nécessaires à ces projets et du concours possible de la France en cohérence avec celui des autres bailleurs de fonds.

Dans le cas précis de l’étude demandée par la coopération française, les participants de l’atelier ont souligné l’ambiguïté de l’exercice qui leur était demandé. En effet, le cas présenté ne concernait pas une évaluation sensu stricto ce qui aurait conduit à s’interroger sur l’évaluation d’un système de formation proprement dit.

Les discussions de l’atelier ont donc été recadrées afin qu’elles puissent s’inscrire dans l’esprit des prestations demandées au consultant. Elles ont essentiellement porté sur la démarche adoptée, la participation des acteurs concernés, les difficultés rencontrées et les résultats obtenus.

1. démarche : les données documentaires (rapports annuels, conventions, décisions du CA, etc…) ont permis de définir trois grands axes de références :

o l’adéquation des formations à l’emploi et la professionnalisation de la formation ; o la production quantitative (diplômés dans les différentes filières) et l’équilibre économique des

écoles, (structure du budget, financements, coûts de formation) ; o l’évolution stratégique : africanisation et rapprochement des établissements.

1 Ecole Inter-Etats d’Ingénieurs de l’Equipement Rural et Ecole de Techniciens Supérieurs de l’Hydraulique et de l’Equipement Rural. 2 Organisation Commune Africaine et Malgache (OCAM)


2. implication des acteurs : la réalisation de l’étude en deux phases a permis à chacun des partis de se

ménager un temps de réflexion-action (à partir d’un rapport intermédiaire) et de faciliter une démarche participative des responsables concernés. Il s’agissait de faire surgir au sein des établissements la conscience de l’existence de problèmes et de la nécessité de leur résolution pour susciter une évaluation interactive entre le consultant et ses interlocuteurs.

3. difficultés rencontrées : la conjugaison d’une situation locale contraignante (écoles sous perfusion financière rendant difficile une analyse objective conduisant à des ajustements des moyens, ceci dans un contexte national difficile 1) et une durée d’intervention limitée (2 X 10 jours) aurait pu constituer un obstacle majeur à l’aboutissement de l’évaluation, n’eût été la disponibilité réciproque des deux partis à collaborer de manière constructive et aussi l’implication effective et volontaire du président du conseil d’administration2. Ces difficultés étaient exacerbées par les rivalités entre les deux établissements entretenant des contentieux subalternes fondés sur le degré de hiérarchie dans les valeurs académiques dévolues à chacun d’entre eux : école d’ingénieurs – école de techniciens.

CONCLUSION

La longue préparation en amont de l’évaluation proprement dite par les services de la coopération, le suivi effectif des établissements par le président du CA, l’implication des acteurs concernés et le professionnalisme de l’évaluateur ont contribué à faciliter une concertation effective entre les partis. Cette concertation a permis d’atteindre les objectifs explicites et implicites fixés à l’évaluation : réajuster l’appui français sans porter atteinte aux finalités pédagogiques des écoles. Concrètement, « l’évaluation » a permis à la coopération française de se positionner sur une mise en commun des moyens des deux écoles permettant des économies d’échelle et une réduction des coûts de formation. Elle a aussi conduit à des modalités plus rationnelles de l’appui français grâce à une mise en cohérence avec les autres partenaires financiers.

1 période d’après dévaluation du FCFA, et de défonctionnarisation des débouchés 2 Ministre de l’Hydraulique du Sénégal


Synthèse des ateliers « Décalages de sens - couples infernaux et redoutables -

Le doute comme ferment du toujours un peu mieux »

René COUDRAY Enseignant chercheur au département des sciences de la formation et

de la communication à l’ENESAD

Cette synthèse des ateliers est une synthèse « décalée » dans la mesure où nous avons travaillé avec des groupes très variés ayant fonctionné de manière différente, où nous avons tenu compte des apports de toute la journée, et surtout pour faire part de la complexité, déjà relevée par ailleurs, de l’évaluation.

L’humilité nécessaire face à cette complexité nous amène ici à souligner les différences, relever les contradictions, dévoiler les paradoxes, ou tous autres phénomènes qui s’opposent ou se contrarient selon des couples conceptuels « redoutables » et « infernaux », à prendre en compte comme évaluateur. LE CONSTRUIT ET LE « À CONSTRUIRE »

− cadre logique (prédéfini) / Logique du constructivisme (cadre à construire) − méthodes, référentiels et outils prédéterminés à visée universelle (fermé et figé) / méthodes, référentiels et

outils construits par les acteurs concernés, dans leur contexte singulier de vie et de travail (dynamique et ouvert)

− multiplicité et variété constatées des démarches d’évaluation / Insistance indécente à penser que sa démarche est meilleure que celle du voisin

− rigueur de préconstruits rigoureusement standardisés / Incomplétude et imprécision inévitable de se qui se définit dans la mouvance sociale

? Vers une réadaptation de tout construit antérieur

LE RATIONNEL ET L'IRRATIONNEL

− Art / Science et Art / Évaluation / Bricolage : qui donc, de tout évaluateur ou même chercheur, n’aurait jamais bricolé ?

− créativité vivifiante - inconfort de l’imprévu / répétition mortifère - confort du connu − sensibilités humaines (l’essentiel de la vie) / compétences techniques (le nécessaire pour maintenir

l’essentiel !) − interdit du jugement personnel / « Inacceptabilité » d’intolérables humains − l’évaluateur doit rester neutre / l’évaluateur ne peut pas nier ses valeurs

? Vers une explicitation des référents éthiques des personnes concernées (dont ceux de l’évaluateur)

LE DEDANS (INTERNE) ET LE DEHORS (EXTERNE)

− évaluation par un externe qui connaît moins le contexte / Évaluation interne qui peut s’engluer dans l’auto satisfaction (ou l’auto flagellation) non constructive

− évaluation externe qui distancie et permet l’objectivation / Evaluation interne qui répond de l’essentiel souvent caché et rend compte de l’histoire non écrite

− participation de l’autre / Suprématie de mes convictions et de mes certitudes − professionnalité de l’évaluateur / Approximations des acteurs de terrain

? Vers une co-évaluation, vers des regards croisés ? Vers une humilité et une reconnaissance de ses limites ? Vers des écoutes réciproques


SAVOIRS ET POUVOIRS, SCIENCES ET POLITIQUES Évaluation pour quoi, pour qui, pourquoi faire, pour servir à qui ?

− évaluation objective et neutre (mission impossible) / Évaluation pour donner valeur à … (au sens étymologique : mission difficile)

Quelle fonction ?

− évaluer pour produire de l’information / Évaluer pour produire du sens / Évaluer pour évoluer / Évaluer pour préconiser / Évaluer pour décider /Évaluer pour contrôler

Quelle démarche ?

− évaluer les autres / Évaluer pour les autres / Évaluer avec les autres / Apprendre à évaluer aux autres ; − répondre à la demande / Se soumettre au cadre de références.

? Vers une demande d’évaluation qui commence par une évaluation de la demande

ÉVALUATION DU TEMPS ET TEMPS DE L’ÉVALUATION

− évaluation avant, pendant, après … − évaluation court terme / moyen terme / long terme (impact social) − durée de l’évaluation / qualité de l’évaluation − coût de l’évaluation / bénéfice de l’évaluation − temps et calendrier de l’évaluateur / temps et calendrier du décideur


Conférence : « Normalisation : – Démarche qualité et évaluation »

Président de la séance : Hassine BOUZOUITA

Directeur Pédago Technique de l’Agence de Vulgarisation et de Formation Agricoles au Ministère de l’Agriculture et de la Pêche de la Tunisie.

a Tunisie s’est engagée depuis plusieurs années dans une réflexion approfondie sur la rénovation de son dispositif de formation professionnelle agricole, d’abord dans le cadre d’une coopération avec le ministère français de l’Agriculture et de la Pêche et plus particulièrement l’ENESAD et plusieurs établissements

d’enseignement technique. Cette réflexion doit également se développer à l’avenir dans le cadre du projet MANFORME qui vous a été

présenté dans un des ateliers cette année, ainsi qu’avec son volet agricole que j’étais venu présenter avec Alain JAZE de l‘ENESAD l’année passée aux cinquièmes journées « Ingénierie des dispositifs de formation à l’international ». Pour ce faire, nous réalisons un colloque sur l’avenir de la formation professionnelle agricole à Tunis les mercredi 24 et jeudi 25 octobre 2001 sur le thème : « Quelle formation professionnelle pour le développement de l’agriculture et de la pêche en Tunisie ? ».

Ce colloque doit tout à la fois assurer l’évaluation des activités de coopération conduites avec les partenaires français depuis trois ans mais aussi fixer les orientations de la formation professionnelle agricole pour la Tunisie à l’avenir.

Hassine BOUZOUITA présente ensuite Laurent CAMBEROU, Chef de Projet dans le département international de l’Association française de NORmalisation (AFNOR).

Intervenant : Laurent CAMBEROU Chef de Projet dans le département international de

l’Association française de NORmalisation (AFNOR).

on intervention a pour objectif de décrire les mo dalités et les résultats de l’évaluation du projet «PRAQ III CEN HACCP1 - Training on HACCP and EU related legislation» financé par la Communauté Européenne dans le cadre du programme PHARE.

Cette courte étude comprend les éléments suivants :

− les objectifs de l’évaluation réalisée ; − la séquence d’évaluation choisie ; − les outils d’évaluation utilisés ; − les résultats des évaluations recueillis.

OBJECTIFS DE L’EVALUATION PEDAGOGIQUE

1. description du contexte : ce programme avait pour objectif de former à la fois des industriels et des inspecteurs de 13 PECOs (Pologne, Hongrie, Roumanie, Bulgarie, Rép. Tchèque, Rép. Slovaque, Estonie, Lettonie, Lituanie, Slovénie, Macédoine, Bosnie-Herzégovine, Albanie) à la méthode HACCP et à la réglementation européenne associée (directive 93/43 CEE , Bonnes Pratiques de Fabrication,…etc). Parmi ces 13 pays, 10 pays sont candidats à l’adhésion à l’Union Européenne et doivent de ce fait reprendre l’acquis communautaire, en particulier en ce qui concerne l’hygiène et la sécurité des denrées alimentaires. Pour les 3 autres, Macédoine, Bosnie-Herzégovine, Albanie, l’objectif est de graduellement s’aligner sur les pratiques communautaires dans ce domaine.

2. construction du programme de formation : une série de 13 séminaires (3 jours x 2 intervenants) a été réalisée, suivie d'une série de 26 ateliers pratiques (2 jours x 3 intervenants) basés sur des études de cas. L'ensemble de ces sessions de formation s'est déroulé sur la période de janvier à octobre 2000. A noter que

1 HACCP – Analyse des risques – Points critiques pour leur maîtrise

L

M


4 ateliers complémentaires et 1 séminaire ont été ajoutés en complément pour la Slovénie. La participation moyenne sur l'ensemble du programme a été la suivante :

? soit 35 personnes en moyenne par séminaire (45% industriels; 45% inspecteurs, 10% autres). ? soit 19 personnes en moyenne par atelier (52% industriels; 35% inspecteurs; 13% autres).

Ceci porte le nombre total de personnes formées à 940, soit 449 lors des séminaires et 491 lors des ateliers. Ce chiffre inclus les ateliers et séminaires additionnels. L'équipe d'intervenants (soit 15 experts au total) s'est enrichie et s'est formée à ce type d'intervention tout au long du programme. A noter l'intérêt de composer une équipe mixte de centres techniques, de consultants et de laboratoires publics pour ce type de programme. Au total le nombre d'intervention a été de : 307 jours-hommes sur 10 mois.

3. objectifs du programme de formation : les objectifs pédagogiques fixés au départ étaient les suivants » à la fin des sessions les participants devront être familiarisés avec le HACCP et les BPF et capable des les mettre en place dans leurs entreprises ». Pour pouvoir mesurer l'atteinte de ce type d'objectif « professionnel » il faudrait réaliser une évaluation « à froid », par exemple six mois après les sessions, pour connaître le degré de reprise des outils proposés dans le cadre de l'activité professionnelle des participants. Une telle évaluation «à froid» n’a pas été réalisée sur ce programme, néanmoins, les évaluations « à chaud » laissent apparaître un niveau global de satisfaction qui augmente en cours de programme, notamment quand on compare les séminaires et les ateliers, ce qui laisse supposer que la séquence « séminaire théorique + applications pratiques » a satisfait les attentes des participants mais aussi que le contenu s'est amélioré au fur à mesure des sessions. En effet de nombreuses modifications et adaptations ont été introduites en cours de programme pour atteindre ces bons indices de satisfaction (ex. adaptation des études de cas proposées aux produits locaux). Ceci s'explique car l'hétérogénéité des niveaux des participants et des attentes divergentes des différents pays a suscité des adaptations et des modifications multiples sur les sessions de la part des intervenants.

SEQUENCE D’EVALUATION PEDAGOGIQUE La séquence d’évaluation choisie a été la suivante (cf. en annexe le cycle de la formation) :

− une première évaluation au stade de la rédaction des scénarios de formation (avec le commanditaire et un expert extérieur à l’équipe de projet AFNOR) ;

− une évaluation pour chaque séminaire (participants et intervenants) ; − une évaluation pour chaque atelier (participants et intervenants) ; − une évaluation pour chaque session supplémentaire (participants et intervenants) ; − une évaluation d’ensemble suite à la conduite des formations.

A noter que l’évaluation des besoins n’a pas été réalisée dans le cadre de ce programme, mais qu’elle était

déjà « figée » dans les termes de références proposés par le commanditaire. OUTILS D’EVALUATION PEDAGOGIQUE Les outils d’évaluation pédagogiques utilisés sont les suivants :

− une fiche d’évaluation par stagiaire/ par session ; − une fiche d‘évaluation par intervenant /par session ; − une synthèse mensuelle des fiches d’évaluation ; − un rapport de synthèse finale sur l’ensemble du programme.


RESULTATS DES EVALUATIONS PEDAGOGIQUES

Des échelles de notation numériques ont été utilisées pour l’ensemble des évaluations. Ces indicateurs numériques fournissent une première indication en matière d’évaluation qui doit être complétée/confirmée par les appréciations qualitatives des participants et des intervenants.

Deux types de notation ont été mises en places, une notation sur les aspects pédagogiques du programme et une notation sur les aspects logistiques des formations. Ces indicateurs sont des outils précieux en termes de pilotage de projet (boucles de rétroaction). Mais ils ne renseignent pas véritablement les opérateurs du projet sur l’atteinte des objectifs pédagogiques du programme. Pour cela, il faut utiliser un second type d’indicateurs, les échelles de degrés d’acquisition (E.D.A.), grâce auxquelles chaque participant mesure sa progression dans l’acquisition des concepts clés du programme.

Sont cités pour exemple, les résultats des différentes évaluations numériques réalisées :

− pour les aspects pédagogiques : les indices de satisfaction globaux sont les suivants, soit 3,67 sur 4 pour l'évaluation globale des stagiaires sur la formation au plan pédagogique. Ci-après le tableau des notes globales sur l'ensemble des sessions (soit 39 sessions au total) :

Qualité

des échanges Progression pédagogique

Exemples et exercices pratiques

Atteinte des objectifs pédagogiques

3,74 3,71 3,76 3,88

− pour les aspects logistiques : les indices de satisfaction globaux sont les suivants, soit 3,66 sur 4 pour l'évaluation globale des stagiaires sur les aspects logistiques. Ci-après le tableau des notes globales sur l'ensemble des sessions (soit 39 sessions au total) :

Accueil des stagiaires

Salle et équipement

Restaurant et pauses

Documentation

3,91 3,55 3,53 3,86

LEÇONS A TIRER

Les enseignements principaux des évaluations pédagogiques réalisées dans le cadre de ce programme sont les suivants :

− les évaluations nous ont servis de « fil conducteur » tout au long du déroulement de ce programme ; − les différentes évaluations ont permis de connaître les véritables besoins des participants (notamment via

les données qualitatives recueillies) ; − les évaluations avec indicateurs numériques ont permis de réagir et de modifier certains scénarios de

formation (ex. en s’adaptant aux besoins spécifiques d’un pays) ; − l’analyse post-mortem de l’ensemble du programme a permis de capitaliser des connaissances et

expériences réutilisables pour de futurs programmes.

Pour conclure, les dispositifs d’évaluation mis en place pour ce projet ont permis, à la fois un meilleur pilotage du projet (selon le principe d’équilibre entre le budget, les délais et la qualité), mais également le suivi de l’atteinte des objectifs pédagogiques et la prise en compte des besoins des participants. Enfin les résultats des évaluations sont une source précieuse en matière de capitalisation en vue de la construction de nouveaux programmes de formation.


ANNEXE : CYCLE DE LA FORMATION (extraits FAO service de la formation)

Etude des besoins

Evaluation et

rétroaction

Définition des objectifs

Organisation du contenu

Rédaction des scénarios de

formation

Conduite de la

formation


Présentation d’une grille de conduite de projet de formation

Intervenants : Pierre DEBOUVRY

Consultant Anne-Marie GRANIE

Enseignant chercheur au département Economie et sociologie rurale de l’ENFA Gérard GABORIAUD

Directeur adjoint du FAFSEA Alain MARAGNANI

Inspecteur de l’enseignement agricole chargé de la mission de coopération internationale Dominique RAGOT

Délégué régional Ingénierie de Formation Franche-Comté LA COMMANDE

Jean-Pierre DESTOUESSE, Sous-Directeur de la DGCID du ministère des Affaires étrangères avait informé les participants des quatrièmes journées d’études du fait que le Directeur de la Coopération Technique, Pierre JACQUEMOT, avait sollicité le DGER pour que soit mis en place un groupe de travail et de réflexion sur l'ingénierie des dispositifs de formation dans les domaines agronomiques et de l'environnement, liés à la coopération internationale, avec trois objectifs principaux :

1. capitaliser les expériences significatives sur ce thème et formaliser, structurer les concepts et les outils qui les sous-tendent ;

2. produire des documents supports en vue d'une communication large sur ce sujet en direction des personnels en postes, des assistants techniques et surtout de nos partenaires étrangers avec lesquels nous coopérons en matière de projets de développement agricoles ;

3. faire émerger et ensuite accompagner deux ou trois projets pilotes qui pourraient servir de «vitrine» à l'expertise française, notamment à celle qui est concentrée au sein de la DGER.

C’est dans ce cadre de travail que les responsables des bureaux de la formation professionnelle et de

l’enseignement technique (DGCID / DCT) du ministère des Affaires étrangères et de la coopération internationale (DGER / FOPDAC) du ministère de l’Agriculture et de la Pêche ont demandé la rédaction d’un document de synthèse à un petit groupe composé de Pierre DEBOUVRY, Anne-Marie GRANIE, Gérard GABORIAUD, Alain MARAGNANI, Dominique RAGOT.

Les objectifs donnés à ce travail étaient d’élaborer un document de référence pour la création ou la rénovation de dispositifs de formation agricole qui soit utile :

− aux initiateurs de projets de formation : personnels des ambassades et assistants techniques du ministère des Affaires étrangères, responsables d’ONG…

− aux intervenants dans l’appui aux projets de formation : personnels des établissements du service public d’enseignement agricole et des organismes réalisant des expertises à l’international.

Par ailleurs, la forme de ce document était précisé : un document de 4 pages de type 21 / 29.7 sur le modèle

du document réalisé par le ministère des Affaires étrangères en 1999 « Pour une nouvelle approche de la formation professionnelle et technique », aujourd’hui épuisé et qui avait été édité à 5000 exemplaires.

Enfin, le contenu du document devait préciser les éléments clefs d’une démarche de création ou de rénovation d’un dispositif de formation.


LA DEMARCHE ET SES RESULTATS

Le groupe a travaillé en analysant les différents types d’expertise auxquels ils ont participé (phase de « décontextualisation »), lesquelles étaient extrêmement différentes (revue de sous secteur de formation, vulgarisation et animation, formation diplômante, formation professionnelle initiale et continue, formation de responsables agricoles et professionnalisation de base, formation de formateurs…) afin d’identifier des « invariants », à savoir des opérations clefs dans la mise en œuvre d’actions d’ingénierie des dispositifs de formation. En effet, celles-ci doivent pouvoir servir de base à la conduite d’activités d’expertise mais aussi à la définition de référentiels d’activités en ingénierie des dispositifs de formation à l’international. Les éléments identifiés ont alors été confrontés avec l’étude de quelques projets passés, présents ou en cours d’élaboration (Tchad, Cambodge, Maroc). Cette démarche devait permettre de « référencer » des types de prestations, avec leur objet, les éléments de la démarche et les méthodes utilisées, et leur adaptation à des contextes particuliers..

Ces différents éléments permettent d’identifier les trois composantes d’une démarche d’ingénierie pour la création ou la rénovation de dispositifs de formation :

1. une première composante « ingénierie de formation » ; 2. une seconde d’ « ingénierie de projet » ; 3. une troisième enfin d’ « ingénierie sociale ».

1. ingénierie de formation, car la formation sociale et professionnelle préparant à un métier, ou une famille

de métiers, est au cœur de la démarche. A partir de l’analyse des activités professionnelles, il s’agit d’analyser les compétences susceptibles d’être acquises par la formation. Le référentiel d’activités professionnelles permettra d’élaborer les objectifs pédagogiques dans une logique différente : celle de l’apprentissage à des activités professionnelles en utilisant des méthodes didactiques appropriées. Si cette logique de préparation à des activités professionnelles apparaît indispensable en rapport aux évolutions rapides des situations économiques et sociales, il faut éviter l’excès d’une démarche développant « la procédure » au dépend des objectifs du projet et des intérêts de ses acteurs ! Les différents éléments d’une démarche d’ingénierie de formation (analyse des activités, des compétences, définition des objectifs de formation) ne sont pas une fin en soi mais des outils pour une action qui se conduit dans le cadre d’un projet de développement.

2. ingénierie de projet car un projet éducatif est situé dans une vision d’avenir à moyen et long terme : o aux objectifs et aux moyens de court terme évolutifs... o dans un temps limité et articulant différentes phases de réalisation jusqu ’à l ’autonomisation

du dispositif Les différentes structures de financement ont arrêté un certain nombre de règles en matière d’identification, de formulation, de mise en œuvre et d’évaluation de projets. Jadis conçues selon un strict découpage linéaire (orientations du Plan, conception du projet, exécution, évaluation), elles ont évolué vers, des phases d’identification moins contraignantes pour la future exécution parce que moins détaillées et moins rigides et, d’autre part, des phases de réalisation plus dynamiques au travers d’un processus de mise en œuvre et d’évaluations périodiques avec ajustements permettant de finaliser la construction du projet au fur et à mesure de son déroulement.

3. ingénierie de projet, l’ingénierie des dispositifs de formation est également une ingénierie sociale, parce qu’elle participe au développement « des capacités de diagnostic, d’organisation, de négociation et d’évaluation mises à la disposition des acteurs locaux pour favoriser le développement des initiatives et soutenir leur mise en œuvre »1 en matière de formations agricoles. La création, ou la rénovation de dispositifs de formation, exigent l’intervention des différents acteurs concernés par la formation, et notamment des bénéficiaires, dans la définition des principales caractéristiques du projet : finalités, méthodes, contenus… Les producteurs et productrices agricoles ont des attentes vis à vis de la formation, notamment qu’elle leur donne les moyens de leur autonomie en leur permettant de raisonner leurs objectifs et les conditions de leurs productions dans des conditions économiques et sociales en constantes évolutions. La mise en œuvre de ces projets participe ainsi à la à la structuration et l’organisation sociale autour de la conduite d’un projet commun aux différents types d’acteurs concernés. Il convient d’initier des démarches de coopération entre les différents types d’acteurs, groupement d'individus ayant des intérêts communs et associés dans l’action (groupements paysans, coopératives, organismes de développement, administration publique, commanditaires, financeurs), pour qu’ils construisent ensemble, dans un processus contradictoire, les éléments de leur propre développement.

1 De GAULEJAC.V, BONETTI.M, FRAISSE.J. « L’ingénierie sociale ». Editions Syros. 1995.


Table ronde : «Avec qui, quand et comment évaluer les projets

internationaux de formation ? »

Intervenants : Sadika BENSLIMANE Chargée de mission, Centre International d’Etudes Pédagogiques

Christian DESSALLIEN expert indépendant

Pierre RUNNER IIPE-UNESCO

Benoît THERY Thery International Management

Animateur : Jean-Yves MALEGEANT

Enseignant chercheur, ENITIAA − Jean-Yves MALEGEANT, enseignant chercheur à l’ENITIA de Nantes, présente l’objectif de cette table

ronde : mettre en évidence les différentes formes et démarches d’évaluation, lesquelles peuvent dépendre des contextes des projets de formation, des objectifs poursuivis, des conditions de réalisation… Pour cela , nous avons demandé aux experts qui ont présenté les études de cas de participer à cette table ronde. Il s’agit de Sadika BEN SLIMANE qui travaille au département Coopération en Education du Centre International d’Etudes Pédagogiques de Sèvres du ministère de l’Education nationale, de Christian DESSALLIEN qui est un expert indépendant et intervient pour différents organismes (Banque mondiale, Agence française de Développement, MAE...), Pierre RUNNER, de l’Institut International de Planification de l’Education qui est un organisme de l’UNESCO qui forme des responsables de systèmes de formation et enfin de Benoît THERY, de Théry International Management qui intervient également pour des organismes internationaux ou nationaux.

Notre table ronde se déroulera en trois parties, une première de présentation des objectifs généraux de la table ronde et des intervenants, ce que nous venons de faire, une seconde de questionnement de nos participants sur la base de trois questions que je leur propose suite aux restitutions des ateliers, une troisième partie enfin de réponses aux questions de la salle.

La première question : vous intervenez à la demande d’organismes divers, souvent financeurs du projet de formation, quel est le degré d’indépendance de l’évaluateur ? QUEL EST LE DEGRE D’INDEPENDANCE DE L’EVALUATEUR ? − Sadika BENSLIMANE. Le degré d’indépendance de l’évaluateur ne peut pas se poser en dehors de la question

des critères de recrutement de l’évaluateur et du référentiel de l’évaluation. Dans de nombreuses évaluations de projets de formation, l’organisation finançant le projet a des exigences concernant le recrutement de l’évaluateur, lesquelles se concrétisent dans des critères de recrutement, la définition d’un « profil » de l’évaluateur pour l’évaluation précise qui est demandée. Le Centre International d’Etudes Pédagogiques est intervenu dans une série d’évaluations de projets de formation pour le ministère des Affaires étrangères, évaluation pour lesquelles, à chaque fois, le profil de l’intervenant était très précisément défini. Le fait de répondre aux critères de choix permet aussi de définir le degré d’indépendance de l’évaluateur.

− Benoît THERY. Le degré d’indépendance de l’évaluateur est aussi fonction du commanditaire lui même. La

question est notamment : qui paie l’évaluateur ? Le plus souvent, c’est le bailleur de fonds du projet de formation qui finance l'évaluation car l’Etat partenaire a rarement les moyens de le faire. Or, il peut donc y avoir des différences d’appréciation, de souhaits, d’exigences entre le bailleur de fonds du projet et l’Etat partenaire… mais il existe néanmoins nécessairement une base d’accord entre ces deux partenaires du fait de la signature de conventions de coopération entre eux pour la conduite de projets et éventuellement leur évaluation.

Au cours de son intervention, l’évaluateur doit pouvoir souligner les convergences entre les différents partenaires, notamment à partir des conventions signées pour la réalisation des projets. Il doit également


mentionner les différences dans les objectifs qui pourraient être sensibles dans le référentiel d’évaluation et éventuellement rechercher des compléments d'accord entre les partenaires au moment où l'évaluateur leur présente le référentiel du projet qu'il a pu reformuler. S’il subsiste des différences entre les partenaires, l’évaluateur doit souligner que ses résultats sont fonction de la référence adoptée, provenant de telle ou telle des parties.

− Pierre RUNNER. L’indépendance de l’évaluateur est indispensable. Un des premiers critères est celui que se donne l’évaluateur lui même : sa première liberté est de décider de faire ou non une évaluation. Je dois reconnaître que le fait d’être aujourd’hui dans une institution me permet une plus grande marge de liberté. D’autre part, il est aussi tout à fait possible de se sentir plus ou moins concerné par une évaluation pour des raisons différentes, pays, type de projet, sympathie avec les interlocuteurs…

Enfin, il faut aussi connaître ses compétences d’évaluateur. Il faut pouvoir apprécier son degré de compétence par rapport au projet que l’on vous demande d’évaluer. Mais il est tout aussi important de connaître quelle compétence vous reconnaît votre client. Quelle est la volonté du client d’entendre le rapport de l’évaluateur ? car parfois cette évaluation lui est imposée. La volonté du client de tenir compte de l’évaluation est non négligeable dans votre degré d’indépendance comme évaluateur.

− Christian DESSALLIEN . Contrairement à Pierre RUNNER, je suis plutôt devenu indépendant pour pouvoir faire les évaluations qui me paraissaient les plus intéressantes ! Mais, de fait, l’indépendance de l’évaluateur est toujours à rechercher. Même si l'on pense pouvoir être indépendant, il faut se méfier de soi-même et pour cela il faut toujours rechercher à clarifier les argumentaires et mettre les éléments de jugement en transparence.

Seconde question à nos intervenants : Quel référentiel pour l’évaluation ? QUEL REFERENTIEL POUR L’EVALUATION ? − Pierre RUNNER. Au cours de ces journées d’études on a évoqué à plusieurs reprises la question du « cadre

logique ». Il y a d’ailleurs eu plusieurs critiques sur ce cadre logique et elles sont souvent vraies, d'autant plus que l'on a présenté ici un schéma simplifié du cadre logique.

Le cadre logique est le résultat d’une démarche en plusieurs étapes : une analyse sectorielle qui permet de se faire une image de la situation, puis une « photo interprétation » en soulignant les problèmes et en essayant d’en comprendre les composantes, les facteurs explicatifs… On établit alors une liste de « sous problèmes » pour chacun desquels on essaye d’identifier les causes en essayant à chaque fois de faire une hiérarchie de cause à effet. Cette interprétation s’effectue avec toutes les personnes qui sont parties prenantes du projet et avec elles on transcrit cela dans un arbre d’objectifs comprenant un ou une série d’objectifs spécifiques. Toute cette réflexion débouche enfin sur la construction du cadre logique. Ce travail d’analyse et de construction s’effectue par itérations successives.

On essaye ensuite de préciser pour chaque objectif les résultats attendus, les coûts, les lieux où trouver l’information, les hypothèses explicatives, les risques encourus. Cet ensemble schématique est le résultat d’un travail qui a pris parfois plusieurs années. Reste qu’il faut certainement améliorer la participation des différents acteurs. L’évaluation arrive ainsi après toute une série d’étapes d’élaboration du projet, de réalisation de celui-ci, elle n’est que le suivi d’un processus qui a duré très longtemps.

− Benoît THERY. Malheureusement, il n’existe pas toujours de cadre logique ! C’est pourquoi je préfère parler

de référentiel. Toute évaluation est fondée sur un référentiel, la situation constatée va être analysée par rapport à des références. C’est un exercice fondamental pour l’évaluateur d’identifier le cadre logique; s’il n’existe pas, il faut pouvoir identifier toutes les références qui vont participer à la définition du projet : politiques du bailleur de fonds et de l'Etat partenaire applicables au projet, objectifs spécifiques du projet, normes professionnelles reconnues dans le secteur du projet, critères de bonnes conduite d’un projet de coopération… Le référentiel n'appartient pas à l'évaluateur, mail il appartient à l'évaluateur de l'identifier, de le reconstituer et de le formaliser en début d'évaluation et d'en faire valider la reformulation par les acteurs du projet.

Dans le cadre des actions de la coopération française par exemple, on connaît les éléments récurrents de la politique suivie qui sont transversaux aux différents projets, tels que la démarche de projet, l'engagement de l'Etat partenaire, si possible la complémentarité avec d'autres bailleurs de fonds, …etc. Il existe aussi des éléments de politique sectorielle pour la formation (adéquation de la formation à l’emploi, formation fondée sur la demande, participation des organisations professionnelles …). L’Etat partenaire a également sa politique sectorielle (politique d’emploi, politique de formation, politique de coopération dans le secteur …), il vise des publics particuliers en priorité. Mais il y a toujours des objectifs spécifiques au projet : qualitatifs (notamment


profils visés) et quantitatifs, en termes de formés, de diplômés, d’insertion dans l’emploi, et en termes d’équilibre économique du projet.

Il existe aussi des critères de bonne conduite du projet, qui forment une check list de questions que l'évaluateur peut se poser dans son analyse. Par exemple, la coopération française en privilégie habituellement sept, qui ont d'ailleurs été présentés et définis dans les documents préparatoires à ces journées d'études : la pertinence, la cohérence, l'efficacité, l'efficience, l'effectivité, l'impact la pérennité. Ces critères constituent une boite à outils à utiliser avec discernement par l'évaluateur en fonction des situations auxquelles on est confronté.

Enfin, il existe des normes qui sont généralement reconnues par la profession et qui rentrent aussi dans le référentiel de l’évaluation. Si l’évaluateur est un spécialiste, il peut aussi contribuer à proposer des éléments techniques de ce référentiel d’évaluation : référentiels d’emploi, de compétences, cohérence des contenus, des méthodes et des moyens de formation par rapport aux objectifs de formation, normes de compétences des formateurs, normes de validité de l’évaluation des formés, que ce soit à l’entrée ou à la sortie de la formation… Cet ensemble d’orientations politiques, d’objectifs du projet, éventuellement complétés par la proposition de critères à utiliser avec discernement, intégrant quelques normes professionnelles applicables au projet, constituent le référentiel par rapport auquel on peut, ensuite, analyser et apporter une mesure de la valeur du projet.

− Christian DESSALLIEN . Ce qui est demandé à l'évaluateur, c’est d’évaluer un projet ou un programme, c’est à dire un contrat qui est formalisé dans un cadre de référence et l'évaluateur s'efforce de répondre avec la plus grande économie possible de moyens, mais en essayant d’être convaincants.

S’il y a dans cette salle des participants qui pensent que le cadre logique est une invention anglo-saxonne qui constitue un carcan à la conception des projets, je voudrais m’adresser à eux. Nous avons deux solutions de travail dans notre travail de concepteur/gestionnaire de projets de développement : soit nous partons d’hypothèses implicites que nous conservons dans notre tête, pour nous seuls, et, in fine, on sera les seuls à savoir si le projet est réussi ou non et pourquoi ; ou bien on partage des hypothèses de départ et on trouve un moyen pour les communiquer à toutes les parties prenantes du projet. Ce moyen, c’est le cadre logique. Ce n’est d’ailleurs pas parce qu’il n’existe pas à un moment donné, pour un projet donné, que vous ne pouvez pas le créer.

Prenons le projet que tout le monde connaît d’une dame qui a un petit enfant et qui va lui demander de porter une galette à sa grand-mère. On connaît tellement ce projet qu’on sait même comment il s’est terminé… Nous pouvons constituer un cadre logique avec ce projet-là. Quelle était la finalité de la maman ? Quel était l’objectif principal du projet ? Quelle furent les activités prévues et quelle a été l’hypothèse critique qui finalement a fait échouer le projet (le loup qui a mangé la petite fille) ? Ce sont là exactement les éléments que l’on vous demande de mettre dans un cadre logique et je voulais vous montrer avec cet exemple très simple que c’est applicable à n’importe quel objet ressemblant à un projet. Toutes les activités humaines, dès lors qu’elles sont orientées vers un objectif, qu’elles se déroulent à travers un système d’activité prévu au départ, peuvent s’analyser en terme de cadre logique.

− Sadika BENSLIMANE. Je voudrais également souligner auprès des participants que le cadre logique, même si cela paraît un peu ardu pour les uns et les autres, est un outil de suivi de nos propres projets. Chacune des activités qui sont concentrées dans le cadre logique donne aussi lieu à un cadre logique des différentes activités qui permet de suivre aussi l’évolution de ces activités. Le cadre logique est également un outil de gestion des projets.

Merci pour ces précisions. Nous passons à la troisième question de ce débat, qui il faut bien l’avouer, a déjà animé notre déjeuner : Qui évalue la qualité de l’évaluation ?


QUI EVALUE LA QUALITE DE L’EVALUATION ? ? Christian DESSALLIEN . C’est une question qu’on a vu apparaître au cours de ces journées d’études sur un

transparent d’un groupe de restitution. Je trouve que c’est un point d’entrée très important sur le thème de l’évaluation.

Mon expérience personnelle est la suivante : tous les lecteurs du rapport d’évaluation vont évaluer l’évaluateur, vont évaluer son travail, et donc l’évaluation ! Ceci est très important parce que cela vous donne une espèce d’exigence de qualité dans le travail d’évaluation qui, ensuite, vous oblige à une certaine discipline de travail, le respect d’un certain nombre de règles de déontologie.

Nous ne sommes pas des scientifiques, nous n’avons pas de label de la Cour de Comptes ou quelque chose comme cela, qui nous permettrait de livrer une conclusion à laquelle tout le monde pourrait croire parce qu’on serait « habilité ». Ce n’est évidemment pas le cas, et cette espèce « d’informalité » dans l’évaluation est justement une très bonne chose parce qu’elle oblige les évaluateurs à prendre beaucoup de précautions de travail.

En particulier, il faut souligner qu’il est quasiment impossible de déterminer scientifiquement des impacts dans le monde du développement puisque cela supposerait d’être capable de mesurer, dans des conditions identiques à celles du projet, des résultats pour un groupe qui n’aurait pas bénéficié du projet (groupe de contrôle) et à partir duquel on pourrait établir une différence ! Si l’on travaille sur un projet d’éducation, il faudrait pouvoir étudier un autre groupe qui n’aurait pas été bénéficiaire du même projet d’éducation mais qui aurait subi toutes les influences que les gens du projet auraient subies pendant cinq ou dix ans, et être capable de montrer quel a été l’apport, ou l'absence d'apport, du projet. Dans le développement, on arrive très peu à faire cela. La Banque Mondiale, sur ses grands projets de lutte contre la pauvreté, met en place aujourd’hui des groupes de contrôle qui coûtent très cher et on ne sait pas encore si cette approche fournira vraiment des garanties scientifiques.

Ce qu’on demande à l'évaluateur c’est un jugement, en fait il est payé pour donner un jugement c’est-à-dire une opinion sur la valeur de l’objet évalué. Ce jugement doit être argumenté et il faut donc être capable dans le rapport d’évaluation (c’est d’ailleurs pour cela que les rapports d’évaluation sont souvent un peu lourds !) de présenter toute la démarche méthodologique (il faut qu’elle soit crédible), tous les éléments factuels rassemblés, de mettre tous ces éléments à la disposition du lecteur sous une forme suffisamment attractive pour qu'il les lise et qu’il parcourre le même argumentaire. Il faut donc développer cet argumentaire, pour que, finalement, lorsqu'il arrive à votre conclusion, qui est ce fameux « jugement », le lecteur la partage.

Si le lecteur ferme le rapport d’évaluation en disant : « Mais, je ne comprends rien à ce qu’il dit et je ne sais pas pourquoi il est arrivé à cette conclusion là » et bien vous avez fait une évaluation de très mauvaise qualité ! C’est cela qui vous oblige à respecter toutes les exigences de méthodes, de transparence, de présentation. La plus grande exigence, qui est toujours un moment très fort dans l’évaluation, et qui est une discipline que l’on doit s’efforcer de respecter en tant qu’évaluateur, c’est le moment de la confrontation. Plus vous êtes indépendant par rapport à un projet, plus vous en êtes extérieur, plus vous devez articuler votre travail, programmer votre travail, pour qu’à un moment donné vous mettiez vos conclusions sur la table, devant les gens dont vous avez évalués la travail. Comme vous savez par avance que vous allez arriver à ce moment-là, vous travaillez très différemment parce qu’il n’est pas question de ramasser n’importe quel bruit de couloir et de le transformer en conclusion. Certes, il faut aussi entendre les bruits de couloir mais il faut les comparer avec des observations, avec tous les dossiers qui sont dans les archives, etc..., pour se faire une opinion qui soit vraiment argumentée.

Pour toutes ces raisons, un lecteur averti peut parfaitement évaluer l’évaluateur et évaluer l’évaluation et cela donne à l’évaluation son caractère très transparent, très humain, très accessible, et c’est en particulier cela qui me plaît dans ce métier-là.

? Pierre RUNNER . Je suis tout à fait d’accord avec ce qui vient d’être exprimé. Je voudrais simplement rajouter une chose que m’a montrée l’expérience : le plus dur évaluateur, c’est soi-même. Quand vous écrivez un rapport d’évaluation et que vous le relisez vous savez tout de suite si vous êtes convaincus de ce que vous dites, si vos arguments sont bons ou pas bons. Si au départ vous n’êtes pas convaincu vous-même, et malheureusement cela arrive, vous sentez bien que votre évaluation n’est pas satisfaisante et votre défense va être faible auprès de votre client.

Je partage également ce qui vient d’être dit sur le débriefing à la fin d’une évaluation. Ce n’est pas toujours facile, et ce n’est même pas toujours possible, de réunir les gens et de leur dire : « Au terme de ma mission, voici mes conclusions ». C’est assez intéressant parce que, quelquefois, cela provoque des réactions et c’est parfois utile parce que cela peut aussi lever des malentendus.


Malheureusement dans le cas des bruits de couloir ceux-ci ont une influence assez forte. Quand on vous fait savoir qu’untel est un corrompu notoire, cela va quelque part dans votre cerveau et vous ne l’oubliez pas. Alors, il faut s’efforcer de présenter les choses de la manière la plus objective possible.

En conclusion de cette première partie de la table ronde, je voudrais demander aux différents participants s’ils peuvent résumer en trois mots ce qu’ils entendent par évaluation. QU’ENTEND-T-ON PAR EVALUATION ?

? Sadika BENSLIMANE. Je dirais : nécessité, pertinence, efficacité.

? Christian DESSALLIEN . Je n’en utiliserai que deux : payé et payante. Mais il faudrait expliquer, et on n'a pas le temps de la faire ici.

? Pierre RUNNER. Moi, j’en aurais trois, au moins : communication, indépendance et technicité.

? Benoît THERY. Pour faire simple, mes trois mots reflètent les trois étapes de la démarche : référentiel, diagnostic, recommandations.

? Jean-Yves MALEGEANT. Merci beaucoup à nos intervenants. Je rappelle les trois questions pour que vous puissiez vous les remémorer. La première : « Quel est le degré d’indépendance de l’évaluateur ? », la seconde : « Quels référentiels doit-on utiliser pour l’évaluation ? », et enfin : « Qui évalue la qualité de l’évaluation ? ». Qui veut prendre la parole ?

OUVERTURE DE LA DISCUSSION AVEC LES PARTICIPANTS AUX JOURNEES

? Hassine BOUZOUITA. Je voudrais connaître la réaction des intervenants concernant un type particulier de problème de formation de nos pays en voie de développement tel que la Tunisie. Depuis quelques années les bailleurs de fonds ne financent plus la formation pour la formation. Les projets sont aujourd’hui des projets de développement, les objectifs des projets sont des objectifs de développement, et les indicateurs d’évaluation sont, dès le départ, des indicateurs de développement. L’équipe qui intervient, qui identifie, exécute et évalue, est une équipe pluridisciplinaire. Alors, comment va-t-on évaluer les formations intégrées à un projet de développement ?

Je vous cite une anecdote. Il y a quelques années, j’ai reçu un expert de la FAO qui m’a sorti une formule mathématique d’un mètre de long, il a beaucoup fait de soustractions et d’additions pour me dire : « Voilà, l’inconnu (x), la formation des agriculteurs, rentre dans ce projet avec 20 % ». Je n’y est rien compris ! Dans un projet intégré de développement dans lequel on vous parle de changements certains évaluateurs vous disent : « La formation c’est le meilleur outil de changement ». Mais est-ce que cette population qui a exécuté, qui a participé à ce projet, qui a augmenté la production, qui a augmenté ses revenus, est-ce grâce à la formation ou grâce à l’infrastructure et aux aides du projet ?

? Pierre RUNNER. Comme vous le savez certainement le gouvernement Canadien avait fait un projet de développement régional intégré dans la plaine de Kairouan. Cette plaine était inondée régulièrement par deux oueds qu’il fallait réguler. C’était une première étape, et à partir de là, on faisait de l’irrigation et de l’infrastructure. L’idée partait du principe qu’on ne règle pas un problème ponctuel mais on règle une situation d’ensemble. C’était un projet intégré dans lequel il y avait un grand nombre de composantes agricoles, de formation d’agriculteurs, etc…

Quand le projet a finalement été quantifié, on s’est aperçu que le budget était à peu près deux ou trois fois plus important que l’enveloppe budgétaire de l’ensemble de l’assistance du Canada au Tiers-Monde ! Donc il a fallu faire des choix drastiques et seule une tranche du projet a été réalisée en pensant que ce serait toujours mieux que rien. Les résultats ont été catastrophiques. En conséquence, le gouvernement canadien a décidé de financer des petits projet de supports aux ONG ou aux actions locales qui apparaissaient plus efficaces . Ils ont alors piloté, pour les mêmes sommes qu’avant, des dizaines, des centaines, de ce que l’on a appelé les micros-projets qui se sont révélés également un échec tout aussi catastrophique parce qu’impossibles à gérer, et que ces actions débouchaient sur peu de résultats.

Il y a une espèce de cycle dans lequel on passe des projets intégrés aux micros projets. Actuellement, au niveau du développement international, nous sommes dans cette même logique qui consiste à dire : « Il n’y a plus un problème de formation ou un problème d’éducation, mais il y a un problème d’environnement, un problème de pauvreté ». Un problème de pauvreté ? cela veut dire que l’on prend tout : le sida, l’éducation, la formation,


etc… J’avoue que cela me laisse quand même un peu songeur. Au niveau des concepts cela paraît effectivement indispensable l’environnement, mais cela veut dire aussi, que pour régler le sous-développement, il faut tout régler en même temps, et l’expérience nous montre que c’est quasiment impossible.

Alors peut-on identifier dans un programme d’ensemble l’impact sur une composante particulière. Oui, en partie et grâce au cadre logique ! S’il a été bien établi, si cette action ponctuelle a été identifiée comme un des résultats attendus pour lequel il fallait réaliser un certain nombre d’activités bien précises. MANFORME en est un exemple évident. On sait que dans ce programme il y avait onze centres à réhabiliter, un centre à construire, tant d’enseignants à former qui auront tant d’élèves, tout ceci est très identifiable à la fin du projet.

? Christian DESSALLIEN . Je voudrais réagir sur les trois questions qui ont été posées : Est-ce qu’un évaluateur peut être indépendant ? Quels référentiels ? Et qui évalue la qualité de l’évaluation ? Et que vous aviez demandé aux intervenants de résumer en trois mots. Je voudrais finalement tout résumer en un seul mot : utile.

Une évaluation est de qualité si elle est utile. Si vous faites un travail extraordinaire que personne ne lira jamais, si vos conclusions sont tellement éloignées des préoccupations des acteurs que, de toutes façons, personne n’utilisera votre rapport d’évaluation, c’est du gaspillage de fonds. Et tout s’articule autour de cela. Pour qu’elle soit utile, il faut que vous soyez crédible, si vous n’êtes pas crédible, personne ne va lire votre rapport. Et cela veut donc dire qu’il faut que vous ayez une certaine indépendance et qu’il faut que vous ayez les compétences pour évaluer.

Pour que l’évaluation soit utile, il faut aussi qu’elle soit pertinente, c’est-à-dire qu’elle intervienne à point nommé dans le cycle du projet, qu’elle pose les questions qui sont importantes pour les acteurs. Il faut aussi que le rapport d’évaluation soit de qualité, qu’il y ait une communication avec les acteurs de façon à ce que les gens aient bien compris comment vous avez abouti à vos conclusions, quels sont les points qui étayent vos conclusions, et puis il faut que vous ayez des éléments de prospective qui permettent aux acteurs de prendre des décisions d’avenir.

? Etienne BEAUDOUX (IRAM). Trois petites choses, la première, en écho à ce que disait Hassine BOUZOUITA, je crois que l’on aurait intérêt à distinguer des démarches, des outils qui soient différents pour l’évaluation ayant trait à des dispositifs de formation formels ou des dispositifs de formation informels (formation d’agriculteurs par exemple) ce qui pourrait être un thème pour une prochaine rencontre.

Sur la question concernant l’indépendance de l’évaluateur, ce qui me frappe c’est que vous avez parlé de l’évaluateur comme s’il était autonome, libre dans son intervention. Mais nous sommes de plus en plus dans des situations où l’on répond à des appels d’offre et cela change la nature des choses. La logique des bailleurs de fonds est de mettre les gens en concurrence, on nous demande de faire en dix jours, ce que l’on nous demandait jadis de faire en deux mois, d’être plus performants en coûtant moins cher. Cela change sacrément aussi les données du métier ; je crois qu’il y a toute une réflexion à mener là -dessus. Il faut que les bailleurs de fonds soient attentifs à la limite de leurs exigences en rapport à ce qui est réaliste de demander. Nous avons une espèce de guerre de concurrence qui peut aboutir, à la limite, que nous parvenions à du n’importe quoi.

Ma dernière remarque concerne la qualité de l’évaluation. A ce titre, j’ai entendu essentiellement une réponse en terme de « production de rapports ». Pour moi, il y a aussi une chose de très important c’est la restitution. La restitution non pas au bailleur de fonds, car celle-ci fait partie des exigences classiques, mais la restitution aux gens, sur le terrain, à ceux pour lesquels le travail d’évaluation a été effectué, qu’ils soient agriculteurs, que ce soient leurs organisations. Je pense qu’on n’en a pas assez parlé.

? Pierre RUNNER. Je reviens sur une réflexion qui a été faite : il y a toujours un cadre logique, dans toutes les démarches. Simplement, dans le cadre logique qui a été diffusé par l’Union Européenne, celui-ci est centré sur l’analyse des problèmes. Or, je trouve plus intéressant de mettre en évidence les lignes de force, les compétences et les qualités. Et quand on commence un diagnostic participatif avec des organisations de paysans, ou des organisations urbaines, on ne commence jamais par les problèmes. On commence toujours par valoriser, il faut arriver à ce qu’à la fin du diagnostic, on ait des personnes qui soient valorisées, qui soient capables d’assumer et de se mettre en organisation pour mettre en place un dispositif d’évaluation participative

Ce qui pose d’ailleurs une question importante. L’évaluation est toujours une confrontation. Il faut la préparer comme une confrontation. Nous avons à faire à un système d’acteurs qui sont positionnés, c’est à un système social que nous avons affaire au moment de l’évaluation.

? Michel BROCHET (CNEARC) . J’ai beaucoup apprécié tout ce qui s’est dit à propos de l’évaluation et je constate que dans notre école, on enseigne insuffisamment l’évaluation. Bien-sûr cela ferait une discipline de plus à mettre dans les programmes. Je me pose la question de savoir si, pour utiliser l’évaluation, il faut déjà avoir des référentiels. Mon interrogation est de savoir comment évaluer en amont des projets, c’est-à-dire, faire en sorte que les politiques mettent en place des projets ou des programmes ou des partenariats qui soient pertinents par rapport aux réalités des pays et des populations ? Malheureusement, les bailleurs de fonds ne vont


pas faire des appels d’offre sur ces aspects -là. C’est un peu leur chasse gardée ; on peut contourner en partie ces aspects en travaillant avec les organisations professionnelles, comme ça a été dit dans cette salle, pour qu’il y ait des contre-pouvoirs, qui éventuellement demandent des évaluations des politiques.

? Pierre DEBOUVRY. Je pense qu’un évaluateur ne doit pas s’enfermer dans le cadre logique, ni dans les termes de référence, c’est le minimu m qu’il doit faire, mais il peut ajouter autre chose.

Je viens d’être confronté à un projet où l’on a oublié la composante alimentaire ! Si j’étais resté dans les termes de référence, je n’aurais pas dû parler du problème alimentaire. Je me suis fait un devoir d’en parler, je ne peux pas ne pas le taire.

Autre exemple, sur les projets de systèmes éducatifs agricoles, on ne peut pas ne pas prendre en compte la démographie. En 1983, la première fois que j’ai parlé de ce problème là, cela n’a eu aucun impact. J’en ai reparlé une deuxième fois au Cameroun, en 1986, pas de bruit. La troisième fois en Côte-d’Ivoire, ce n’était pas prévu dans les termes de référence, ça a eu un impact énorme. Je pense que le consultant doit, et c’est le minimum, c’est son contrat, respecter les termes de référence, mais il doit également pouvoir dire plus. Personnellement, je ne me sens pas du tout enfermé par les termes de référence.

? Benoît THERY. Vous avez dit que l’évaluateur pouvait rajouter quelque chose au référentiel offic iel, c’est-à-dire aux politiques et aux objectifs qu’il a identifiés pour le projet. Je dirai oui… dans une certaine mesure : sous réserve de respecter les références, en n’ajoutant pas les siennes propres. Oui, dans la mesure de ses compétences professionnelles et techniques. Effectivement, s’il s’agit d’évaluer un projet de formation par exemple, et si l’évaluateur est lui-même expert en formation ou en ingénierie de formation, il peut ajouter aux références identifiées dans la définition du projet de coopération, telle bonne règle de l’art, telle bonne pratique généralement reconnue dans la profession de formateur, qui n’aurait pas été identifiée dans les objectifs du projet.

? Sadika BENSLIMANE. Réduire des évaluations à deux-trois mots, me paraît un exerc ice délicat. Utile, est un beau mot, parce que si ce qu’on fait est inutile autant ne rien faire. Mais vient immédiatement la question de savoir utile à qui ? A la Banque Mondiale ou au paysan qui est sur le terrain ? Une évaluation peut-être utile à l’un et totalement inutile à l’autre, voire même négative.

Le mot utile me paraît demander beaucoup de développements. Cela me paraît très lié à la question de l’indépendance de l’évaluateur, parce que s’il veut être utile, il le sera pour qui ? On va être utile aux personnes de terrain en fonction de ses problèmes, ou à l’organisation cliente qui elle a d’autres ambitions, d’autres priorités, qui peuvent être politiques, budgétaires… Le terme utile en définitive, ne me paraît pas clarifier du tout des choses.

? Laurence COLINET. Est-on enfermé par le cadre logique ? Si un évaluateur se sent enfermé par le cadre logique, il ferait mieux d’arrêter de faire de l’évaluation, parce qu’il doit d’abord être fidèle au cadre logique. Si le projet a été élaboré selon la démarche du cadre logique, le minimum qu’on lui demande c’est d’évaluer en fonction de ce cadre, autrement, il ne sera pas utile, on ne lira pas son rapport, on dira : « Monsieur, vous n’avez même pas respecté les termes de référence de départ ». Mais il doit évidemment aussi pouvoir le dépasser lorsqu’il le sent nécessaire, c’est son indépendance qui est en jeu. Maintenant, jusqu’où doit-il aller ? Est-ce qu’il doit dire, que telle composante a été oubliée ou qu’il serait temps que le chef d’Etat soit honnête ? Il faut savoir, à un moment donné, où s’arrêter, si l’on veut être utile encore une fois. Parce que si vous dites, il serait temps que le chef d’Etat soit honnête, je peux vous assurer que votre restitution de rapport n’ira pas loin. Vous aurez votre billet d’avion au mieux.

? Christian DESSALLIEN . Le cadre logique peut être utile pour essayer de mettre un peu de clarté dans la compréhension des projets, mais il n’est pas toujours utilisé. Il faut signaler que les responsables français commencent à s’y intéresser, il y a des stages de formation à la fois au MAE et à l’AFD sur le cadre logique depuis un an et il y a un engouement extraordinaire, donc on peut attendre quelques améliorations.

S’agissant des termes de référence de l’évaluation, ce que nous n’avons pas dit c’est qu’il y a une phase très importante dans l’évaluation, la phase d’élaboration des termes de référence ! Très souvent, les termes de référence, vous en avez un premier jet, vous le discutez, et puis vous en avez un deuxième jet, etc. C’est au cours de ce processus que vous vous dites qu’il y aurait certainement un aspect du projet qu’il faudrait approfondir, ou telle composante à rajouter. Le plus souvent, c’est moi qui fait les termes de références des évaluations sur lesquelles je travaille, parce qu’on m’appelle en me disant, "ce projet est à évaluer, qu’est-ce que tu penses qu’il faudrait faire ?" Je fais une proposition, le commanditaire la modifie, etc… Avec une approche interactive de ce type on n’est pas vraiment contraint par les termes de référence puisqu'on contribue à leur mise au point.

Ceci dit, je mets en garde contre un danger que l’on voit toujours quand on s’amuse à faire l’évaluation de la qualité des évaluations. On voit tout le temps des rapports d’évaluation qui dès la troisième page, commencent à


utiliser le futur ou le conditionnel, parce que l'évaluateur est tout de suite rentré dans les recommandations. Il y a trop de gens qui commencent une évaluation avec l’idée de ce qu’ils vont déjà recommander in fine. J’att ire votre attention sur cet aspect méthodologique. Il faut absolument arriver d’abord aux conclusions, les mettre en évidence, et après seulement commencer à réfléchir aux recommandations. C’est très dur, parce que l’individu, homme ou femme de développement, est porté vers le futur, les belles choses nouvelles et l’on va oublier ces trucs qui n’ont pas marché, qui ont été tellement durs, on n’avait pas assez d’argent, on n’avait pas le temps…

? Christian DESSALLIEN. Je voudrais revenir sur un point qui reste pour moi un point d’interrogation très fort : c’est la question des partenariats et de la co-évaluation. Nous sommes toujours tiraillés entre bien faire un travail dans des délais bien déterminés avec les ressources que l’on contrôle, c’est-à-dire, soi-même, ou les membres d’une équipe d’évaluation, ou bien rentrer dans un processus de partage avec des partenaires, selon un calendrier quelque peu indéterminé.

Les bailleurs de fonds, qui ont rapidement besoin d’une évaluation, ne demandent jamais de la faire en partenariat. Ils vous laissent faire, ils savent que vous allez interroger un certain nombre de gens, mais ne demandent pas du vrai partenariat. Et le vrai partenariat est difficile à instaurer, parce qu’il faudrait déjà partager les objectifs mêmes de l’évaluation avec les partenaires avant de la commencer. Si on arrive devant des nationaux en disant : «Voilà mes termes de références, maintenant je voudrais partager cela avec vous », ils vont peut-être vous dire : « Ce n’est pas ça le problème qui m’intéresse moi, c’est un autre problème ». Il faudrait que ce soient les bailleurs de fonds eux-mêmes qui montent directement en amont les études d’évaluation avec les partenaires.

Il existe des grands mots d’ordre dans toute la communauté internationale sur la nécessité de l’approche partenariale, mais on en voit très peu. J’ai la chance actuellement, avec l’UNICEF, de faire ce qu’on appelle en anglais une «utilization focused evaluation », c’est-à-dire qu’avec la participation des utilisateurs, des partenaires, on définit les objectifs mêmes de l’évaluation. Je vous avoue que je suis rentré dans cet exercice avec beaucoup de réticences mais que je regarde aujourd’hui cette expérience avec énormément d’intérêts, sachant que je suis absolument sûr qu’on ne va ni atteindre les objectifs, ni tenir les délais, parce qu’on est passé à des phénomènes de discussion complètement incontrôlables qui sont très riches, mais, à la fin, on ne sait pas ce que l’on aura en main.

Sur ce thème-là, tout le monde se cherche, ma is il y a beaucoup d’expériences. Par exemple un bailleur de fonds européen a financé, par l'intermédiaire de l’OCDE, une équipe malienne pour évaluer l’ensemble du programme international de l’aide au Mali. Et je peux vous dire que l’évaluation n’était pas très favorable ; les évaluateurs ont dit que l'aide n'avait servi à rien. Ce n’était peut-être pas d’ailleurs très bon comme qualité, mais c’était des nationaux qui évaluaient les programmes internationaux !

? Un participant : Comment définissez-vous le concept d’auto-évaluation assistée ?

? Christian DESSALLIEN : Je crois beaucoup à l’auto-évaluation. Tout à l’heure, on parlait d’indépendance et un bailleur de fonds peut avoir envie d’une évaluation indépendante, mais un manager de projets peut souhaiter une auto-évaluation. Je trouve cela très bien et si on me demande mon assistance, je vais l’apporter avec grand plaisir parce que je trouve que dans le cours de la réalisation des projets, les évaluations sont une fonction essentielle.

Ce qui m’a beaucoup intéressé ce matin dans la description du projet AFNOR c’est que nous avons pu voir comment une organisation qui, à priori, ne faisait pas état d’une expérience préalable en matière d’évaluation, a mis en place un dispositif d’évaluation du « process », c’est-à-dire de l’ensemble des opérations de réalisation du projet, en mettant des points de regard sur la qualité aux différents points de ce process, comme cela se pratique dans une démarche qualité, et on s’aperçoit tout d’un coup qu’avec cette démarche on se trouve devant une évaluation.

Alors, c’est une évaluation qui ne porte pas sur les effets et il y a eu ce commentaire : « Mais comment, vous ne vous intéressez pas aux effets ? » Et ça, ça m’a aussi extrêmement intéressé, parce que dans un projet, le fameux cadre logique, le réalisateur du projet est responsable de l’obtention de l’objectif principal, c’est-à-dire, pour le projet AFNOR qui était présenté, former le public-cible, pour lui faire acquérir un certain niveau de connaissances.

Ce que ces gens-là vont faire avec ces connaissances, c’est de la responsabilité de l’Union européenne qui a estimé que ce dispositif de contrôle-qualité européen devait être transféré aux treize pays en question, et ce n’est plus de la responsabilité du manager de projet, et on voit bien comment justement à travers l’évaluation on a des niveaux de responsabilité très clairs qui s’établissent. L'opérateur a pratiqué une auto-évaluation, il évaluait pour lui-même, bien qu'il a certainement été assistée par un certain nombre d’experts recrutés ponctuellement. Ce type d'évaluation peut donner de très bons résultats à partir du moment où elle est faite sur une méthodologie de contrôle-qualité qui tient la route, que des échelles de valeur d’apprentissage ont été fixées, etc.


On n’a pas besoin d’indépendance, on a besoin d’ouvrir les yeux et d’avoir ce que les Américains appellent des « benchmarks », c’est-à-dire ce que Monsieur appelait des normes de comparaison, savoir, par exemple, que dans un autre projet, avec tant de jours de formation, on peut atteindre tel niveau et on détermine une grille de niveaux d’acquisition comme cela a été fait dans le projet AFNOR qui nous était présenté.

? Jean-Yves MALEGEANT. Je vais laisser la parole à Monsieur CHARLOT pour conclure.

? Michel CHARLOT (DGER). Lorsque je suis intervenu hier matin, je vous ai dit que le DGER attendait beaucoup de nos travaux parce que nous avions maintenant une mission d’évaluation qui devenait de plus en plus importante dans notre activité. Je ne suis pas sûr de repartir ce soir avec des réponses aux questions et aux besoins que nous avions. Beaucoup de choses ont été analysées et l’on éprouve le besoin maintenant de repenser un peu tout cela. Mais je suis certain que les actes que préparera Alain MARAGNANI nous aideront à avoir ce temps de réflexion pour élaborer notre réflexion sur l’évaluation. Je constate qu’il y quelques invariants qui reviennent dans nos interventions sur l’évaluation.

Le premier, c’est que l’évaluation des dispositifs d’ingénierie de formation ait une partie intégrante du projet, elle sera incontournable et donc elle devra être abordée avec sérénité et devra être intégrée dans chacun de nos projets.

Le second, c’est qu’on on a bien vu qu’il y avait deux types d’évaluation : celle que tout bon projet doit inclure en interne (il y a même eu quelques débats pour savoir si nous devions appeler ça de « l’auto-évaluation » ou de « l’évaluation intégrée » ce qui me semble un débat un peu sémantique) que les auteurs du projet qui vont se donner et cela leur servira à eux… et celle du regard externe que vont porter soit des financeurs, des gouvernements ou peut-être d’autres observateurs. Ces deux types d’évaluation finalement sont très différents, ils supposent probablement des méthodes et des concepts différents, comprenant certainement malgré tout des invariants.

Merci.


Clôture des 6èmes Journées d’Etudes Ingénierie des dispositifs de Formation à l’International

Gérard MATHERON

Président d’Agropolis

e tenais à assister à la fin des travaux des 6èmes Journées d’Ingénierie des dispositifs de formation à l’international et à vous saluer avant votre départ. Je vous prie de m’excuser de n’avoir pu participer à vos travaux car vous savez sans doute que j’ai pris récemment mes fonctions de Président d’Agropolis, organisme

qui ne m’était bien sûr pas inconnu puisque, au préalable, j’étais président du Centre CIRAD de Montpellier. Je confirme l’intérêt d’Agropolis pour vos travaux qui s’inscrivent dans sa politique de promotion de l’ingénierie des dispositifs de formation que je compte développer, notamment dans les relations Nord-Sud.

Comme vous le savez, ces journées d’étude sont organisées depuis plusieurs années conjointement par le ministère de l’Agriculture et de la Pêche et nous-mêmes, avec le soutien du ministère des Affaires étrangères. Michel CHARLOT, qui représente ici le ministère de l’Agriculture, a déclaré hier que ces journées étaient, pour la DGER, un moment privilégié, chaque année, de rencontre entre tous les acteurs de l’ingénierie des dispositifs de formation à l’international d’où ont émergé nombre d’idées et de propositions. Je constate que vos préoccupations vont dans le même sens que le vœu exprimé par Monsieur le Ministre de l’Agriculture Jean GLAVANY, dans son discours du 3 octobre dernier, de voir se développer, à l’international, des approches communes entre les établissements d’enseignement agronomique.

Si vous le permettez, je peux me placer aujourd’hui encore dans la position d’observateur extérieur et, j’ose le dire, d’humble évaluateur pour relever quelques points marquants qui ressortent de vos travaux.

Je pense que votre premier objectif, à savoir donner l’occasion à tous les acteurs de ce domaine d’échanger leurs expériences et de confronter leurs points de vue est atteint. Plusieurs d’entre vous m’ont dit que ces journées ont été une des rares occasions de rencontre entre les spécialistes de l’évaluation des dispositifs de formation.

Vos travaux, conformément aux objectifs que vous vous étiez fixés, ont permis d’analyser et de capitaliser les acquis en matière d’expertise à l’international. J’ai pris connaissance des communications faites à l’occasion de ces deux journées et, outre les analyses de cas, j’ai été particulièrement frappé par une réelle volonté de théoriser, de rechercher les convergences entre les diverses approches et de mettre en évidence les caractéristiques propres de la démarche française, la « petite musique », comme a dit Alain MARAGNANI ce matin. Je voudrais rappeler que la plupart des textes sont consultables sur le web Agropolis puisque nous avons constitué une véritable bibliothèque virtuelle sur le sujet.

Cependant, contrairement aux objectifs que vous vous étiez fixés lors des journées d’ingénierie des dispositifs des années précédentes, il me semble que nos efforts doivent porter sur une meilleure identification et connaissance de la demande internationale pour être en mesure de mieux positionner l’offre française auprès des bailleurs de fonds internationaux. Pour ce faire, je propose de nous appuyer sur des réseaux internationaux dont certains – et c’est une chance – ont leur secrétariat à Montpellier et, pour être plus précis, à Agropolis. Nous ne devons pas non plus hésiter à communiquer sur nos compétences et sans doute pas seulement dans un cadre francophone.

J’ai été frappé, en consultant la liste des participants, de voir qu’une partie de votre public- cible est sous-représenté à cette réunion, je veux parler ici du public de l’enseignement technique et professionnel. Il faudra en analyser les raisons. Peut-être ne s’est-il pas senti concerné par la problématique de l’évaluation. Peut-être ce public se sent-il exclu d’une participation à des projets globaux de développement. Sa participation est pourtant essentielle si, comme je le disais tout à l’heure, nous avons la volonté de développer des approches communes. Cela passera sans doute par la formation et la production d’outils de travail. Je pense que nous aurons l’occasion de débattre à nouveau de ces questions qui seront, je l’espère, également abordées dans le cadre du Pôle national de compétences internationales, créé par la Direction Générale de l’Enseignement et de la Recherche et que Montpellier a la chance d’accueillir au sein du CNEARC.

Je tiens, en conclusion, à vous remercier pour la grande richesse et la diversité de vos interventions. Je voudrais également remercier la DGER et le ministère des Affaires étrangères pour la confiance qu’il témoigne à Agropolis pour l’organisation de ces journées. Je voudrais également adresser mes remerciements à nos collègues du CNEARC, de l’ENESAD, de l’ENFA et de la SIARC, membres du Comité de pilotage. Enfin, je remercie les organisateurs, Alain MARAGNANI et Martin WEISS ainsi que, particulièrement, l’équipe du Secrétariat Exécutif d’Agropolis.

Je vous souhaite à tous une bonne rentrée dans vos plus ou moins lointaines destinations, en vous précisant que notre structure demeure un lieu d’échange et de dialogue, notamment sur les questions qui vous préoccupent. Je vous donne rendez-vous l’année prochaine.

J


Annexes


Annexe 1 :

M I N I S T È R E D E S AFFAIRES ÉTRANGÈRES D i r e c t i o n g é n é r a l e d e l a c o o p é r a t i o n i n t e r n a t i o n a l e e t d u d é v e l o p p e m e n t

ELEMENTS D’UNE DEMARCHE

D’INGENIERIE DES DISPOSITIFS DE FORMATION AGRICOLE ET

AGROALIMENTAIRE A L’INTERNATIONAL

EN MILIEU RURAL DES SITUATIONS EN EVOLUTION RAPIDE La situation économique et sociale du secteur agricole et agroalimentaire de très nombreux pays connaît des évolutions rapides liées notamment à une urbanisation forte entraînant l’allongement des circuits commerciaux et une transformation plus élaborée des produits alimentaires , une exigence accrue des consommateurs sur la qualité des produits alimentaires (goût, présentation, hygiène, conservation), une prise en compte des problèmes environnementaux qui exige que la production agricole soit plus économe en ressources et plus soucieuse de ses conséquences sur l’environnement. Dans l’ensemble des pays, les évolutions du secteur agricole et agroalimentaire se sont encore accélérées avec la globalisation de l’activité économique à l’échelle mondiale , la restructuration des économies de nombreux pays sur les bases d’une économie de marché largement ouverte aux échanges internationaux, la privatisation des secteurs parapublics, la diminution des interventions de l’Etat, la suppression progressive de certaines barrières tarifaires ou réglementaires… Dans les pays du sud, cette situation est encore accentuée par la forte poussée démographique entraînant une montée des densités de population, générant une obsolescence des systèmes de production et une crise environnementale. Les activités liées à la production et à la transformation des produits agricoles et alimentaires évoluent très rapidement exigeant de centrer nos interventions d’appui et de conseil en formation sur les évolutions prévisibles des activités et des compétences.

POUR UNE DEMARCHE DE DEVELOPPEMENT DYNAMIQUE Entre le moment où est décidé un projet de réforme d’un dispositif national d’enseignement et/ou de formation professionnelle agricoles et celui où l’on pourra évaluer en « situation réelle » la pertinence des nouvelles formations, il faut compter huit à dix années correspondant à : l’élaboration du projet, sa négociation et son ajustement, la mise en place du financement, la réalisation des travaux d’infrastructures, la commande et la livraison des matériels et équipements, la reformulation des programmes de formation, la formation des personnels (enseignants, formateurs, administration et finances, cadres de direction, etc.), la mise en place du dispositif, la formation des apprentis, stagiaires, élèves ou étudiants, le recrutement ou l’installation des premiers formés… et un délai minimum après leur mise en situation professionnelle pour pouvoir évaluer les effets de la formation. Dans le contexte d’un pays en développement ou en reconversion économique, un tel délai est suffisant pour permettre des transformations significatives des données socio-économiques (démographie, urbanisation ou évolution des marchés) générant une évolution des demandes quantitatives et qualitatives de formation agricole. Les changements induits dans les contenus de programme doivent également pouvoir atteindre les promotions déjà engagées pour qu’elles puissent bénéficier des dernières actualisations afin d’éviter une obsolescence rapide des savoirs acquis et des difficultés ultérieures d’insertion professionnelle. Face à l’impossibilité de prévoir tout ce qui se passera dans les secteurs agricole et rural à horizon 10-15 ans, il est irréaliste d’opter pour des projets figés… Un tel choix ne pourrait que générer un nouveau dispositif de formation rapidement obsolète. Les évolutions rapides des pays concernés et les nécessaires adaptations des cursus comme des flux imposent le choix d’une démarche de moyen terme qui permette tout à la fois de sécuriser le financement et d’e ffectuer les ajustements en continu de l’offre de formation et du dispositif mis en place pour faire face à des besoins évolutifs.

PPRROOJJEETT


LA CONCEPTION D’UN DISPOSITIFS DE FORMATION…

… UNE TRIPLE LOGIQUE UNE LOGIQUE DE PROJET EVOLUTIF… La réforme d’un dispositif d’enseignement agricole nécessite la mobilisation de ressources humaines, financières et matérielles – en cohérence avec les grands équilibres économiques et les stratégies de développement de l’Etat – au travers d’une démarche de projet évolutif permettant la mobilisation de ressources intérieures et extérieures et les nécessaires adaptations en cours d’exécution. Une telle démarche nécessite au préalable l’élaboration d’un programme de long terme (vision à 15-20 ans du monde rural et du secteur agricole, objectifs et stratégies) à mettre en suite en œuvre au travers de projets successifs de moyen terme (3-5 ans) à piloter en intégrant les résultats de deux sous-systèmes essentiels à mettre en œuvre dès le début de l’exécution : la régulation de l’offre et de la demande et le suivi -évaluation du projet.

ET DE COOPERATION ENTRE ACTEURS Dans le cadre de l’élaboration d’un projet de dispositif de formation, l’accent doit être mis sur le « qui ? » et sur le « comment ? ». Avec qui et comment le projet va-t-il être réalisé ? Quels acteurs vont être mobilisés et comment ? Qui sont les bénéficiaires et comment vont-ils être associés à sa mise en œuvre ? Comment les personnels du dispositif seront-ils associés à sa mise en œuvre ? Comment participer à la construction des besoins de formation des différents acteurs ? Avec qui et comment la démarche de formation va-t-elle être construite ? Avec qui et comment les programmes vont-ils être élaborés ? Comment les personnels vont-ils être formés ? … De par ses objectifs, mais aussi de par sa nature même, la conception, la mise en œuvre et le suivi-évaluation d’un projet de dispositif de formation a une dimension essentiellement sociale. Enfin, le travail en coopération entre acteurs implique un transfert de savoir entre les différents partenaires du projet : l’institution qui possède les savoirs d’ingénierie a besoin des savoirs des différents acteurs locaux pour comprendre la situation locale et les multiples facteurs de son évolutions, pour élaborer collectivement une vision globale commune et proposer des dispositifs d’appui et d’assistance méthodologique adaptés ; en retour, les acteurs locaux doivent pouvoir bénéficier du transfert des savoirs d’ingénierie. En conséquence, un tel projet implique des méthodes d’ingénierie sociale : analyse des contextes, analyse institutionnelle, identification des acteurs, de leurs représentations et de leurs stratégies, invention de systèmes de gestion de projet évolutif dans une optique de coopération entre acteurs et de transfert des savoirs…

QUI PREPARE A DES ACTIVITES PROFESSIONNELLES1 … en s’appuyant sur une description de celles-ci qui structurera les objectifs de la formation La fiche descriptive d’activités (ou « référentiel métier ») est un document qui décrit des « situations professionnelles » significatives auxquelles la formation doit préparer. Ce document identifie le secteur d’activité économique, les organisations dans lesquelles s’inscrivent les activités, les missions confiées aux personnes dans ce contexte ; il repère et décrit l’ensemble des activités développées et les relations fonctionnelles avec d’autres personnes ou organisations. Il prend en compte, à minima, trois composantes ; 1. Les activités professionnelles ; 2. Les situations professionnelles qui permettent d’identifier les relations entre l’individu et son environnement et le système social et économique dans lequel s’inscrivent ses activités professionnelles ; 3. Les changements prévisibles (facteurs organisationnels, technologiques, économiques, commerciaux, socioculturels…) susceptibles d’influencer à l’avenir le contenu des situations professionnelles. Le référentiel métier permettra d’élaborer les objectifs pédagogiques de la formation dans une logique différente : celle de l’apprentissage à des activités professionnelles en utilisant des méthodes didactiques appropriées.

1 Les termes d’ « emploi », de « métiers », correspondent à la réalité de pays industrialisés, c’est pourquoi nous utiliserons le terme d'activité professionnelle d’acception plus large. L’activité professionnelle est définie comme l'ensemble des activités finalisées qu'une personne exerce régulièrement pour gagner sa vie, faisant appel à des compétences particulières dans un contexte professionnel donné.


CONCEVOIR UN DISPOSITIF DE FORMATION PROFESSIONNELLE A L’INTERNATIONAL :

LES FONCTIONS CLEFS DU PROJET

1 - LA CONCEPTION DU PROJET 11 -Identifier et analyser la demande du commanditaire : les enjeux du projet et son contexte (politiques, économiques, sociaux, culturels, éducatifs…) dans les grands axes stratégiques de développement, les termes de référence, les effets et résultats attendus, l’identification des différents partenaires et des acteurs concernés et leurs stratégies, des textes de référence et de la réglementation en vigueur.

12 - Elaborer un processus de conduite de projet qui : ? Permette de vérifier que la demande a été clairement identifiée, que les termes de référence sont partagés, voire

éventuellement les rediscuter et les retravailler ? Enonce les référents, les a priori méthodologiques mobilisés par l’équipe de projet ? Formalise un processus évolutif de travail caractérisé par des fonctions, des étapes, des objectifs opérationnels, des

moyens, des outils utilisés, des résultats prévus et leur rendu, des échéances. La mise en circulation d’objets intermédiaires (documents d’étape, dossiers techniques…) et de boucles d’itération contribueront à la coopération entre acteurs et leur appropriation des résultats

? Identifie les compétences nécessaires à l’exécution du projet ? Définisse et répartisse les fonctions de pilotage, de régulation, de production, de validation des travaux et des résultats en

dissociant les instances politiques et techniques

? Arrête les modalités d’évaluation du projet

13 - Contractualiser la conduite du projet en s’appuyant sur un cahier des charges résultant des travaux précédents

2 - LA CONDUITE DU PROJET 21 – Elaborer un diagnostic du dispositif de formation ? Analyse de la demande, des besoins en compétences actuelles et futures des organisations et des hommes par : ? Une description du secteur professionnel concerné (revue de secteur, analyse des systèmes agraires..) ? l’identification des facteurs d'évolution du secteur, de leurs conséquences sur les compétences attendues ? la caractérisations des compétences mises en œuvre aujourd’hui et demain

? Analyse du dispositif de formation actuel afin d’identifier les points forts, les points faibles, les contraintes, les opportunités, la position par rapport a l’offre de formation concurrentielle… sur l’ensemble des ressources mises en œuvre (infrastructures, ressources humaines, financements, compétences, pratiques pédagogiques…)

? Production d’un diagnostic partagé entre acteurs sur le dispositif actuel de formation quand à sa capacité à répondre à la demande en compétences actuelles et futures sur la base d’un document d’analyse discuté et négocié

? Remise de préconisations organisées sur des scénarii, identifiant les conséquences induites, notamment les ressources mobilisées

A cette étape les résultats doivent permettre au commanditaire d’apprécier : l’opportunité de maintenir, aménager, ou restructurer le dispositif de formation, et la nature des travaux à engager et leur faisabilité

22 – Concevoir un dispositif de formation ? Définition et quantification des cibles du dispositif de formation : secteur d’activité, organisations employeuses, activités

professionnelles ? Formulation d’hypothèses sur les flux d’apprenants ? Elaboration d’un (de) référentiel(s) de formation par la description des situations professionnelles

? Elaboration des objectifs pédagogiques de la formation

? Production de recommandations pédagogiques, modalités d’organisation, ruban de formation, progression pédagogique ? Définition des modalités de certification (obtention de diplôme en cohérence avec la réglementation existante) ? Définition des moyens nécessaires en personnels, infrastructures, équipements et financements ? Planification des différentes phases de réalisation : constructions, achat de matériel, mise en place des ressources

humaines, organisation des structures

23 – Proposer des modalités de suivi et de contrôle pour s’assurer de la conformité de la mise en œuvre du dispositif de formation et mettre en place les ajustements nécessaires…

3 – EVALUATION DE LA CONDUITE DU PROJET DE CREATION OU DE RENOVATION DU DISPOSITIF DE FORMATION PROFESSIONNELLE : analyse des document produits, des résultats en rapport au cahier des charges, des ajustements…


L’EXPERTISE EN INGENIERIE DES DISPOSITIFS DE FORMATION A L’INTERNATIONAL

La conduite d’activités d’appui et de conseil à l’international pour la création ou la rénovation de dispositifs de formation est susceptible de se heurter à de nombreuses difficultés. Elles peuvent être l’insuffisance de références statistiques et de documentation, des « métiers » qui ne sont pas nécessairement bien identifiés mais au contraire des activités extrêmement variées dont il faut pouvoir comprendre les logiques et les complémentarités, la structuration différente des groupes d’acteurs avec des logiques économiques, sociales culturelles variées, des référents culturels différents… Enfin, elles peuvent concerner le transfert de compétences des experts extérieurs vers les acteurs locaux qui vont participer à la gestion du projet et assurer sa pérennité… L’ensemble de ces difficultés exige des intervenants extérieurs la mise en œuvre de démarches dynamiques interactives dans lesquelles il faut tout à la fois : apprendre à connaître la culture de la société dans laquelle on intervient, effectuer l’auto-analyse de sa pratique permettant la réflexivité, c’est à dire le retour sur son comportement, son attitude, son activité, ses outils d’analyse… énoncer mutuellement ses référents méthodologiques, co-construire enfin avec ses partenaires une culture commune de savoirs, savoir-faire et savoir-être.

QUELQUES PISTES POUR LA CONDUITE DE L’ACTION…

Pour conduire la mise en œuvre d’un projet de dispositif qui exige tout à la fois une adaptation aux évolutions socio-économiques, une réflexivité sur les démarches en cours, assure l’intervention des acteurs dans le projet lui même Et permettent de transférer un savoir d’ingénierie aux acteurs, il faut imaginer des instruments de pilotage permanent qui permettent les ajustements sur la base d’un contrôle continu commun des résultats , et le transfert progressif du savoir d’ingénierie. Ces processus de pilotage peut comprendre : ? Des démarches de coopération entre les différents types d’acteurs, groupement d'individus ayant des intérêts

communs et associés dans l’action pour qu’ils construisent ensemble, dans un processus contradictoire, les éléments de leur propre développement ;

? La reformulation de la demande pour s’assurer, entre partenaires, de la même compréhension du problème ; ? La mise en place de structures qui permettent l’organisation des processus d’information, de concertation, de

négociation, de décision, entre les différents partenaires du projet dans une dynamique sociale développant leurs propres capacités d’organisation.

? La mise en circulation d’objets intermédiaires (document d’étape, cahier des charges, dossiers techniques…) qui vont permettre des négociations et des arbitrages entre les différents acteurs aux logiques et objectifs différents ;

? La conduite de boucles d’i tération permettant la réactivité des partenaires… A qui s’adresser pour approfondir les différents éléments de cette démarche ? Différents organismes français, publics et privés, peuvent vous aider dans la conduite d’activités d’ingénierie des dispositifs de formation. A votre demande, le Bureau de la formation professionnelle et de l’enseignement technique du ministère des Affaires étrangères et le Bureau de la coopération internationale du ministère de l’Agriculture et de la Pêche vous mettront en relation avec les professionnels français susceptibles de vous apporter un conseil dans ce domaine.

MAE - Bureau de la formation professionnelle et de l’enseignement technique 20, rue Monsieur 75700 Paris 07 SP - téléphone : 01 53 69 31 22 - télécopie : 01 53 69 41 32

mél ? MAP - Bureau Coopération Internationale

1 ter Avenue de Lowendal 75353 Paris 07 SP - tel: 01.49.55.42.34 - télécopie: 01.49.55.50.68 [email protected]

Documents à consulter : ? Centre International de Formation. « Développement du système de formation professionnelle et technique – Guide

pratique ». 1998. ? Ministère des Affaires étrangères, Ministère de l’Agriculture et de la Pêche, Agropolis. « Ingénierie des dispositifs de

formation à l’international – Quelle démarche ? Quelle organisation ? Quelle offre ? ». Educagri éditions. 2000. Cette annexe a été réalisée avec la collaboration de : P.DEBOUVRY, G.GABORIAUD (FAFSEA), A-M.GRANIE (ENFA), A.MARAGNANI (Inspection de l’Enseignement Agricole), D.RAGOT (CCADIFA).


Annexe 2 : Bibliothèque en ingénierie des dispositifs de formation

-Agropolis - Accessible en ligne : http://www.agropolis.fr/formation/biblio/index.html

Les documents présentés dans la bibliothèque sont issus, pour la plupart, des conférences, interventions et

contributions effectuées au cours des journées d'études «Ingénierie des dispositifs de formation à l'international» organisées par la Direction Générale de l'Enseignement et de la Recherche du Ministère de l'Agriculture et de la Pêche et Agropolis, avec le soutien du ministère des Affaires étrangères. Les documents sont répertoriés en 5 catégories : 1. les actes des deux dernières journées d'études (1999 et 2000) ; 2. les conférences ; 3. les articles ; 4. les études de cas ; 5. les études et documents. Tous ces fichiers sont téléchargeables au format rtf ou pdf. Utilisez le bouton droit de la souris et choisissez, «enregistrer la cible sous...», dans le menu . Si vous faites référence à ces différents documents, vous aurez l'obligeance de citer à chaque fois leur auteur, leur origine et la date de leur parution. LISTE DES DOCUMENTS DISPONIBLES 1/ Les actes : Ils comprennent les allocutions d'ouverture, les conférences, le compte rendu des ateliers et des tables rondes, les allocutions de clôture. * Les actes des quatrièmes journées d'études de nov. 99 : «Quelle démarche ? Quelle organisation ? Quelle offre ? » * Les actes des cinquièmes journées d'études de nov. 2000. « Comment articuler offre française et construction de la demande dans le cadre des institutions internationales ? (cas des programmes de l'Union Européenne) ». 2/ Les conférences : * DEVEZE.J.C. « Réflexions sur la demande en matière de formation rurale en Afrique». Journées d'études 1997. * FRITZ.JC. « La politique de coopération en matière de développement et ses conséquences sur la formation». Journées d'études 2000. * LE BOTERF.G. « Les défis posés à l'ingénierie de formation et à la production des expertises collectives. Quelles évolutions prendre en compte ? Quelles conséquences pratiques ? ». Journées d'études 1999. *ORIVEL.F . «La situation des systèmes éducatifs des pays d'Afrique subsaharienne et les voies de réforme possible». Journées d'études 1996. 3/ Les articles : Il s'agit d'une sélection d'articles, la plupart issus des journées d'études, qui analysent des expériences, des éléments de la démarche d'ingénierie des dispositifs de formation, des méthodologies utilisées. * BEAUDOUX.E, DASCON.F. « De l'unité dans des actions de coopération Nord/Sud de l'expérience en cours, en France, d'appui au partenariat entre Collèges et Lycées et leurs territoires d'appartenance »«. Journées d'études 1999. * BROCHET.M. « La construction sociale d'une demande de formation «. Journées d'études 2000. * BURGER.P. «Le sud en résistance culturelle ?».1996 * CABALLERO H. « La contribution des EPN au PROSPEA, la coopération internationale» PROSPEA 2000. * DEBOUVRY.P. « De la nécessité de préparer les personnels candidats à l'international ». Journées d'études 1999. * DEBOUVRY.P, GRANIER.AM, MARAGNANI.A, METGE.A. «Capitaliser pour développer une expertise collective». Journées d'études 1999. * DEBOUVRY.P. « L'inéluctable formation professionnelle agricole : un enjeu de court et de moyen termes pour les pays de l'Ouest africain ». Journées d'études 2000. * DEBOUVRY.P. «Typologie des expertises demandées» * DUPUIS L. «La formation des personnels à l'international». PROSPEA 2000.


* FOSSAT.G. «La demande de formation: l'analyse des besoins et l'élaboration d'un offre de formation». 1997 * GASPERINI L. « From Agriculture Education to Education for Rural Development and Food Security: All for Education and Food For All». Journées d'études 2000. * MARAGNANI.A, TEISSET.JL, RANGHEARD.MS. «Préparer aux métiers de l'agriculture et de l'agroalimentaire». Plein Sud. 1998. * MARAGNANI.A. « Professionnaliser nos expertises à l'international». PROSPEA. 2000. * MARAGNANI.A. « Dans les pays en développement, quelle démarche d'ingénierie ? »«. Journées d'études 2000. * TEISSET.JL. « Bilan et perspectives des actions d'ingénierie des dispositifs de formation à l'international». Journées d'études 1999. * VAZEIX.M. «Former des cadres et des vulgarisateurs; une logique formation-développement». Journées d’études, 1996. 4/ Les études de cas : Il s'agit d'une sélection d'articles, la plupart issus des journées d'études, qui présentent des cas concrets pour lesquels les différents éléments d'une démarche de diagnostic des besoins de formation sont mis en œuvre. * BOUZOUITA.H. « Quel dispositif d'ingénierie de formation pour le développement de la petite agriculture en Tunisie ?». Journées d'études 2000. * BROCHET.M. « Préparation à la mise en œuvre d'un programme d'ingénierie des dispositifs de formation en Côte d'Ivoire». Journées d'études 1999. * DELACROIX A . « Coopération France - Chine : la rénovation de l'enseignement technique et professionnel agricole chinois». Journées d'études 1999. * FOSSAT G. « Exemple de l'appui à la mise à niveau de la formation professionnelle agricole en Tunisie». Journées d'études 1999. * GASZTOWTT.J. « KECSKEMET en Hongrie»«. Journées d'études 2000. * GIROUX.F. « Programme de renforcement des formations post-graduées en agroalimentaire dans les pays du Mercosur et au Chili » . Journées d'études 2000. * MARAGNANI A . « La rénovation de la formation professionnelle et de l'enseignement technique agricoles de Côte d'Ivoire. Quelques réflexions sur la conduite du diagnostic ». Journées d'études 1999. * MURESAN.M . « Système d'analyse des formations continues agricoles en Roumanie - Programme Leonardo ». Journées d'études 2000. * OUATTARA.A. « Appui en formation aux groupements paysans et aux structures de développement rural au Burkina-Faso ».Journées d'études 2000. * RAGOT.D. « Typologie des expertises : Diagnostic et évolution de la formation Bac+2 de l'ETSHER». Février 2001. * SOULAT D. « Création d'un dispositif de formation à l'ingénierie de formation pour l'Afrique de l'Ouest » . Journées d'études 1999. 5/ Les études et documents. Il s'agit d'une sélection d'études et de documents, réalisés ou non dans le cadre des journées d'études. * BOULIER.F. « Politiques, programmes et procédures de l'Union Européenne pour la formation dans les secteurs du développement agricole, agroalimentaire et rural en faveur des pays en développement, émergents ou en transition économique ». Journées d'études 2000. * MARAGNANI.A. «Présentation de l'ingénierie des dispositifs de formation dans la mission de coopération internationale des établissements d'enseignement agricole». Mai 2001. * MARAGNANI.A, TEISSET.JL, RANGHEARD.MS. «Bilan et perspectives des actions d'ingénierie des dispositifs de formation à l'international» Ministère de l'Agriculture et de la Pêche/DGER. Janvier 1999. * Ministère des Affaires étrangères «Pour une nouvelle approche de la formation professionnelle et technique». 1999. * Ministère des Affaires étrangères. Direction du développement et de la coopération technique. «Grille d'analyse des systèmes de formation professionnelle» . 2000.


Liste des participants

classée par ordre alphabétique.


B BAZILE Pierre BEAUDOUX Etienne ENGREF - UMR 3 S IRAM 500 rue Jean-François Breton 49, rue de la Glacière BP 5093 75013 PARIS 34093 MONTPELLIER CEDEX 1 ? 04 67 54 87 22 ? 01 44 08 67 67 [email protected] [email protected] BENBOUALI Abdenour BENSLIMANE Sadika BERGER Benoît

1 parc des elfes Centre International d'Etudes Pédagogiques (CIEP) LEGTA Fontaines

Chemin du Combas 1, av. Léon Journault BP 6 34980 MONTFERRIER SUR LEZ Coopération en Education 71150 FONTAINES 92310 SEVRES ? 04 67 55 36 68 ? 01 45 07 60 00 ? 03 85 47 82 82 [email protected] [email protected] [email protected] BERTHELOT Anne-Marie BONAIME Benoît BORIES Anita Ministère de l'Agriculture et de la Pêche-DGERBCI/FOPDAC

ENSIA/SIARC AGROMIP

1ter, avenue de Lowendal BP 5098 2 route de Narbonne 75700 PARIS 07 SP 34033 MONTPELLIER CEDEX 1 BP 87 31326 CASTANET TOLOSAN

? 01 49 55 45 23 ? 04 99 23 21 50 ? 05 61 75 34 43 [email protected] [email protected] BOUILHOL Michel BOUZOUITA Hassine BRINGUIER Guy

ENITA de Clermont-Ferrand Ass. pour la vulgarisation et la formation agricoles CNEARC

RN 89 - Marmilhat 30, rue Alain Savary BP 5098 63370 LEMPDES 1002 TUNIS BELVEDERE 34033 MONTPELLIER CEDEX 1 ? 04 73 98 13 45 ? 216 1 796 997 ou 915 ou 789 025 ? 04 67 61 70 24 [email protected] [email protected] [email protected] C BROCHET Michel BRODARD Martine CABROL Michel

CNEARC SRFD CENTRE DRAF/SRFD LANGUEDOC-ROUSSILLON

BP 5098 Cité adm. Coligny,bât. B - 131 Rue Fbg Bannier

3270, route de Mende

34033 MONTPELLIER CEDEX 1 45042 ORLEANS cedex 1 34090 MONTPELLIER ? 04 67 61 70 07 ? 02 38 77 40 53 ? 04 67 41 80 10 [email protected] [email protected] [email protected] CAMBEROU Laurent CAZAUX Edwige CHALLEMEL du ROZIER Edouard AFNOR CREUFOP-LR CNEARC 11 av. Francis de Pressensé 99 Av. d'Occitanie BP 5098 93751 St DENIS LA PLAINE CEDEX 34096 MONTPELLIER CEDEX 5 34033 MONTPELLIER CEDEX 1 ? 01 41 62 83 81 ? 04 99 58 52 85 ? 04 67 61 70 57 [email protected] [email protected] [email protected]


CHARLOT Mi chel COLINET Laurence COUDRAY René

MAP/DGER/FOPDAC/BCI Ministère de l'Agriculture et de la Pêche - IGA ENESAD - Département 4

1ter, av. de Lowendal DPEI-Inspection de la Coopération Int.

26 rue du Docteur Petitjean

65 rue de Varenne BP 1607 75353 PARIS 07 SP 75700 PARIS 21036 DIJON CEDEX ? 01 49 55 52 39 ? 01 49 55 52 41 ? 03 80 77 29 46 [email protected] D DA ROS Franck DARBOUR Jean DEBOUVRY Pierre ENITIAA ENFA 20 rue de l'Escantadou Rue de la Géraudière - BP 82225 BP 87 Les Collines d'Estanove

44322 NANTES CEDEX 03 31326 CASTANET TOLOSAN CEDEX 34070 MONTPELLIER ? 02 51 78 54 88 ? 05 61 75 32 32 ? 04 67 69 25 10 [email protected] [email protected] [email protected] DELAHOUSSE Brigitte DEMON Marie-Pierre DESSALLIEN Christian UNESCO - Division de l'Education - Bureau 3027 CFPPA de Florac P.O Box 650

7, place Fontenoy 9, rue Célestin Freinet YANGON 75007 PARIS 48400 FLORAC BIRMANTE ? 01 45 68 10 01 ? 04 66 65 65 62 ? 01 42 22 29 02 [email protected] [email protected] [email protected] DIEUDONNE Denis D'ORGEVAL Isabelle DUCLOS Hélène AGROMIP C.N.E.A.P. Culture et Promotion 2 route de Narbonne 277, rue St Jacques 28 rue Godefroy Cavaignac BP 87 75005 PARIS 75011 PARIS 31326 CASTANET TOLOSAN ? 05 61 75 34 43 ? 01 53 73 74 20 ? 06 11 49 33 36 [email protected] [email protected] [email protected] F DUPIN Paule DUPUY Louis FABRE Geneviève

DRAF/SRFD AUVERGNE CNEARC DRAF/SRFD LANGUEDOC-ROUSSILLON

BP 45 - Marmilhat BP 5098 3270, route de Mende 63370 LEMPDES 34033 MONTPELLIER CEDEX 1 34090 MONTPELLIER ? 04 73 98 01 92 ? 04 67 61 70 65 ? 04 67 41 80 10 [email protected] [email protected] [email protected] G FAUCON Naïk FINETTE Blandine GAUTIER Patrick CREUFOP LR ENFA EPLEA Rennes Le Rheu - CPSA Quai de la Daurade BP 87 Avenue des Palmiers 34200 SETE 31326 CASTANET TOLOSAN CEDEX 35270 COMBOURG ? 04 67 46 33 84 ? 05 61 75 32 97 ? 02 99 73 05 27 [email protected] [email protected] [email protected]


GEIGER Francis GIROUX François GLADY-LAURENS Martine ENVT ENSIA/SIARC CIRAD EMVT 23 chemin des Capelles BP 5098 TA 30/B - Campus de Baillarguet 31076 TOULOUSE CEDEX 3 34033 MONTPELLIER CEDEX 1 34398 MONTPELLIER CEDEX 5 ? 04 99 23 21 50 ? 04 67 59 37 75 [email protected] [email protected] GRANIE Anne-Marie GREUIN Christian GUIRONNET Yvan ENFA IUT Consultants CFPPA de Digne-Carmejane Economie et Sociologie Rurales - BP 87 1, rue Maurice Arnoux

31326 CASTANET TOLOSAN CEDEX 92120 MONTROUGE 04510 LE CHAFFAUT ? 05 61.75.32 56 ? 01 46 55 39 13 ? 04 92 34 60 56 [email protected] [email protected] [email protected] H J HERMEN Jean-Louis HINNEKINT Yves JANELLE Robert Université des Sciences Sociales - Toulouse I FAFSEA

Ministère de l'Agriculture et de la Pêche-DPEI/SRI

Observatoire de la Vie Etudiante Tour Essor 93 - 14, rue Scandicci Bureau Afrique-Méditerranée

Place Anatole France 3 rue Barbet de Jouy 31042 TOULOUSE CEDEX 9 93508 PANTIN CEDEX 75349 PARIS 07 SP ? 05 61 63 35 37 ? 01 49 15 53 38 ? 01 49 55 49 24 [email protected] [email protected] [email protected] JAZE Alain JOUBERT Madeleine JOUVE Philippe ENESAD C.N.E.A.P. CNEARC 26 Bd du Docteur Petitjean - BP 1607 277, rue St Jacques BP 5098

21036 DIJON cedex 75005 PARIS 34033 MONTPELLIER CEDEX 1 ? 03 80 77 25 42 ? 01 53 73 74 20 ? 04 67 61 70 00 [email protected] [email protected] [email protected] L LAFFONTAN Anne LAMARQUE Lucien LANAU Sylvain EPLEA Jean Monnet AGRO MONTPELLIER 8 av. de la Gare 2, place Viala Tessonnières 65500 VIC EN BIGORRE 34060 MONTPELLIER CEDEX 1 81600 GAILLAC ? 05 62 31 80 00 ? 04 99 61 25 69 ou 73 ? 05 63 57 61 06 [email protected] [email protected] [email protected] LE LAGADEC Louis LEMAIRE Philippe LUMMERZHEIM Marie C.N.E.A.P. LEGTA Aix Valabre ESAP 277, rue St Jacques 5065, route de Gardanne 75 voie duToec 75005 PARIS 13548 GARDANNE CEDEX 31076 TOULOUSE CEDEX 3 ? 01 53 73 74 20 ? 04 42 65 43 20 ? 05 61 15 30 27 [email protected] [email protected] [email protected]


M MABIT René MAGNE Joël MALEGEANT Jean-Yves Ministère de l'Agriculture et de la Pêche - COPERSI LEGTA Louis Pasteur ENITIAA

251 rue de Vaugirard Marmilhat Rue de la Géraudière – BP 82225

75732 PARIS CEDEX 15 63370 LEMPDES 44072 NANTES CEDEX ? 04 73 61 93 99 ? 02 51 78 54 33 [email protected] [email protected] MARAGNANI Alain MATHERON Gérard MATHIAS Dominique Ministère de l'Agriculture et de la Pêche-Inspection de l'Ens. Agricole

AGROPOLIS ENSIA/SIARC

1ter, avenue de Lowendal Avenue Agropolis BP 5098 75700 PARIS 07 SP 34394 MONTPELLIER CEDEX 5 34033 MONTPELLIER CEDEX 1 ? 04 67 61 70 00 ? 04 67.04.75.50 ? 04 99 23 21 50 [email protected] [email protected] [email protected] METGE Jean MOLMY Georges MONDY Bernard ENFA ESITPA ENFA BP 87 Rue Grande - BP 607 BP 87 31326 CASTANET TOLOSAN CEDEX 27106 VAL DE BREUIL CEDEX 31326 CASTANET TOLOSAN ? 05 61 75 32 34 ? 02 32 59 70 82 ? 05 61 75 32 62 [email protected] gmolmy @esitpa.org [email protected] N O P NOTTE Christine OUYAHIA Mourad PERIER Jean-Pierre ENESAD SESAME AEPR 26 Bd du Docteur Petitjean - BP 1607 9, square Gabriel Fauré 2 rue Bouschet de Bernard

21036 DIJON Cedex 75017 PARIS 34070 MONTPELLIER [email protected] ? 01 40 54 29 62 ? 04 67 58 78 43 [email protected] [email protected] PETERMANN Patrice PETIT Claude POURTIER Dominique Ministère de l'Agriculture et de la Pêche-Inspection de l'Ens. Agricole

ENVT LEGTA Chartres

1ter, avenue de Lowendal 23 chemin des Capelles La Saussaye 75353 PARIS 07 SP 31076 TOULOUSE CEDEX 28630 SOURS CEDEX [email protected] ? 05 61 19 38 42 ? 02 37 90 86 20 [email protected] [email protected]


Q R QUETIN Bertrand RAGOT Dominique RASSE MERCAT Elizabeth CEMPAMA SRFD FRANCHE-COMTE CNEARC

BP 4 Immeuble Orion - 191 rue de Belfort BP 5098

29170 FOUESNANT 25014 BESANCON CEDEX 34033 MONTPELLIER CEDEX 1 ? 02 98 94 40 70 ? 03 81 47 75 35 ? 04 67 61 70 00 [email protected] [email protected] REGONDAUD Fabienne RIPOCHE Jacques ROUVIERE Marie-Christine ENILIA Surgères CNEARC 23 rue du Brucq BP 49 BP 5098 17700 SURGERES 34033 MONTPELLIER CEDEX 1 34430 ST JEAN DE VEDAS ? 05 46 27 69 00 ? 04 67 61 70 12 ? 06 70 21 90 03 [email protected] [email protected] [email protected] S RUNNER Pierre SAUBOA Clotilde SIAU Yves Institut International de la Planification de l'Education CNEARC CREUFOP-LR

7/9 Rue Eugène Delacroix BP 5098 99 Av. d'Occitanie 75116 PARIS 34033 MONTPELLIE CEDEX 1 34096 MONTPELLIER CEDEX 5 ? 01 45 03 77 00 ? 04 67 04 70 00 ? 04 99 58 52 73 ou 91 [email protected] [email protected] [email protected] T TALLEC Michel TARAUD Joël THEBE Bernard CNEARC CNEARC IRD BP 5098 BP 5098 BP 5045 34033 MONTPELLIER CEDEX 1 34033 MONTPELLIER CEDEX 1 34032 MONTPELLIER ? 04 67 61 70 03 ? 04 67.61.70.36 ? 04 67 91 72 60 [email protected] [email protected] THERY Benoît THEVENIN Emmanuel THONNAT Jérôme Thery International Management

Atelier technique des espaces naturels

CIRAD EMVT

19 rue Navier Agro Montpellier – 2 place Viala TA 30/B - Campus de Baillarguet

75017 PARIS 34060 MONTPELLIER CEDEX 1 34398 MONTPELLIER CEDEX 5 ? 01 46 27 30 00 ? 04 67 04 30 30 ? 04 67 59 37 27 [email protected] [email protected] [email protected] U V TOUZARD Isabelle UHEL Christiane VERNASSAUD Michèle CNEARC CREUFOP CFPPA Domaine du Merle BP 5098 99, avenue d'Occitanie Route d'Alès 34033 MONTPELLIER CEDEX 12 34096 MONTPELLIER CEDEX 5 13300 SALON DE PROVENCE ? 04 67 61 70 00 ? 04 99 58 52 98 ? 04 90 17 01 55 [email protected] [email protected] [email protected]


W WAGNER Christina WEISS Martin WIDMAIER Alain

CEP/FLORAC AGROPOLIS Agence Française de Développement

rue Célestin Freinet Avenue Agropolis 5, rue Roland Barthes 48400 FLORAC 34394 MONTPELLIER CEDEX 5 75598 PARIS CEDEX 12 ? 04 66 65 65 65 ? 04 67.04.75.76 ? 01 53 44 33 42 [email protected] [email protected] WYBRECHT Bertrand CNEARC BP 5098 34033 MONTPELLIER CEDEX 1 ? 04 67 61 70 61 [email protected]

8833

Publication Agropolis Montpellier Novembre 2001

Responsable : Alain MARAGNANI Réalisation : Olivier PIAU (A-Production)

8844

AGROPOLIS Avenue Agropolis

34394 Montpellier Cedex 5 – France

Tél. +33 (0)4 67 04 75 75 – Fax. +33 (0)4 67 04 75 99 Email : [email protected]

Serveur : www.agropolis.fr