2nd Transnational Workshop11th December 2009 - Thessaloniki

1

MONITORING PLAN & TOOLS

2

Why a Monitoring Plan? Monitoring is an activity: • foreseen in VIDEO work programme approved;

•  functional to ensure the outcomes achievement, consistently with the work programme approved;

•    useful  to  re-plan and  re-design  the actions –  if the  case  –  with  respect  to  decisions,  new occurrences, obligations and requirements.

 3

Why a Monitoring Plan?

  The elaboration of a Monitoring Plan stems from the  need  to  structure  and  organise  the  actions related  to  the  implementation  of  Monitoring tasks. 

4

Structure of the Plan

The Plan has been articulates in two sections: •  The first section, defines the methodological framework  of  monitoring  within  the  project V.I.D.E.O.

•  The second section describes the tools to be applied.

5

Section IMonitoring framework

Methodology •   Programme features (LLP-Leonardo da Vinci) to be considered as  a  general  background  (particularly:  partnership,  innovation, transfer, sustainability) 

•      The  outlined  background  leads  to  consider  the project as a whole  and  suggest to observe its entire life-cycle

•   In line with this approach, it can be interesting to consider the reflection which is being carried out on the topic of quality and the possible application of quality issues to training processes. 

6

Management

Evaluation

Resources Management

Production

Input Output product

P R O J E C T

R E S U L T

QUALITY MANAGEMENT SYSTEM

7

Scheme – Quality Management System

The QMS model is based on four pillars: 

• Management responsibility; • Resource management; • Product realisation; • Measurement, analysis and improvement.

8

The model depicted below suggests the adoption of several actions, with relative expected outcomes: 

•      yearly  survey  by  delivery  via  e-mail  of  a questionnaire;

•   drafting of synthesis grid on the progress of each WP of the project; 

•      elaboration  of  fiches describing the products/results which  have  been implemented  or  are  being  implemented within every single WP of the project;

9

Actions

•      Iterative activities of systematisation of data  and  information  concerning  the project;

 •      Implementation  of monitoring  surveys on  specific  themes  or  components  of  the Project.  

  

10

The  tool to  carry out  the  survey  is a questionnaire with pre-codified answers focused on the fundamental  issues of a, and namely: 

•Project redefinition or adjustments•Partnership management•Administrative management•Objectivesn achievement/Products implementation•Self-evaluation/Quality Control•Dissemination

11

Reporting

Further to a statistical analysis of the collected data

2 monitoring reports (1 intermediate and 1 final)

will  be  implemented  which  will  represent,  with  an additional chapter containing a synoptic and synthetic analysis  of  the  results,  the  source-base  for  of  a final internal evaluation report.

12

Typologies of Project Monitoring

A) “PHYSICAL” MONITORING

B)   PROCESS MONITORING 

13

A) “PHYSICAL” MONITORING

“Physical” data of projects are basically:

•      those  concerning  the  contractor and  the  partnership members (name, typology of organisation, dimensions of the organisation,  country  and  region,  sector  of  intervention, number of partners and of involved countries);

•   those concerning the financial resources by project phase and  budget  heading,  on  the  whole  project  and  in  the breakdown per partner as established in the contracts;

•   those concerning the products (product typology, medium typology, target typology, language, dimensions).

14

B) PROCESS MONITORING

The  basic  features  of  the  Programme  are  its objectives  of  transfer  innovation and  increase quality in  national  and  European  training  systems and arrangements,  through the  implementation of actions  which  are  based  on  an  integration  and comparison  of  the  different  national  and  sectoral context  which  are  represented  by  partnership members. 

15

B) PROCESS MONITORING

The  attention  is  therefore  focused  on  partners’ common working paths.  This  is  the  starting  point for  the  analysis  of  the  qualitative aspects of the implemented process. 

16

B) PROCESS MONITORING

Process monitoring can  therefore  enrich  the consciousness  about  the  project  activities  with information concerning for instance: 

the  styles  of  relation,  decision  making  and communication within the partnership;the  capacity  of  organisation,  identification and  solution  of  problems  within  the partnership; the  strategies  and  channels  which  are  used for results dissemination;the evaluation methods.  17

B) PROCESS MONITORING

The  related  actions  must  not  be  limited  to  verify the  variance  between  planned  and  implemented activities;they must  be  based  on  a participating and active observation of the project processes and of its results (for instance, during the partnership meetings).

18

B) PROCESS MONITORING

Direct observation will be implemented by:  •    the  analysis  of  what  the  partnership  has  done  during  project meetings; •  the synthesis of all information gathered in direct, telephone or e-mail meeting with the projects contact persons; •    the utilisation of tools aimed at rebuilding the project  life  in  its basic  elements  through  the  iterative  and  fixed  delivery  of interviews and questionnaires; •    the  organisation of focus groups,  gathering  initiatives  which have  similar  approaches  for  what  concerns,  for  instance, management, processes control, production modalities or systems for evaluating results quality (especially during the second phase of project implementation).

19

B) PROCESS MONITORING

Indirect observation must be aimed at: •   codifying and organising the information coming from  what  project  implement  in  terms  of  results and  products  for  each  workpackage  and  sub-workpackage;

20

Section IIMonitoring Tools

The tools to collect information must be different, not only for the nature of the phenomena which are investigated but also the need to carry out the surveys in different stages. These tools should be friendly and adjustable in itinere, they must integrate  closed  structures  to  verify  what  exists  in  terms  of presence/absence  and  quantity  and  open  structures,  aimed  at highlighting  the  qualitative/descriptive  elements  of  the  process and the possible criticalities.  Tools must be articulated in order to meet the complexity of each project  and  the  plurality  of  elements  which  needs  investigation, but  nevertheless  they  must  also  be  light, easy to deliver, promoters friendly and continuously adjustable.

21

To summarize…

22

Tool Sampling criteria - WHEN Quality control area

WHAT

Observation

Projects Quality Plan All projects Management

Production

Evaluation

Indirect

Structured questionnaire with pre-codified answers 

All project’s Management

Production

Evaluation

Direct or by e-mail

Annexe 1

Protocol for carrying out semi-structured face-to-face interviews 

All project’s components Management

Resources Management

Production

Evaluation

Direct

To be defined

Grid for meetings observation To be adopted during the second phase Management

Resources management

Direct

Fiche describing project process All project’s components two times during the lifecycle of the project

Management

Resources Management

Production

Evaluation

Indirect