Workshop: Inleiding tot de OEESClaudia Claes & Riet Steel
Studiedag Efficiëntie en Effectiviteit
28 september 2012
Overzicht presentatie
• Situering
• Twee instrumenten:– De POS– De OEES
• Vragen
Situering
• Quality of Life als meetbaar construct• Evidence-based practices en het
gebruik van logic program modellen
QOL
Multidimensioneel met kerndomeinen
Beïnvloed door persoonlijke- en
omgevingsfactoren
Domeinen zijn universeel,alhoewel ze kunnen verschillen in
waarde en belang
Assessment van QOL domeinen is gebaseerd op cultureel sensitieve
indicatoren
QOL als meetbaar construct
(Schalock et al., 2010)
Evidence-based practice model
Logic Program Model
Individu Organizatie Maatschappij
Vraagstelling AssessmentDiagnoseOndersteuning
High performance teamsPCPSysem of supportsProgramma opties
Beleid
Evidence indicatoren
Gedrags-veranderingFysieke veranderingQOL…
Efficiëntie metingenEffectiviteits-metingen
SESTewerkstellingWonen
Strategie= DoelenActiesHulpbronnen
Multi-dimensionelebeeldvorming
Toets UitkomstenKwaliteit van Bestaan (subj + obj)
Uitkomsten
P
DC
A
OndersteuningVraagverduidelijking
OndersteuningsprocesProblemen
Wensen+Onder-steunings-Behoeften+Risico’s
Behoeften
Quality of Life
Program Logic Model van Ondersteuning
Twee instrumenten
• Personal Outcome Scale (POS)• Organizational Effectiveness &
Efficiency Scale (OEES)
Personal Outcomes ScalePersoonlijke Ondersteuningsuitkomsten Schaal
Schaal voor de beoordeling van de individuele kwaliteit van bestaan
Dr. Jos van LoonProf.dr. Geert van HoveProf.dr. Robert SchalockLic. Claudia Claes 2008
Opzet van de schaal
• Meten van ‘outcomes’: uitkomsten of resultaten van ondersteuning
• Meten van de kwaliteit van bestaan
• Model van Schalock en Verdugo (2002) m.b.t. QOL: Drie factoren, acht domeinen, drie indicatoren per domein
• Twee interviews met vragenlijsten: gesprek met de cliënt (of proxies): Zelfbeoordeling plus gesprek met de professional: Geobjectiveerde beoordeling
Persoonlijke Ontwikkeling
Persoonlijke Ontwikkeling gaat over jouw opleiding en scholing (inclusief “een leven lang leren”) enpersoonlijke competenties (inclusief het leren en toepassen van vaardigheden). Voordat je de items gaatbeantwoorden, kun je eerst even over het volgende nadenken.
1. Het leren over / van de dingen waar jij geïnteresseerd in bent.2. Het leren van vaardigheden zodat je minder afhankelijk bent.3. In staat zijn om voor jezelf te zorgen.4. In staat zijn om voor je zelf op te komen.5. Zelf toegang hebben tot informatie / informatie op kunnen zoeken.
1. In welke mate ben je in staat zelfstandig te eten, rechtop te gaan staan en te gaan zitten, naar de wc te gaan en jezelf aan te kleden?
Over het algemeen Met hulp Kan ik niet onafhankelijk zelfstandig
2. In welke mate ben je in staat maaltijden klaar te maken, schoon te maken, zelfstandig op pad te gaan en medicijnen te nemen?
Over het algemeen Met hulp Kan ik niet onafhankelijk zelfstandig
3. Ben je vaardigheden aan het leren om zelfstandiger te worden, volg je cursussen of een opleiding?
Veel Enkele Weinig tot geen
4. Is er gelegenheid voor jou om te laten zien welke vaardigheden je bezit?
Vaak Soms Zelden tot nooit
5. Heb je toegang tot informatie waar je geïnteresseerd in bent: bijvoorbeeld een krant,een tijdschrift, internet of een bibliotheek?
In ruime mate Enigszins Niet of nauwelijks
6. Gebruik je een computer, een telefoon of een rekenmachine?
Vaak Soms Zelden tot nooit
Organizational Effectiveness & Efficiency ScaleOrganisationele Effectiviteits en Efficiëntieschaal
Robert L. SchalockMiguel A. VerdugoChun-Shin Lee and Tim LeeJos van Loon and Kees SwartClaudia Claes
Ontwikkeling van de schaal
• Literatuuronderzoek– Identificeren evidence-based indicatoren van
organisatie prestatie en performantie management
• Conceptmapping – Aggregeren indicatoren in conceptueel en
meetkader, voortbouwend op 4 wijdverspreide performantie gebaseerde perspectieven
• Balance Score Card– Client / consument – Groei – Financieel – Interne Processen
Ontwikkeling van de schaal
• Opbouw initiële schaal– 20 items, 5 per perspectief, opgebouwd uit 3 of meer
indicatoren– 3-punten beoordelingsschaal– Effectiveness + Efficiency Index = Sustainability Index
• Fieldtesting bij potentiele gebruikers– potentieel gebruik (Taiwan)– toepasbaarheid en helderheid (Spanje)– betrouwbaarheid en validiteit (Vlaanderen)– bepalen aangewezen afname, analyse en rapportage
• Vertaling en publicatie – 4 talen: Chinees, Engels, Nederlands, Spaans
Items
1. De organisatie stemt haar diensten of ondersteuning af op gemeten en/of aangegeven ondersteuningsbehoeften
2. De organisatie rapporteert het aantal cliënten dat in een meer onafhankelijke, productieve en ‘community-based’ woonomgeving leeft en werkt.
3. De organisatie evalueert persoonlijke uitkomsten.
4. De organisatie rapporteert de samengevoegde persoonlijke uitkomsten.
5. De organisatie gebruikt technologie om de persoonlijke uitkomsten te verbeteren.
6. De organisatie verwoordt haar missie en beoogde resultaten.
7. De organisatie wendt de beschikbare middelen aan om de beoogde resultaten te halen.
8. De organisatie ontwikkelt programma opties.
9. De organisatie ontwikkelt en evalueert high performance teams.
10. De organisatie controleert de job tevredenheid en ontwikkelt programma’s die leiden tot jobverrijking.
Items11. De organisatie vergelijkt eenheidskosten (kosten per uur, dag, maand) tussen
verschillende locaties of afdelingen (bv. tewerkstellingsprogramma’s, residentietypes, onderwijsprogramma’s)
12. De organisatie rapporteert het percentage van het budget dat wordt gebruikt voor de ondersteuning van de cliënt.
13. De organisatie controleert de relatie tussen sociaal kapitaal en agency based kapitaal.
14. De organisatie gebruikt vaste en variabele (indirecte en directe) kostencalculaties om een begroting met groei te kunnen maken.
15. De organisatie gaat partnerschappen aan.
16. De organisatie verbindt programmacomponenten van input, output, throughput met elkaar.
17. De organisatie gebruikt een geïntegreerd informatie managementsysteem overheen verschillende geografische locaties en programma types.
18. De organisatie toont de relatie aan tussen eenheden van aangeboden diensten/ondersteuning en vastgestelde ondersteuningsbehoeften.
19. De organisatie gebruikt effectiviteit en efficiëntie indicatoren als basis voor continue kwaliteitsverbetering.
20. De organisatie gebruikt data voor verschillende doeleinden.
Voorbeeld: ITEM 9, Groei perspectief
De organisatie ontwikkelt en evalueert high performance teams.
Indicatoren:
A. De organisatie beschrijft haar huidige benadering in de ontwikkeling en het inzetten van teams.
B. De organisatie ontwikkelt een teamcultuur.
C. De organisatie evalueert de effectiviteit en efficiëntie van haar high performance team(s)
Voorbeelden:
De organisatie beschikt over protocollen omtrent de vergaderingen, samenstelling en specifieke taken van de teams. Er zijn strategieën voor het oplossen van conflicten; …
Score:0 1 2
Voorbeeld: ITEM 18, Interne Processen
De organisatie toont de relatie aan tussen eenheden van aangeboden diensten/ondersteuning en vastgestelde ondersteuningsbehoeften.
Indicatoren:
A. De organisatie heeft een gestandaardiseerde aanpak in het bepalen van de eenheden van dienstverlening (zie item 11).
B. De organisatie heeft een gestandaardiseerde aanpak voor het bepalen van de individuele ondersteuningsbehoeften (zie item 1)
C. De organisatie kan empirisch het verband aantonen tussen eenheden van aangeboden diensten/ondersteuning en de gemeten ondersteuningsbehoeften van de persoon.
D. De organisatie rapporteert de resultaten van vraag C.
Voorbeelden:
Er is een beschrijving van een gestandaardiseerde aanpak om eenheden van dienstverlening te definiëren; er is een gestandaardiseerde aanpak voor het bepalen van individuele ondersteuningsbehoeften; er zijn studies die het verband tussen aangeboden diensten/ondersteuning en de gemeten ondersteuningsbehoeften van de cliënt onderzoeken of evalueren.
Score:0 1 2
Scoring
Uitkomst uitgedrukt in chartdiagram
Uitkomst uitgedrukt in chart
Pilootstudie
• Doel: – Betrouwbaarheid en validiteit nagaan– Perceptie duidelijkheid en relevantie
• Schaal vertaald naar Nederlands• Afname van 3 stafmedewerkers in 14
organisaties• Medewerking 2 studenten Bestuurskunde
Pilootstudie
• Medewerking 14 organisaties
13 Vlaams (VAPH), 1 Nederlands• Dagcentrum Omega• Dagcentrum Sint-Niklaas• Dagcentrum ‘t Veldzicht• De Beweging• De Bosuil• De Vierklaver • Den Achtkanter• Emiliani• Humival• Katrinahof• Klim • Oostrem• Pegode • Stichting Arduin
Pilootstudie: Ervaringen en eerste resultaten • Client
Minderheid organisaties werkt reeds met gemeten (en geaggregeerde) persoonlijke uitkomsten QOL cliënten
• GroeiGemiddeld hoge scores innovatie en kwaliteitsverbetering, clientgericht & gediversifieerd aanbod, VTO-beleid, …
• FinancieelScores sterk bepaald door Vlaamse context
• Interne ProcessenGrote aandacht voor procesmatig werken, minderheid organisaties werkt met PLM (uitkomsten beperkt in beeld)
Pilootstudie: Ervaringen en eerste resultaten • Meerwaarde consensusscore • Houdt organisatie spiegel voor: zet aan tot reflectie,
bijsturing, strategische planning• Verschil in score beïnvloed door grootte organisatie• Invloed Vlaamse context: regelgeving, financiering,
… (bvb evolutie naar PGB)– Vnl invloed op scoring indicatoren Financieel perspectief
• Sommige formuleringen en voorbeelden bij indicatoren nog voor verbetering vatbaar
Wordt vervolgd…
• Rapport pilootstudie• Bijstelling instrument door internationale
auteursploeg• Lancering definitief Engelstalig instrument
januari 2013?
• Vertaling en lancering Nederlandstalig instrument
voorjaar 2013?
• Vervolgonderzoek & gebruik in praktijk
Vragen?
E-QUAL – Expertisecentrum Quality of Life
Claudia Claes [email protected] 09 / 248 88 94
Riet Steel [email protected]