Workshop: Inleiding tot de OEESClaudia Claes & Riet Steel

Studiedag Efficiëntie en Effectiviteit

28 september 2012

Overzicht presentatie

• Situering

• Twee instrumenten:– De POS– De OEES

• Vragen

Situering

• Quality of Life als meetbaar construct• Evidence-based practices en het

gebruik van logic program modellen

QOL

Multidimensioneel met kerndomeinen

Beïnvloed door persoonlijke- en

omgevingsfactoren

Domeinen zijn universeel,alhoewel ze kunnen verschillen in

waarde en belang

Assessment van QOL domeinen is gebaseerd op cultureel sensitieve

indicatoren

QOL als meetbaar construct

(Schalock et al., 2010)

Evidence-based practice model

Logic Program Model

Individu Organizatie Maatschappij

Vraagstelling AssessmentDiagnoseOndersteuning

High performance teamsPCPSysem of supportsProgramma opties

Beleid

Evidence indicatoren

Gedrags-veranderingFysieke veranderingQOL…

Efficiëntie metingenEffectiviteits-metingen

SESTewerkstellingWonen

Strategie= DoelenActiesHulpbronnen

Multi-dimensionelebeeldvorming

Toets UitkomstenKwaliteit van Bestaan (subj + obj)

Uitkomsten

P

DC

A

OndersteuningVraagverduidelijking

OndersteuningsprocesProblemen

Wensen+Onder-steunings-Behoeften+Risico’s

Behoeften

Quality of Life

Program Logic Model van Ondersteuning

Twee instrumenten

• Personal Outcome Scale (POS)• Organizational Effectiveness &

Efficiency Scale (OEES)

Personal Outcomes ScalePersoonlijke Ondersteuningsuitkomsten Schaal

Schaal voor de beoordeling van de individuele kwaliteit van bestaan

Dr. Jos van LoonProf.dr. Geert van HoveProf.dr. Robert SchalockLic. Claudia Claes 2008

Opzet van de schaal

• Meten van ‘outcomes’: uitkomsten of resultaten van ondersteuning

• Meten van de kwaliteit van bestaan

• Model van Schalock en Verdugo (2002) m.b.t. QOL: Drie factoren, acht domeinen, drie indicatoren per domein

• Twee interviews met vragenlijsten: gesprek met de cliënt (of proxies): Zelfbeoordeling plus gesprek met de professional: Geobjectiveerde beoordeling

Persoonlijke Ontwikkeling

Persoonlijke Ontwikkeling gaat over jouw opleiding en scholing (inclusief “een leven lang leren”) enpersoonlijke competenties (inclusief het leren en toepassen van vaardigheden). Voordat je de items gaatbeantwoorden, kun je eerst even over het volgende nadenken.

1. Het leren over / van de dingen waar jij geïnteresseerd in bent.2. Het leren van vaardigheden zodat je minder afhankelijk bent.3. In staat zijn om voor jezelf te zorgen.4. In staat zijn om voor je zelf op te komen.5. Zelf toegang hebben tot informatie / informatie op kunnen zoeken.

1. In welke mate ben je in staat zelfstandig te eten, rechtop te gaan staan en te gaan zitten, naar de wc te gaan en jezelf aan te kleden?

Over het algemeen Met hulp Kan ik niet onafhankelijk zelfstandig

2. In welke mate ben je in staat maaltijden klaar te maken, schoon te maken, zelfstandig op pad te gaan en medicijnen te nemen?

Over het algemeen Met hulp Kan ik niet onafhankelijk zelfstandig

3. Ben je vaardigheden aan het leren om zelfstandiger te worden, volg je cursussen of een opleiding?

Veel Enkele Weinig tot geen

4. Is er gelegenheid voor jou om te laten zien welke vaardigheden je bezit?

Vaak Soms Zelden tot nooit

5. Heb je toegang tot informatie waar je geïnteresseerd in bent: bijvoorbeeld een krant,een tijdschrift, internet of een bibliotheek?

In ruime mate Enigszins Niet of nauwelijks

6. Gebruik je een computer, een telefoon of een rekenmachine?

Vaak Soms Zelden tot nooit

Organizational Effectiveness & Efficiency ScaleOrganisationele Effectiviteits en Efficiëntieschaal

Robert L. SchalockMiguel A. VerdugoChun-Shin Lee and Tim LeeJos van Loon and Kees SwartClaudia Claes

Ontwikkeling van de schaal

• Literatuuronderzoek– Identificeren evidence-based indicatoren van

organisatie prestatie en performantie management

• Conceptmapping – Aggregeren indicatoren in conceptueel en

meetkader, voortbouwend op 4 wijdverspreide performantie gebaseerde perspectieven

• Balance Score Card– Client / consument – Groei – Financieel – Interne Processen

Ontwikkeling van de schaal

• Opbouw initiële schaal– 20 items, 5 per perspectief, opgebouwd uit 3 of meer

indicatoren– 3-punten beoordelingsschaal– Effectiveness + Efficiency Index = Sustainability Index

• Fieldtesting bij potentiele gebruikers– potentieel gebruik (Taiwan)– toepasbaarheid en helderheid (Spanje)– betrouwbaarheid en validiteit (Vlaanderen)– bepalen aangewezen afname, analyse en rapportage

• Vertaling en publicatie – 4 talen: Chinees, Engels, Nederlands, Spaans

Items

1. De organisatie stemt haar diensten of ondersteuning af op gemeten en/of aangegeven ondersteuningsbehoeften

2. De organisatie rapporteert het aantal cliënten dat in een meer onafhankelijke, productieve en ‘community-based’ woonomgeving leeft en werkt.

3. De organisatie evalueert persoonlijke uitkomsten.

4. De organisatie rapporteert de samengevoegde persoonlijke uitkomsten.

5. De organisatie gebruikt technologie om de persoonlijke uitkomsten te verbeteren.

6. De organisatie verwoordt haar missie en beoogde resultaten.

7. De organisatie wendt de beschikbare middelen aan om de beoogde resultaten te halen.

8. De organisatie ontwikkelt programma opties.

9. De organisatie ontwikkelt en evalueert high performance teams.

10. De organisatie controleert de job tevredenheid en ontwikkelt programma’s die leiden tot jobverrijking.

Items11. De organisatie vergelijkt eenheidskosten (kosten per uur, dag, maand) tussen

verschillende locaties of afdelingen (bv. tewerkstellingsprogramma’s, residentietypes, onderwijsprogramma’s)

12. De organisatie rapporteert het percentage van het budget dat wordt gebruikt voor de ondersteuning van de cliënt.

13. De organisatie controleert de relatie tussen sociaal kapitaal en agency based kapitaal.

14. De organisatie gebruikt vaste en variabele (indirecte en directe) kostencalculaties om een begroting met groei te kunnen maken.

15. De organisatie gaat partnerschappen aan.

16. De organisatie verbindt programmacomponenten van input, output, throughput met elkaar.

17. De organisatie gebruikt een geïntegreerd informatie managementsysteem overheen verschillende geografische locaties en programma types.

18. De organisatie toont de relatie aan tussen eenheden van aangeboden diensten/ondersteuning en vastgestelde ondersteuningsbehoeften.

19. De organisatie gebruikt effectiviteit en efficiëntie indicatoren als basis voor continue kwaliteitsverbetering.

20. De organisatie gebruikt data voor verschillende doeleinden.

Voorbeeld: ITEM 9, Groei perspectief

De organisatie ontwikkelt en evalueert high performance teams.

Indicatoren:

A. De organisatie beschrijft haar huidige benadering in de ontwikkeling en het inzetten van teams.

B. De organisatie ontwikkelt een teamcultuur.

C. De organisatie evalueert de effectiviteit en efficiëntie van haar high performance team(s)

Voorbeelden:

De organisatie beschikt over protocollen omtrent de vergaderingen, samenstelling en specifieke taken van de teams. Er zijn strategieën voor het oplossen van conflicten; …

Score:0 1 2

Voorbeeld: ITEM 18, Interne Processen

De organisatie toont de relatie aan tussen eenheden van aangeboden diensten/ondersteuning en vastgestelde ondersteuningsbehoeften.

Indicatoren:

A. De organisatie heeft een gestandaardiseerde aanpak in het bepalen van de eenheden van dienstverlening (zie item 11).

B. De organisatie heeft een gestandaardiseerde aanpak voor het bepalen van de individuele ondersteuningsbehoeften (zie item 1)

C. De organisatie kan empirisch het verband aantonen tussen eenheden van aangeboden diensten/ondersteuning en de gemeten ondersteuningsbehoeften van de persoon.

D. De organisatie rapporteert de resultaten van vraag C.

Voorbeelden:

Er is een beschrijving van een gestandaardiseerde aanpak om eenheden van dienstverlening te definiëren; er is een gestandaardiseerde aanpak voor het bepalen van individuele ondersteuningsbehoeften; er zijn studies die het verband tussen aangeboden diensten/ondersteuning en de gemeten ondersteuningsbehoeften van de cliënt onderzoeken of evalueren.

Score:0 1 2

Scoring

Uitkomst uitgedrukt in chartdiagram

Uitkomst uitgedrukt in chart

Pilootstudie

• Doel: – Betrouwbaarheid en validiteit nagaan– Perceptie duidelijkheid en relevantie

• Schaal vertaald naar Nederlands• Afname van 3 stafmedewerkers in 14

organisaties• Medewerking 2 studenten Bestuurskunde

Pilootstudie

• Medewerking 14 organisaties

13 Vlaams (VAPH), 1 Nederlands• Dagcentrum Omega• Dagcentrum Sint-Niklaas• Dagcentrum ‘t Veldzicht• De Beweging• De Bosuil• De Vierklaver • Den Achtkanter• Emiliani• Humival• Katrinahof• Klim • Oostrem• Pegode • Stichting Arduin

Pilootstudie: Ervaringen en eerste resultaten • Client

Minderheid organisaties werkt reeds met gemeten (en geaggregeerde) persoonlijke uitkomsten QOL cliënten

• GroeiGemiddeld hoge scores innovatie en kwaliteitsverbetering, clientgericht & gediversifieerd aanbod, VTO-beleid, …

• FinancieelScores sterk bepaald door Vlaamse context

• Interne ProcessenGrote aandacht voor procesmatig werken, minderheid organisaties werkt met PLM (uitkomsten beperkt in beeld)

Pilootstudie: Ervaringen en eerste resultaten • Meerwaarde consensusscore • Houdt organisatie spiegel voor: zet aan tot reflectie,

bijsturing, strategische planning• Verschil in score beïnvloed door grootte organisatie• Invloed Vlaamse context: regelgeving, financiering,

… (bvb evolutie naar PGB)– Vnl invloed op scoring indicatoren Financieel perspectief

• Sommige formuleringen en voorbeelden bij indicatoren nog voor verbetering vatbaar

Wordt vervolgd…

• Rapport pilootstudie• Bijstelling instrument door internationale

auteursploeg• Lancering definitief Engelstalig instrument

januari 2013?

• Vertaling en lancering Nederlandstalig instrument

voorjaar 2013?

• Vervolgonderzoek & gebruik in praktijk

Vragen?

E-QUAL – Expertisecentrum Quality of Life

Claudia Claes claudia.claes@hogent.be 09 / 248 88 94

Riet Steel riet.steel@hogent.be