Drøft evalueringsplan

Når netværkets løsninger er implementeret og afprøvet i basisorganisationen, er det vigtigt at tage stilling til om idéerne skal evalueres, og om de skal spredes til andre områder i organisationen. Derfor skal du tage stilling til evaluering og spredning.


Som netværksleder har du ansvaret for, at der bliver taget stilling til om netværkets løsninger skal evalueres sidenhen i basis, og hvorvidt de skal spredes. Det er noget du tager stilling til sammen med din referenceleder og en konsulent fra Sekretariat for Netværksstrukturen på et møde som du indkalder til. Du skal forberede dig til drøftelsen ved at lave en grovskitse til hhv. en evalueringsplan og en plan for spredning af netværkets løsninger.

Når du udarbejder en evalueringsplan og en plan for eventuel spredning af idéerne betyder det ikke nødvendigvis, at du skal udføre selve evalueringen eller stå i spidsen for spredning af netværkets idéer, men at du skal skabe rammerne for at en eller flere fra basis kan stå for evaluering og spredning.

Vi anbefaler, at du læser afsnittet og udfylder skabelonerne for både evaluering og spredning inden du afholder mødet.

 

Evaluering af netværkets løsninger

Hvor testen gjorde det muligt at påpege den umiddelbare effekt af netværkets løsninger og dermed, om den ønskede værdi blev skabt, vil det i den afsluttende evaluering, vil det være muligt at påpege om netværkets løsninger på længere sigt skaber den effekt, der ønskes – på den måde er evaluering bredere end test.

Formål med evalueringen
Når I skal beslutte om netværkets idéer skal evalueres, er det først og fremmest vigtigt at reflektere over evalueringens formål.

Formålet med evalueringen har betydning for, hvornår en evaluering skal igangsættes. Hvis der eksempelvis skal evalueres på en ny proces i håndteringen af ansøgninger, der kun modtages én gang årligt, vil det tidligst være muligt at evaluere efter et år, hvorimod andre netværk vil kunne drage fordel af at evaluere tidligere. Det er derfor vigtigt, at du og gerne din co-driver overvejer hvilket formål en evaluering vil have, og hvordan den kan sættes meningsfuldt i spil i praksis.

 Når du planlægger evaluering, skal du være opmærksom på…
 
  • Omfang: Sørg for proportionalitet mellem indsats og ressourcer – prioritér og forvent ikke at evaluere på hele netværket og alle de værdier I søger at fremme.
  • Vær konkret: Beskriv tydeligt, hvilke antagelser og formål I har haft med netværkets løsninger.
  • Data og sammenligningsgrundlag: Overvej hvordan evalueringsspørgsmålet kan belyses, og om I har en nulpunktsmåling til at sammenligne resultater fra evalueringen.

 

Hvad er jeres evalueringsspørgsmål?
Når du har fundet formålet med din evaluering, kan du gå videre til næste trin – at formulere et evalueringsspørgsmål. Det er vigtigt at formulere et evalueringsspørgsmål, når du skal skabe grundlag for, at en anden kan evaluere netværkets værdiskabelse.

Du identificerer jeres evalueringsspørgsmål, når du gør formålet med netværkets idéer klart – bl.a. ved at beskrive hvilken værdi og forandring I ønskede at skabe med netværkets idéer. Du har formegentlig skrevet formålet ned tidligere – f.eks. i jeres fokusering, i konkretiseringsværktøjet eller i leverancen til CF.

I refleksionsværktøjet til evalueringsplanen, bliver du understøttet i at finde jeres evalueringsspørgsmål. Herunder kan du se eksempler på, hvordan et evalueringsspørgsmål kan se ud.

 Eksempler på evalueringsspørgsmål
 
  • "Har idéen medvirket til, at borgerens oplevede kvalitet er øget?"
  • "Giver den nye koordinerende arbejdsgang mere effektive arbejdsgange, som reducerer antallet af borgerklager på området?"
  • "Styrker netværkets initiativer sprogudvikling hos førskolebørn, således at der kan identificeres et fald af antallet af børn, der placeres i basisdanskhold?"

 

Hvilken data har I brug for?
Formålet med evalueringen, evalueringsspørgsmålet og valg af data hænger sammen. Når du skal gøre det muligt for andre at evaluere netværkets løsninger, er det fornuftigt at reflektere over hvilke typer data, der kan belyse jeres evalueringsspørgsmål. Valget af data afhænger af, hvilken type viden I mener, der skal søges, hvor lang tid og hvor mange ressourcer I vurderer det vil være muligt at anvende i evalueringen.

Når du ved, hvad der er vigtigst at evaluere ud fra jeres evalueringsspørgsmål, kan du finde ud af hvilken data, der er relevant at indsamle for at besvare evalueringsspørgsmålet – skal der bruges statistik og tal for at belyse evalueringsspørgsmålet, skal der bruges oplevelser, følelser og reaktioner – eller begge dele?

 

 

Har I brug for kvantitativ data?

 

Har I brug for kvalitativ data?

 

 

Kvantitativ data kan give et repræsentativt indblik i tilstande, der kan sammenlignes over tid. Her kan der f.eks. bruges optællinger vi i forvejen foretager såsom tidsregistreringer, antal af henvendelser, antal af personer udenfor arbejdsmarkedet eller lignende. Der kan også bruges nationale benchmarks og undersøgelser, hvis de laves inden for temaets område. Kvantitativ data kan også produceres gennem spørgeskemaer.

Kvantitativ data gør det muligt hurtigt at få et sammenligningsgrundlag fra før og efter netværkets løsninger, men giver ikke alene mulighed for læring og justering.

 

Fordelen ved kvalitativ data er, at de giver muligheden for at gå i dybden og få et mere nuanceret perspektiv på de oplevelser og reaktioner, som borgerne har på nye velfærdsløsninger. Her kan f.eks. interviews og brugerrejser give data om, hvilken forskel borgerne oplever og deres holdninger til og vurderinger af løsningerne.

Kvalitativ data gør det muligt at få dybdegående viden, der kan gøre det muligt at skabe læring og justere løsningerne, men giver ikke et repræsentativt sammenligningsgrundlag.

 

 

Skabelon til evalueringsplan

Det videre forløb med evaluering af netværkets løsninger

Hvad skal du have ud af drøftelsen?
Når du har udfyldt skemaet til evalueringsplanen, er du klar til at drøfte evaluering med din referenceleder og Sekretariatet for Netværksstrukturen. Her skal I have blik for det fremadrettede perspektiv – skal der foretages en evaluering og i så fald hvor og af hvem? Skal I understøtte dem, der skal evaluere ved at lave en meget udførlig evalueringsplan? Skal I give gode råd og stille metoder til rådighed?

Hvis I beslutter, at der skal være en klar evalueringsplan, som evaluatoren sidenhen kan bruge, skal I overveje de næste trin. Skal du invitere en kommende evaluator til møde og planlægge det fremadrettede arbejde omkring evalueringen? Eller er det din referenceleder, der bliver tovholder for, at evalueringen igangsættes sidenhen?

 

Vil du være endnu klogere på evaluering?
Håndbogskapitlet er blot en kort indføring i evaluering, men hvis du vil være klogere, kan du med fordel læse mere om evaluering, og hvordan evaluering kan blive en naturlig del af praksis. I Center for Offentlig Innovations (COI) to publikationer: I Vejledning om at evaluere innovative tiltag får du en hjælpende hånd til at knække koden til evaluering af innovation. Find den her eller på www.coi.dk
I Grønspættebogen får du metoder til at evaluere innovative tiltag. Find den her eller på www.coi.dk