Evalueringsopgaven i forbindelse med et innovationsarbejde kan være så overvældende og uoverskuelig for medarbejdere og ledere, at de bliver helt handlingslammede.
Hvis evaluering af innovation er nyt for dig, er 'Vejledning om at evaluere innovative tiltag' et godt sted at starte. Vejledningen kan inspirere til, at det faktisk nytter at evaluere innovation.
Den er en introduktion til forskellige evalueringstilgange og giver en indføring i, hvordan evaluering kan forbedre et innovativt tiltag ved at fremme læring og udvikling før, under og efter en innovativ proces.
Indeholder metoder og værktøjer
Selv erfarne evaluatorer kan savne viden om og modeller til evaluering, der kan rumme bevægeligheden i innovationsarbejde. Innovationsprocesser kræver løbende tilretninger, ligesom målet kan flytte sig undervejs. Det gør det svært at bruge klassiske evalueringsmodeller.
Grønspættebogen indeholder metoder og værktøjer, der guider dig igennem innovationsprocessen og hjælper med at stille de vigtigste spørgsmål undervejs.
Førstehjælp til evaluering
CO-PI's evalueringskit består af Vejledning om at evaluere innovative tiltag, Grønspættebogen og et sæt arbejdsskemaer, der kan anvendes som dialogværktøj
undervejs.
Et bud på metodevalg
Selv med Grønspættebogen i hånden kan man blive overvældet af hvilke til- og fravalg, der skal foretages for at sikre, at evalueringen både finder anvendelse de rette steder og har en rimelig proportionalitet ift. innovationsprojektets størrelse og de tilgængelige ressourcer og kompetencer.
Derfor giver vi her et bud på, hvordan omstændighederne omkring evalueringen påvirker, hvad de kloge metodevalg er.
To vigtige forudsætninger
Der er altid to vigtige forudsætninger til stede for evaluering af innovationsarbejde. Det handler dels om mængden af økonomiske og menneskelige ressourcer til både innovations- og evalueringsarbejde.
→ Som tommelfingerregel bør 2-8 procent af ressourcerne i et innovationsprojekt gå til evaluering, men da innovationsprojekter kan variere meget i omfang, er ressourcerne til evaluering tilsvarende varierende.
→ Den anden forudsætning handler om, hvilke evalueringskompetencer, der er til stede på arbejdspladsen. Det dækker over konkret viden om evalueringsmetoder og erfaring med at evaluere hos evaluator, men også arbejdspladsens evalueringskapacitet i bredere forstand, fx om evalueringsaktiviteter prioriteres.
Tips og tricks til evaluering
✔️ Tricks, der understøtter optimering af ressourcer: Hvis evaluering bliver tænkt ind fra starten, kan det koble sig bedre på innovationsarbejdet. I den bedste af alle verdener reducerer det både de ressourcer, der bruges på evalueringsarbejdet og understøtter innovationsarbejdet med viden – uden unødigt at tage tid fra innovationsarbejdet eller medarbejdernes kerneopgaver.
✔️ Tricks til at højne evalueringskapacitet og -kompetencer: Husk at ingen kan alt. Find supplerende profiler i din organisation eller blandt dine samarbejdspartnere. Hvem kan bidrage med evaluerings-systematik? Hvem er god til at stille skarpe spørgsmål, der tydeliggør formål og den viden, der mangler at blive skaffet? Hvem er god til at trække data ud af eksisterende systemer og behandle dem? Hvem er allerede i gang med at undersøge noget hos borgere eller virksomheder, der berøres af innovationen?
Skal kunne svare på tre spørgsmål
Uanset hvilke ressourcer og kompetencer, der er til rådighed, er fundamentet i evalueringsarbejdet altid det samme: En systematisk tilgang til dataindsamling, analyse og formidling, som er designet ud fra en forventningsafstemning med beslutningstagere og bestillere af evalueringen.
Designet skal også forholde sig til, hvordan modtagere af evalueringen skal inddrages og hvilke præferencer de har i forhold til formidling. Derfor bygger du fundamentet ved at kunne svare på tre spørgsmål:
- Formål: Hvad er det vigtigst at få svar på om innovationen og processen?
- Modtagere: Hvem er modtagerne og hvad er vigtigt for dem?
- Data: Hvilken data har du allerede og hvilken data mangler du?
Herefter afhænger de kloge evalueringsvalg af, hvilke ressourcer og kompetencer, der er til rådighed.
Evalueringsvalg afhænger af ressourcer og kompetencer
Småt, men godt
Du befinder dig i nederste venstre kvadrant, hvis du har:
✔️ Et lille innovationsprojekt, der har arbejdet med en mindre kompleks problemstilling søgt løst med få aktører – og tilsvarende få ressourcer til evalueringsaktiviteter.
✔️ Begrænset kendskab til og erfaring med evalueringstilgange og -metoder.
Med få ressourcer og få kompetencer har evaluering trange kår. Vær realistisk og accepter, at det måske snarere bliver en vidensopsamling end en egentlig evaluering. Accepter, at du ikke kan skaffe viden, der dokumenterer effekt eller signifikante forskelle. Husk at fundamentet stadig skal være solidt: Sørg for ikke at glemme systematikken heller ikke i evalueringsarbejde med få ressourcer.
Dine kloge evalueringsvalg er her:
- Lav et simpelt evalueringsdesign med få metoder og datakilder. Det kan fx være en håndfuld interviews eller observationer og måske data fra relevante fagsystemer. Prioriter at snakke med de borgere, medarbejdere eller virksomheder, som innovationen berører. Vær opmærksom på, om der er aktiviteter i innovationsarbejdet, som også kan give data til din evaluering. Fravælg store evalueringsaktiviteter som omfattende spørgeskemaundersøgelser og dybdegående feltarbejde.
- Vælg intern evaluering, da det kræver en vis økonomi meningsfuldt at få eksterne bidrag til din evaluering. Undersøg evt., om du kan samarbejde med andre i egen organisation med flere eller bedre evalueringskompetencer.
- Vær realistisk om formidling af resultater. Gør dét, der kræver færrest ressourcer og passer bedst ind i eksisterende formater og koncepter. Fravælg de store, flotte rapporter, der kræver flere ressourcer at producere.
Gør det selv
Du befinder dig i nederste højre kvadrant, hvis du har:
✔️ Et lille innovationsprojekt, der har arbejdet med en mindre kompleks problemstilling søgt løst med få aktører – og tilsvarende få ressourcer til evalueringsaktiviteter.
✔️ Stort kendskab til og erfaring med evalueringstilgange og -metoder.
Her er det oplagt, at evaluering er et gør det selv-projekt. Med høje evalueringskompetencer kan man spare dyre (men dygtige) eksterne konsulenter væk, og i stedet få det maksimale ud af sine begrænsede ressourcer internt. Men som med alt gør det selv-arbejde er det vigtigt at være realistisk om egne evner og ressourcer og ikke slå et større projekt op, end man kan gennemføre.
Dine kloge evalueringsvalg er her:
- Vælg intern evaluering. Udnyt, at I som interne evaluatorer har gode muligheder for at følge projektet undervejs og vær opmærksom på, om der er aktiviteter i innovationsarbejdet, som også kan give data til jeres evaluering.
- Brug evalueringskompetencerne i dit team til at træffe bevidste valg om, hvordan I får det maksimale ud af jeres ressourcer. Man kan ikke få det hele med, så der skal træffes kloge, men hårde valg og fravalg. Levér hellere en lille, målrettet og velgennemført evaluering end et ambitiøst, men sjusket og halvfærdigt produkt. Planlæg ud fra de eksisterende kompetencer og datamuligheder. Find overlappet mellem, hvad I gerne vil vide, og hvordan I nemt selv kan finde ud af det. Fravælg fx kvantitative data, hvis ikke I både har let adgang til relevant data (fx fra et fagsystem) og kompetencerne til at arbejde med tal.
- Udnyt jeres egne kompetencer i formidlingen af resultater. Find også her overlappet mellem, hvordan I selv kan præsentere resultaterne og hvordan det er hensigtsmæssigt at formidle til den primære målgruppe.
Store armbevægelser
Du befinder dig i øverste højre kvadrant, hvis du har:
✔️ Et stort innovationsprojekt, der har arbejdet med en kompleks problemstilling søgt løst med mange aktører – og tilsvarende har flere årsværk og økonomiske midler til evalueringsaktiviteter.
✔️ Stort kendskab til og erfaring med evalueringstilgange og -metoder.
Med mange ressourcer og stort metodekendskab, bliver mulighederne for at lave evaluering ikke bedre. Der er overskud og ressourcer til faktisk at få koblet evaluerings- og innovationsarbejdet hele vejen fra start til slut. Der kan også arbejdes kreativt og ambitiøst med formidling af evalueringsresultaterne – måske både undervejs og til sidst – og med stor målretning til forskellige interessenter og målgrupper.
Dine kloge evalueringsvalg er her:
- Lav et mere omfattende evalueringsdesign, men fald ikke i fælden med at tro, at alle nuancer i projektet kan indfanges i evalueringen. Træf stadig kloge valg om, hvilke svar du søger med din evaluering, og design dataindsamlingen herfra. Her vil der typisk være plads til mere dybdegående feltarbejde eller større spørgeskemaundersøgelser - men lav dem ikke bare fordi du kan. De skal kunne bidrage med relevant viden.
- Overvej eksterne bidrag til evaluering fra konsulenter eller forskere, der kan bringe ny videnom både evaluering og fagområdet ind i evalueringsarbejdet. Eksterne evaluatorer vil ofte fremstå som mere uafhængige dommere over innovationens værdi. Overvej også en kombination af intern og ekstern evaluering, hvor en intern evaluator for eksempel styrker innovationsarbejde med løbende viden, men også skaffer evalueringsviden om processen. En ekstern evaluator kan med et helt udefra-perspektiv lave den afsluttende evaluering, hvor der sættes to streger under innovationens værdi og resultaterne fra innovationsarbejdet.
- Prioriter ressourcer til formidling af resultater og deling af innovationen. Vær tidligt opmærksom på, hvad potentielle genbrugere gerne vil vide og hvordan det kan formidles til dem. Lav måske den store, traditionelle rapport – men vær også åben over for hvordan fx podcast, videoer eller webinarer kan understøtte formidling af resultaterne.
Køb dig til kompetencer
Du befinder dig i øverste venstre kvadrant, hvis du har:
✔️ Et stort innovationsprojekt, der har arbejdet med en kompleks problemstilling søgt løst med mange aktører – og tilsvarende har flere årsværk og økonomiske midler til evalueringsaktiviteter.
✔️ Begrænset kendskab til og erfaring med evalueringstilgange og -metoder.
Hvis der i projektet er mange ressourcer, men få evalueringskompetencer, er det oplagt, at man vælger ekstern evaluering. Du er stadig en vigtig spiller i evalueringen, da det er dig, der kender organisationen og innovationsprojektet. Hav styr på fundamentet for evalueringen, så de eksterne evaluatorer kender rammerne og kan træffe kloge evalueringsvalg i samarbejde med dig.
Dine kloge evalueringsvalg er her:
- Vælg ekstern evaluering, eksempelvis evaluering med hjælp fra konsulenter eller forskere. Undervurder ikke, at det stadig kræver en vis evalueringskompetence at samarbejde med eksterne evaluatorer. Undersøg derfor også, om der er nogen i egen organisation eller samarbejdspartnere i projektet, der kan hjælpe, eller gør en indsats for at klæde dig selv bedre på til evaluering – fx med hjælp fra CO-PI's evalueringskit. Husk at ekstern evaluering ikke er ensbetydende med en slutevaluering, men også kan indtænkes undervejs.
- Lav et mere omfattende evalueringsdesign i samarbejde med de eksterne evaluatorer, men fald ikke i fælden med at tro, at alle nuancer i projektet kan indfanges i evalueringen. Træf stadig bevidste valg om, hvilke svar du søger med din evaluering, så dataindsamlingen kan designes derfra.
- Prioriter ressourcer til formidling af resultater og deling af innovationen. Vær tidligt opmærksom på, hvad potentielle genbrugere gerne vil vide og hvordan det kan formidles til dem.