Om undersøkinga

Ei skildring av korleis vi har gått fram for å samle inn og analysere data for innbyggjarundersøkinga 2015.

Både ein innbyggjardel og ein brukardel

Innbyggjarundersøkinga består av to undersøkingar retta mot eitt og same utval. Innbyggjardelen går ut til eit tilfeldig utval av innbyggjarar og blir svart på av både dei med og dei utan erfaring med dei ulike offentlege tilboda og verksemdene. Brukardelen blir svart på av dei som i innbyggjardelen gjev opp at dei har erfaring med éi eller fleire offentlege tenester.

Tema innbyggjardelen

Her er spørsmåla av meir generell art og knytte til korleis det er å leve og bu i kommunen, i Noreg og kva innbyggjarane totalt sett meiner om dei viktigaste tenestene i forvaltninga. Nærmare bestemt blir det stilt spørsmål om inntrykket av ulike tilbod i kommunen, av statlege, kommunale og fylkeskommunale tenester, av styresmaktene si handsaming av tryggleik, likestilling m.m., tillit til politikarane, kor nøgde dei er med digitale tenester, inntrykk av klagebehandlinga og eigne haldningar til det offentlege.

Tema brukardelen

Brukardelen blir svart på av dei som har erfaring med 23 utvalde statlege, kommunale og fylkeskommunale tenester innan områda utdanning og kultur, helse, omsorg og styresmaktorgan. Spørsmåla i denne delen er konkret retta mot å måle kor nøgde folk er med til dømes å vere tilgjengeleg, informasjon, materielle tilhøve, tilpassing, digitale tenester, servicen frå dei tilsette og evne til å løyse oppgåver. Nokre av spørsmåla er stilte for alle dei 23 spørsmåla. Slik kan ein samanlikne resultata for ulike tenester.

Utval

Undersøkinga blir gjennomført mellom eit representativt utval av folk frå 18 og år over. Utvalet blir tilfeldig trekt frå Folkeregistert, og omfattar 30 000 personar. Det blir trekt respondentar for kvart kjønn i fem aldersgrupper i kvart fylke.

Spørjeskjemaet vart sendt i posten, men alle kunne også svare på undersøkinga på Internett. På Internett kunne undersøkinga svarast på anten nynorsk, engelsk eller polsk i tillegg til bokmål.

Det har blitt gjort ein fråfallsanalyse (ZIP-fil).

Openheit rundt data og resultat

Det er full openheit rundt alle resultat, alle data, all metodikk og alle spørjeskjema. Verksemder står fritt til å ta i bruk spørjeskjema og metodikk basert på undersøkinga.

Utrekning av skår

Tall kan formidlast på mange måtar. I spørjeskjemaa fekk respondentane ei rekkje spørsmål der dei t.d. vart bedne om å vurdere kor nøgde/misnøgde dei var med eit forhold på ein sjupunktskala frå -3 til +3, der -3 betyr svært misnøgd og +3 betyr svært nøgd.

I presentasjonane våre av desse resultata har vi valt å ta utgangspunkt i gjennomsnittet av alle svara på svarskalaen frå -3 til +3.

Dei som har svart «veit ikkje/ikkje relevant», eller som ikkje har svart på spørsmålet i det heile teke, er ikkje tekne med i utrekningane våre av gjennomsnittsskår. Svara vi då får, er eit tal som viser kor misnøgde/nøgde dei respondentane som har svart, er samla sett, eller kor lett/vanskeleg dei tykkjer noko er.

Figuren under viser svarskalaen som respondentane fekk i spørjeskjemaa, og korleis Difi har rekna om svara til gjennomsnittsskår på ein skala frå 0 til 100 poeng. Som vist i figuren vil eit resultat der alle svara i gjennomsnitt er +1 på svarskalaen, bli presentert som ein skår på 67 poeng, ein skår som tilseier at brukarane sjølve er «delvis nøgde».

Tolkning av brukernes vurderinger
 
 
  • 0–50 poeng: misnøgd til nøytral
  • 51–70 poeng: delvis nøgd
  • 71–80 poeng: nøgd
  • 81–100 poeng: svært nøgd

Korleis har Difi gjort stianalysane for å finne ut kva som betyr mest for kor nøgde folk er med dei ulike tenestene?

Beskrivelse av hvordan stianalyser er foretatt i innbyggerundersøkelsen
 
 

Difi har nytta ein serie ulike statistiske analyseteknikkar for å kunne vurdere kva som har noko å seie på kor nøgde folk er med dei 23 ulike tenestene som blir undersøkte i brukardelen til innbyggjarundersøkinga. Her gjev vi ei kort skildring av korleis vi har gjort dette.

For å finne ut kva som har størst innverknad på kor tilfredse folk er med kvar av dei 23 ulike tenestene som er omfatta av brukardelen av innbyggjarundersøkinga, har Difi gjort ein stianalyse ved hjelp av ein statistisk metode som heiter PLS (partial least squares) og analyseverktøyet SmartPLS [1].

PLS kan ein seie er ein underart av strukturlikningsmodellering (structural equation modelling – SEM), men skil seg her frå noko som kallast kovariansbaserte analysemetodar. Der kovariansbasert SEM er ein metode som kort sagt prøvar å finne ein modell som best passar til dataa, er PLS-basert SEM ein metode som prøvar å forklare mest mogleg av variansen i tilfredsheita (faktoren som blir behandla som å vere avhengig av andre faktorar).

Ein teori om latente variablar ligg til grunn for tankegangen rundt stianalysar

Tankegangen rundt stianalysane baserer seg på at ein tenkjer seg at det finst såkalla latente variablar som det ikkje er rett fram å måle – desse ligg latente. Vidare har desse latente variablane noko å seie for kor nøgd brukarane er med dei ulike tenestene. Til dømes kan ein tenkje seg at kor nøgd ein er med ei teneste blir påverka av tilhøve som service, brukartilpassing i tenesta, kompetansen til dei tilsette og kor tilgjengeleg tenesta er. Dette er tilhøve som ein ikkje kan måle eksakt ved eitt spørsmål. For å måle ei tilnærming til dei latente variablane må ein difor stille fleire enkeltspørsmål som ein ser for seg at blir påverka av den latente variabelen; service kan til dømes seiast å gje seg uttrykk i at dei tilsette behandlar deg med respekt, at dei tilsette lyttar når brukaren snakkar med dei, og at dei tilsette er imøtekomande. Desse tre spørsmåla kan sånn sett seiast å utgjere tilnærming til den latente variabelen. Dei spørsmåla som målar den latente variabelen kallar vi her ein faktor.

Alle dei 23 stianalysane er bygde for å forklare kva som har innverknad på korleis brukaren er nøgd med dei ulike tenestene. Faktoren «tilfredsheit» består av dei same tre spørsmåla for kvar teneste, som samla gjev eit robust mål på brukarane si tilfredsheit:

  • Tenk tilbake på erfaringane du har med denne tenesta. Alt i alt, kor nøgd eller misnøgd er du med denne tenesta?
  • I kva grad brukar denne tenesta å innfri forventningane dine?
  • Tenk deg ei ideell teneste. Kor nær opp til dette idealet er denne tenesta?

Faktoren tilfredsheit blir i denne analysen behandla som ein avhengig variabel. Det betyr at modellen er sett opp slik at tilfredsheita blir påverka av faktorar som blir behandla som uavhengige. Dette betyr at til dømes service, brukartilpassing i tenesta, kompetansen til dei tilsette, og kor tilgjengeleg tenesta er, er modellert til å påverke tilfredsheita, og at samanhengen ikkje går den andre vegen. I tillegg til tilfredsheit er faktorane modellerte til å vere uavhengige av kvarandre.

Stianalysane forklarer variasjonen i kor nøgde brukarane er

Stianalysen undersøkjer tilhøvet mellom den avhengige faktoren (kor nøgd ein er med tenesta) og dei ulike uavhengige faktorane for å finne ut kor mykje av variasjonen i tilfredsheit som dei uavhengige faktorane forklarer. Dette målet kallar vi  R2. Stianalysane av dei ulike tenestene i innbyggjarundersøkinga forklarer i hovudsak mellom 65 og 75 prosent av variasjonen i tilfredsheit med dei respektive tenestene.

Effektane er kategoriserte i stor, middels og lite betyding for tilfreidsheita

Storleiken på effektane av dei uavhengige faktorane på tilfredsheita gjev ein opp i analysen ved standardavvik. Standardavviket er eit mål på spreiinga i populasjonen på ein gjeven variabel eller eit sett av variablar, i dette tilfellet eit mål på kor ulike brukarane har svart på spørsmåla som inngår i kvar faktor. Analysen viser då kor stor endring i tilfredsheit som følgjer av auken frå eitt standardavvik i kvar av dei uavhengige faktorane (uttrykt i standardavvik), samstundes som at analysen tek høgde for påverknaden som dei andre faktorane har på tilfredsheita.

Desse effektane har vi kategoriserte i stor, middels og lita betyding; effektar som er større enn 0,35 kallar vi store, dei som er mellom 0,15 og 0,35 kallar vi middels, medan effektar som er på under 0,15 kallar vi små. Dei faktorane som i analysen ikkje heilt sikkert viser å ha nokon effekt på tilfredsheita (såkalla statistisk sett ikkje signifikante effektar) vil liggje i kategorien med faktorar som har lita betyding, markert med (i.s.).

Stianalysane på brukardelen er inntil vidare eksperimentelle og overordna

Denne typen analysar av tenestene kan vi omtale som eksperimentell. Det er enno ikkje utarbeidd ein stringent analysemodell for dei 23 tenestene med utgangspunkt i dataa frå brukardelen til innbyggjarundersøkinga. Desse analysane vil ytterlegare vidareutviklast ved neste gjennomføring av innbyggjarundersøkinga.

Vidare er analysane gjort på noko som kan kallast eit overordna plan; det vil i denne samanhengen seie at brukarar med veldig forskjellig erfaring med ei teneste er inkludert i den same analysen. Til dømes betyr dette for Nav at brukarar som har erfaring med trygdetenestene blir analyserte saman med brukarar som har erfaring med Nav på bakgrunn av stønader. Dette er eit skilje som har noko å seie for rutinar, hyppigheit så vel som kompleksitet i kontakten med Nav, og som kan tenkjast å ha noko å seie for både tilfredsheita med Nav og sjølve stianalysen. Stianalysane gjev difor eit overordna bilete av kva faktorar som har noko å seie for tilfredsheita med dei ulike tenestene.

Difi kan hjelpe med analysar og rådgjeving

Sjølv om ein kan seie at stianalysane er både eksperimentelle og overordna, kan dei vere ein nyttig reiskap i arbeidet med tenesteutvikling. I mange tilfelle er det éi verksemd som syter for den aktuelle tenesta, og det vil vere nyttig for denne å ha eit generelt bilete av kva innbyggjarundersøkinga viser at har innverknad på kor nøgde brukarane er; alle brukarar bør ha høve til å vere nøgde brukarar. Men for å nå djupare ned i materien når det gjeld kva stianalysane har å seie for dei ulike tenestene, med like eller ulike brukargrupper, treng vi også meir djuptgåande analysar som eksplisitt tek høgde for relevante grupperingar i datamaterialet. Tenesteeigarar som ønskjer å diskutere moglegheiter for slike analysar, bed vi om at tek kontakt med Difi.

Førebuingar til stianalysane

For å gjere stianalysane har Difi vore nøydd til å leggje dataa til rette på eigna format, samt gjere ein del vurderinga av kvaliteten på dataa og kva som er høvelege grupperingar. Dette skildrar vi i korte trekk i dei avsnitta som følgjer.

Multippel imputasjon har blitt brukt for å omgå problem med brukarar som har svart «veit ikkje» eller ikkje har svart på spørsmål.

Brukarane som har svart på undersøkinga har hatt høve til å hoppe over eller å svare «veit ikkje» på spørsmåla. Dette er ei utfordring for arbeidet med stianalysane, som krev at alle spørsmål som inngår har eit gyldig svar (i denne samanhengen vil det seie eit svar som kan plasserast på skalaen frå 0-100). Difor har Difi behandla dei svara der brukarane har vald «veit ikkje» eller lete vere å svare, med ein metode som heiter multippel imputasjon. Denne analyseteknikken estimerer kva brukaren ville ha svart, når ein tek omsyn til kva ho eller han har svart på andre spørsmål, og kva andre brukarar som har svart likt på andre spørsmål og som har like demografiske kjenneteikn svarte på det aktuelle spørsmålet. Dette gjer analyseprogrammet ved å gjennomføre ein serie med såkalla logistiske regresjonsanalysar.

For å sikre at det er ein viss kvalitet på svara på dei spørsmåla som inngår i den multiple imputasjonen, har vi ekskludert spørsmåla der meir enn 30 prosent av brukarane har svart veit ikkje eller har lete vere å svare. Vi har også ekskludert dei brukarane som har svart veit ikkje eller som har lete vere å svare på meir enn 30 prosent av spørsmåla. Kva spørsmål dette dreiar seg om, varierer mellom dei ulike tenestene.

Difi har gjort faktoranalysar for å gruppere dei ulike spørsmåla

For å finne fram til kva latente variablar – eller faktorar – som bør inngå i dei ulike stianalysane har Difi gjort faktoranalysar for kvar av dei 23 tenestene. Dette er ein statistisk analyseteknikk som kartlegg korrelasjonsmønstra (kva spørsmål som samvarierer med kva andre spørsmål) for kvar av dei ulike tenestene. Faktoranalysen hjelper med dette til å sortere variablane avhengig av svarmønstra til dei ulike brukarane, men er likevel berre ein statistisk teknikk. Difi har difor kombinert faktoranalysen med ein analyse av meir omgrepsmessig karakter når det gjeld kva spørsmål ein bør kategorisere i kor mange faktorar.

Kva er statistisk signifikans?

Ein omtale av statistiske analysar fortener eit avsnitt om statistisk signifikans. I desse stianalysane er eit signifikansnivå på fem prosent lagt til grunn. Det betyr at det ikkje er meir enn fem prosent sjanse for at samanhengen mellom faktorane og brukaren sin totale tilfredsheit med tenestene er utfall av tilfelle (ein såkalla type l-feil). Dette betyr likevel ikkje at vi har påvist at det ikkje er ein samanheng mellom den respektive faktoren og kor nøgde ein er med tenesta der kor vi har sagt at denne er «ikkje signifikant», men berre at vi, i datamaterialet som inngår i brukardelen til innbyggjarundersøkinga, ikkje har funne at det er ein samanheng mellom dei to.

Notar:

[1] Ringle, C.M./Wende, S./Will, S.: SmartPLS 2.0 (M3) Beta, Hamburg 2005, http://www.smartpls.de.

Sist endret: 
28. apr 2016

Deldette

Innbyggjarundersøkinga…

  • er forvaltninga si eiga innbyggjar- og brukarundersøking
  • er ei av dei største utvalsundersøkingane av forvaltinga i Noreg
  • skal gje status i dag og vise utviklinga over tid
  • skal gje eit betre kunnskapsgrunnlag for å vidareutvikle tenestene
  • er svart på av 11 567 innbyggjarar over 18 år og som er trekte tilfeldig frå Folkeregisteret
  • har ein brukardel som er ei brukarundersøking av 23 store offentlege tenester

Kontakt

  • Innbyggerundersøkelsen
    Telefon: 47608783
    Adresse: Postboks 8115 Dep, 0032 Oslo
    Besøksadresse: Grev Wedels plass 9, 0151 Oslo