- For Velferdsstaten - https://velferdsstaten.no -

Villedende brukerundersøkelser – eksempler fra Oslo

Tekst av Sjur Kasa, sosiolog og medlem av ResPublicas
fagråd
Skrevet på oppdrag av For velferdsstaten

Brukerundersøkelser har vært et av de viktigste
virkemidlene for å begrunne privatisering av velferds- og
omsorgsproduksjonen i Norge. Slike undersøkelser gir
tilsynelatende brukerne av tjenestene og myndighetene muligheter
å velge de beste tilbudene. Det er også slik
utbredelsen og fortolkningen av resultatene av
undersøkelsene har blitt brukt som aktive virkemidler for
privatisering og konkurranseutsetting. En nærmere kikk
på disse undersøkelsene viser imidlertid at kvaliteten
er lav, og at undersøkelsene i  mange tilfelle ikke gir
noe som helst grunnlag for de vurderingene som trekkes på
grunnlag av dem. 

Oslo er en av de kommunene som mest bevisst har brukt
brukerundersøkelser som virkemiddel i sykehjemspolitikken.
De undersøkelsene som i størst grad har blitt brukt
som grunnlag for rangeringer av ”kvaliteten” på
sykehjemstilbudet er undersøkelser blant de brukerne selv og
deres pårørende. Disse rangeringene har fått
stor oppmerksomhet i media, men et kort blikk på
framgangsmåten som brukes viser at grunnlaget for
rangeringene nærmest må karakteriseres som ubrukelig.
Nedenfor skal jeg se litt nærmere på de mange
problemene ved bruker- og
pårørendeundersøkelser ved sykehjem i Oslo.

Det er mange svake sider ved relevansen og representativiteten
til bruker- og pårørendeundersøkelsene. Ett
særlig problem ved brukerundersøkelser ved sykehjem er
at  omtrent 80 prosent av beboerne har en demenssykdom, noe
som stiller spørsmål rundt relevansen av
intervjubaserte undersøkelser som kvalitetsmål.

I tillegg er det slik at utvalget av beboerne som skal
intervjues faktisk gjøres av ledelsen ved det enkelte
sykehjem. Siden vi ikke vet om utvalgsprosedyrene er de samme ved
de forskjellige sykehjemmene, blir resultatene altså alene
på grunn av dette forholdet svært begrenset verdi.
Eller som det sies i Oslo Kommunes siste brukerundersøkelse for
2010
utført av Synovate: ”Det kan virke
problematisk når de som representerer de som skal evalueres
skal rekruttere de som skal evaluere.”

Et ytterligere problem ved undersøkelsene er
utvalgsteknikkene som brukes. Både i bruker- og
pårørendeundersøkelsene brukes det
ikke representative utvalg.  I stedet overlates
utvalget i brukerundersøkelsene som vi har sett til lokale
rekrutteringsprosedyrer vi vet lite om. Dette fører til
voldsomt varierende deltakelse som vi ikke vet særlig om
årsakene til. I brukerundersøkelsen fra Oslo Kommune i
2010 utført av Synovate gjøres det tørt
oppmerksom på at andelen intervjuede beboere varierer mellom
13 og 63 prosent mellom de forskjellige sykehjemmene av
årsaker man ikke kjenner.

Pårørendeundersøkelsene går ut til
alle pårørende. Men bare halvparten av de
pårørende svarer, og vi vet ingenting om synspunktene
til eller egenskapene ved de pårørende som
ikke svarer.  I tillegg er det slik at variasjonen i
andelen som faktisk besvarer undersøkelsene varierer mellom
sykehjemmene i enda større grad enn i
brukerundersøkelsene. I den
nylig publiserte pårørendeundersøkelsen i
Oslo
varierte prosentandelen pårørende som har
svart ved de enkelte sykehjemmene fra 17 til 83 prosent. I
kombinasjon med problemene ved representativiteten i utvalget betyr
dette at rangeringer av sykehjemmene på basis av
pårørendeundersøkelsene også
nærmest er verdiløse. Ellers om kommunen selv sier i
den siste pårørendeundersøkelsen fra 2010:
“Likevel bør man være oppmerksom på
svarprosenten når man trekker konklusjoner og rangerer
sykehjem på bakgrunn av slike tall. Dette gjelder
særlig dersom man sammenlikner sykehjem med ulik
svarprosent.”

Et annet og mer grunnleggende problem er også om et enkelt
måleinstrument som intervjuundersøkelser faktisk kan
gi grunnlag for å trekke konklusjoner om tjenestekvaliteten
ved sykehjem selv om vi ser bort fra de omfattende begrensningene
ved utvalg og sammenliknbarhet.  PWC/AspanViak utarbeidet i
2008
en sammenstillingsrapport
for kommunen som peker på den
begrensede relevansen av bruker- og
pårørendeundersøkelsene som mål for
kvalitet i sykehjemstjenesten: “Selv om
pårørende-undersøkelsen kan gi et supplement
til beboerundersøkelsen er det nødvendig å
benytte andre metoder som fokusgrupper og observasjon for å
få frem et representativt inntrykk av hva beboerne på
det enkelte sykehjem mener om tjenesten som tilbys dem.”
Dette betyr altså i klartekst at selv om
brukerundersøkelsene og
pårørendeundersøkelsene hadde vært gjort
på mer tilfredsstillende måter enn det gjøres i
dag, ville likevel verdien av undersøkelsene være
nokså begrenset rett og slett fordi tjenestekvalitet i helse-
og omsorgsbransjen er svært vanskelig å male på
noen entydig måte.

Alle disse begrensningene og feilkildene ved bruker- og
pårørendeundersøkelser ved sykehjemmene i Oslo
påpekes i grunnlagsrapportene. Problemene oppstår
imidlertid når politikerne særlig på
høyresida i Oslo bruker rapportene til rangeringer som
undersøkelsene absolutt ikke er egnet til å danne
grunnlag for. Det er lov til å under seg over hvorfor
problemene ved slike kvalitetsmålinger ikke tas tak i av
høyresidas politikere. En forutsetning for valgmuligheter og
markedsliknende
“bestiller-utfører”-løsninger i
velferdssektoren er jo nettopp at brukere og myndigheter skal kunne
velge leverandører på grunnlag av gode
kvalitetsmål, og brukerundersøkelser av den typen som
gjøres i Oslo gir et lite meningsfylt grunnlag for
dette.