Me har lenge høyrd om undersøkjinga frå Sverige som synte at
privatskular (friskolor) gjorde at karakternivået auka i heile skulen.
Vel. Søren Wibe har gått gjenom rapporten og funne heilt andre svar.
Magnus B
http://www.dn.se/DNet/road/Classic/article/30/jsp/Render.jsp?d=129&a=244
851&f=index.html
020121
DN DEBATT/MÅNDAG
Professor angriper statligt betald expertutredning om friskolor:
"Rapporten var rena bluffpokern"
En påtagligt positiv rapport om friskolor var som vetenskaplig
bluffpoker. Författarna till studien försökte hemlighålla fakta om
hur undersökningen gjorts, trots att den finansierats indirekt av
allmänna medel från finansdepartementet. Att försöka dölja
underlaget till rapporten innebär ett brott mot grundläggande
vetenskaplig praxis. Efter ett halvår lämnades underlaget ut via andra
kanaler. En granskning av metoderna bakom studien avslöjade godtycke och
brister i trovärdighet. Rapportens slutsatser visade så grova fel att
den borde ogiltigförklaras, skriver Sören Wibe, professor vid Sveriges
lantbruksuniversitet i Umeå. Han lägger inom kort fram en rapport för
Skolverket om sin granskning av ESO-studien om landets friskolor.
I en ESO-rapport från i våras fann två ekonomer vid Handelns
utredningsinstitut (HUI), Fredrik Bergström och Mikael Sandström, att
friskolorna hade en positiv effekt på alla elever. De hade genomfört en
statistisk studie som omfattande - enligt vad de själva påstod - 30.000
elever i årskurs 9. När de kontrollerat alla bakgrundsvariabler så
fann de ett starkt positivt samband mellan andelen friskolor i en kommun
och betygen för eleverna i den kommunala skolan. Ju fler friskolor, desto
bättre klarade sig även de kommunala eleverna.
Författarnas förklaring var att konkurrensen från friskolorna
stimulerade även den kommunala skolan. Föreställningen att
friskolorna utarmade den offentliga verksamhetan var alltså en myt.
Studien har ofta åberopats som ett tungt vetenskapligt stöd för
friskolorna. Men den är felaktig och dess resultat utan vetenskapligt
värde.
Författarna berättar inte hela sanningen om vad de gjort och hur de
gått till väga. Om de gjort det så skulle felaktigheterna i deras
analys omedelbart uppdagats. Genom att hemlighålla data och tiga om
viktiga förhållanden har studien prägel av vetenskaplig bluffpoker:
framgången hänger på att ingen synar korten.
Eftersom resultaten var betydelsefulla bad jag författarna om
originaldata för att kontrollera deras arbete. Det nekades mig. Något
som är oacceptabelt, inte bara från vetenskaplig synpunkt utan även
för att det rörde sig om en offentligt finansierad studie.
Efter ett långt och tidskrävande (6 månader) arbete fick jag
slutligen (via SCB och Skolverket) en kopia på databasen. Redan en enkel
kontroll avslöjade då att ESO-rapportens slutsatser saknade
trovärdighet och var ett resultat av mycket speciella val av metod,
variabler och data. Materialet kom till exempel från 34 kommuner, men om
urvalet ändrades endast lite så ändrades resultatet. Det räckte
till exempel med att ta bort observationen från Pajala för att effekten
från fri-skolorna skulle försvinna. Tog man dessutom bort Göteborg
blev sambandet mellan betyg och friskolor visserligen statistiskt
signifikant - men negativt!
Enbart detta räcker för att ogiltigförklara resultaten. Om friskolor
har en positiv effekt på betygen borde detta gälla generellt och inte
vara beroende av om Pajala, Göteborg eller Ludvika är med i urvalet.
Studien innehöll hela katalogen över de standardfel man kan begå i en
statistisk studie. Det fanns till exempel sju olika nationella prov (med
poängskala) som man kunde ha testat. För två av dessa gick det (med
viss ansträngning) att få en positiv friskoleeffekt, men inte för de
fem andra.
I en objektiv studie presenterar man naturligtvis alla resultat, även de
negativa. Så icke här. Enbart resultaten från de två prov som
bekräftade författarnas hypotes om konkurrensens goda effekter visades
upp för läsaren.
Lika allvarligt var att författarna inte med ett ord berörde det stora
databortfallet. Man påstår upprepade gånger att man använder betyg
från 30 000 elever, men det är inte sant. En stor del av eleverna
saknade betyg på flera prov vilket innebar att många observationer inte
kom med i den statistiska analysen. För Stockholms kommun fanns till
exempel uppgifter om cirka 5 500 elever, men endast cirka 4 200
observationer kan användas. Om detta finns inte ett ord i författarnas
rapport eller i deras artiklar. Det är annars centralt att analysera det
statistiska bortfallet eftersom detta mycket väl kan påverka
resultaten. Om man har en låda med lika många svarta som vita kulor,
och sedan plockar bort de flesta svarta så är det inte underligt om man
får upp mest vita kulor även med en bindel för ögonen.
Och om man inte berättar för publiken att de svarta tagits bort så
kan en trollkarl göra stor sak av sin förmåga att plocka just vita
kulor ur lådan. Det fanns ett entydigt (statistiskt) samband med elever
utan provbetyg och många friskolor. Ju fler friskolor i en kommun, desto
fler elever som inte fullgjorde de nationella proven.
Den statistiska konsekvensen av detta är uppenbar. I kommuner med stor
andel friskolor plockar man bort en stor andel av de svaga eleverna. Kvar
blir då de bättre och det är självklart att man då får ett
positivt samband mellan friskolor och goda betyg. Men detta beror alltså
på sorteringen och inte på att friskolor genom konkurrensen
förbättrat undervisningen.
Stort godtycke präglade även valet av förklarande variabler. Det är
till exempel väl känt (även av författarna) att barn till
högutbildade har högre betyg. Men då författarna gör en studie av
medelbetyget i Sveriges kommuner 1992-1997 så tar man inte med något
som uttrycker andelen högutbildade. Då jag gjorde detta försvann det
positiva sambandet mellan friskolor och betyg och blev i stället starkt
negativt!
Det är svårt att tro att författarnas utelämnande här varit helt
oavsiktligt. Vill man studera sommarens försäljningen av glasstrutar
är det onekligen konstigt om man inte beaktar till exempel
utetemperaturens betydelse.
Det finns flera allvarliga fel, till exempel att materialet är groteskt
överrepresenterat vad avser elever från storstäder och från
högutbildade hem. Och om man tar hänsyn till bara ett av de fel jag
pekat på så försvinner den positiva statistiska effekten. Tar man
hänsyn till alla så återstår ingenting. Och inte bara det. Till min
egen stora överraskning visar resultaten även på en tydlig
klasseffekt. Då materialet delas upp efter föräldrarnas
utbildningsnivå har friskolor statistiskt sett en negativ effekt för
elever från hem med låg ut- bildningsnivå.
Detta resultat gick igen oberoende av ämne, betyg och testresultat. Detta
går rakt emot vad HUI-forskarna hävdat. Men förklaringen kan vara att
de elever i den kommunala skolan som drabbas negativt av en ökande
konkurrens är de redan svaga. Det är möjligt att konkurrensen tvingar
fram en "elitisering" där man i den kommunala skolan riktar in sig mer
på de mer studievana för att inte förlora dessa till friskolorna.
Denna koncentration skulle då leda till att mindre resurser satsades på
de svagare eleverna: Detta kan vara en förklaring, men vad som är sant
eller falskt i detta går inte att avgöra förrän grundligare studier
gjorts.
Men det är fullt klart att HUI-forskarnas studie är otillförlitlig.
Huvudkritiken mot författarna är egentligen inte att de har fel, det
kan alla ha, utan att de döljer hur de gått till väga. Författarna
bryter mot elementär vetenskaplig praxis redan då de vägrar lämna
ut originaldata. Vore detta USA skulle enbart denna handling bannlysa dem
från alla vetenskapliga institutioner på livstid.
Till detta kommer att författarna inte nämner att de arbetar med ett
material med omfattande luckor och att de enbart väljer och presenterar
modeller, variab-ler och resultat som stödjer deras hypotes. Det är
ingen som förmenar forskare att skriva entusiastiska artiklar om
friskolor, men man bör ha ordentligt på fötterna då man med emfas
hävdar att objektiv vetenskap stödjer ens åsikt. Forskarna från HUI
måste rimligen varit medvetna om sin egen studies svagheter och dessa
borde nämnts i stället för att förtigits.
Man måste även ställa sig frågande till ESO:s roll i sammanhanget.
Det är inte acceptabelt att en studie som finansieras av ett expertorgan
i finansdepartementet skall kunna hemlighålla data för andra forskare.
Kolleger har dessutom meddelat att detta inte är första gången som
grunddata till en ESO-studie behandlas på detta sätt.
Man måste även ifrågasätta det lämpliga i att styrelseledamoten i
ESO, tillika dåvarande chefen för HUI, Stefan Fölster, enligt
protokoll deltog i det beslut som beviljade medel till den anförda
studien. Det är praxis i forskningssammanhang att institutionsledare inte
deltar i beslut som handlar om att bevilja medel till den egna
organisationen. Genom att agera som man gjort har man försvårat en
granskning av resultaten och därmed hindrat ett klargörande av
felaktigheterna. Debatten om friskolorna har förts på felaktiga
premisser.
Sören Wibe
-----
http://magnus.blogspot.com
This archive was generated by hypermail 2.1.2 : 11-07-02 MET DST