Categories
Uutinen

Pisteytystyökalusta

Tämän juttusarjan ensimmäisessä osassa pohjustimme yliopistojen todistusvalintaa ajankohtaisena ja tärkeänä aiheena ja esittelimme omia arvotuksiamme aiheesta. Tavoitteena on, että lukija voi alustuksen pohjalta ymmärtää paremmin esittämäämme kritiikkiä ja sen takana olevia motivaatioita. Tässä toisessa osassa esitämme kritiikkiä yliopistojen todistusvalintaa käsittelevän työryhmän luonnosta kohtaan. Voit lukea Kvantin juttusarjan kokonaisuudessaan myös raportistamme Paperi, paperi, tasapeli? Yliopiston todistusvalinta.

Paperi, paperi, tasapeli?

Työkalun esittely

Ehdotettu työkalu koostuu kolmesta elementistä: eri aineiden eri arvosanat pisteyttävästä pistetaulukosta, aineiden jaottelusta koreihin ja vaihtoehtoisista poimintamalleista. Pisteitä saa C:stä tai tätä paremmista arvosanoista. Pisteet on skaalattu suunnilleen lukion oppimäärän laajuuden mukaan – lukuisia poikkeuksia lukuun ottamatta. Yliopisto saa valita kolmesta mahdollisesta pistetaulukosta (perustaulukko, kielitaulukko ja matemaattinen taulukko), käyttämänsä poimintamallin (monestako korista poimitaan aine, kaikista vai kaikista paitsi yhdestä) ja minkä reaalin tai kielen valitsee painotetuksi aineeksi, jos minkään. Painotetulla aineella on oma korotettu pistetaulukko, eikä sitä huomioida sen tavallisessa korissa. Jokaisesta korista poimitaan eniten pisteitä tuottava aine, ja poimittujen aineiden pisteiden summa on opiskelijan valintapistemäärä.

Pisteytystyökaluluonnoksen perustaulukko. Käytämme tätä esimerkeissä.

Hyvät

Työryhmällä on ollut hyvät aikomukset. Taustamuistio maalaa kuvan, että monet mallin haasteista on tiedostettu, vaikka toteutus onkin osin jäänyt vajaaksi.

Selkeimmät hyödyt ehdotuksessa ovat todistusvalinnan edut, joita käsittelimme jo juttusarjan ensimmäisessä osassa. Päällekkäinen testaus vähenee, ja hakijalla on enemmän tietoa valintamahdollisuuksistaan. Lisäksi päällekkäisillä hakupäivillä pelaaminen loppuu. Nämä eivät toki ole varsinaisesti esitetyn mallin ansioita vaan sisäänrakennettuja todistusvalinnan etuja. Todistusvalinnassa on myös omat ongelmansa.

Mallin omissa ansioissa mainittakoon ensimmäisenä ylioppilastutkintolautakunnan toiveiden kunnioittaminen korimallin suhteen, joskin voimme luottaa tässä kai vain taustamuistion sanaan. On hyvä huomioida lautakunnan mielipide, koska valintamallilla on väistämättä vaikutuksia ylioppilaskirjoituksiin. Korimallilla on myös mahdollisuus tukea lukion yleissivistävää luonnetta, jos malli toteutetaan hyvin.

Työmäärän käyttäminen eri aineiden erotteluun on myös sinänsä reilu periaate. Se on teknisesti objektiivinen mittari, joka palkitsee laajempien asiakokonaisuuksien hallintaa ja työntekoa. Pitkän matematiikan ja äidinkielen painoa on nostettu niiden asiallisesti perustellun tärkeyden perusteella, mutta toisaalta nämä ovat jo valmiiksi lukion laajimmat aineet.

Pahat

Hyvistä aikeista huolimatta itse malli sotii monia omia periaatteitaan vastaan. Yleviä ajatuksia ei ole jaksettu, osattu tai haluttu sisällyttää lopulliseen malliin. Monet heikkouksista kumpuavat korimallin ja pisteytystaulukon huonosta yhteispelistä.

Korimallin toteutus ja työnteosta palkitseminen

Ehdotetussa korimallissa jokaisesta korista huomioidaan vain eniten pisteitä tuottava aine. Ainereaalit on pilkottu kahteen koriin suunnilleen kirjoituspäivien perusteella siten, että ”usein yhdessä kirjoitettavat aineparit” ovat eri koreissa. Jostain taustamateriaalissa määrittelemättömästä syystä kuitenkaan terveystieto ja psykologia eivät ole kirjoituspäiviensä mukaisessa korissa. Reaalien pilkkominen kahteen koriin on kenties koko työkalun suurin käytännön ongelma.

Otetaan konkreettinen esimerkki: Valitaan opiskelijoita kuvitteelliseen hyvin kilpailtuun biologian tutkintoon. Käyttämällä työkalua valitsemme perustaulukon, hakupainealojen poimintamallin ja painotetuksi aineeksi biologian. Ajatellaan kahta hakijaa: Ensimmäinen hakija on kirjoittanut yhdeksän laudaturia: äidinkielestä, biologiasta, matematiikasta, kemiasta, filosofiasta, historiasta, terveystiedosta, pitkästä englannista ja pitkästä ruotsista. Taulukosta laskemme tälle 180 valintapistettä. Toinen hakija on kirjoittanut kuusi eximiaa: äidinkielestä, biologiasta, matematiikasta, terveystiedosta, psykologiasta ja pitkästä englannista. Tämä rivi saa valintapisteitä 182. Kuuden eximian todistus on siis työkaluehdotuksen mukaan parempi kuin yhdeksän laudaturin biologiaan painottunut todistus. Sama esimerkki pätisi myös hakupainealalla ilman painotettua ainetta.

Malli ei mittaa opiskelijan taitoja, vaan pelkästään tutkinnon ainevalikoiman määrämuotoisuutta. Malli ei kannusta monialaiseen opiskeluun vaan valitsemaan jokaisesta korista tarkalleen yhden aineen. Mallin silmissä monipuolinen kieltenopiskelu on turhaa kaikille paitsi kieliä opiskelemaan lähteville.

Korimallin toinen ongelma on työmääräpisteytyksen epäreiluus. Koska jokaisesta korista huomioidaan enintään yksi aine, ei esimerkiksi kahden kevyemmän aineen kirjoittaminen ole pätevä vaihtoehto yhdelle laajalle ja raskaammalle. Jättämällä kaikki paitsi yhden aineen huomioimatta malli voi tehdä tyhjäksi kurssikaupalla työtä. Malli on palkitsevinaan laaja-alaisesta opiskelusta, mutta oikeasti kannustaa vain opiskelemaan pienimmän mahdollisen määrän raskaimpia (siis parhaiten pisteytettyjä) aineita. Työtä korin ensimmäisen kirjoitetun aineen jälkeen ei enää huomioida mitenkään.

Korimallin pitäisi kannustaa monialaisuuteen, ja aineiden työmääräpisteytyksen pitäisi palkita opiskelijoita työnteosta. Tuloksena on malli, joka ei palkitse työnteosta eikä kannusta monialaisiin tutkintoihin, vaan kirjoittamaan aineita mielivaltaisen muotin mukaisesti. Työkalun keskeiset osat riitelevät keskenään.

Pistetaulukko

Pistetaulukko on saanut julkisuudessa eniten kritiikkiä matematiikan suuresta painoarvosta. Tämä on harmillista, koska taulukossa on muitakin ongelmia. Pahin on perustavanlaatuinen ongelma taulukon filosofiassa. Taustamuistio kertoo, että ”todistusvalinnan kannalta ylioppilastutkinnon pisteytyksen tärkein ominaisuus on erottelukykyisyys”, eli se, että useat hakijat eivät päätyisi tasapisteisiin. Tämä ei millään tasolla ole tarkastelua kestävä väite. Oikeasti pisteytyksen tärkein ominaisuus on reiluus.

“Epälineaarisuus” on epäreiluutta

Mallin erottelukykyä on kuitenkin koitettu kasvattaa reiluuden kustannuksella, ja taustamateriaaleissa todetaan että ”erottelukykyinen pisteytysmalli on monella tapaa ns. epälineaarinen.” Tämä on väärin monella tasolla. Ensinnäkään väite ei pidä paikkaansa: kuvattu ”epälineaarisuus” ei takaa tai merkittävästi edesauta mallin erottelukykyä. Matemaattisin termein, tällainen ”epälineaarisuus” ei ole riittävä eikä välttämätön ehto vaadittavalle erottelukyvylle. Toisekseen väite on eettisesti ohuilla jäillä, koska ”epälineaarisuus” kääntyy tässä epäreiluudeksi: malli asettaa toisten aineiden kirjoittajat systemaattisesti heikompaan asemaan. Esimerkiksi maantieteen eximiasta saa yhden pisteen vähemmän kuin yhteiskuntaopin eximiasta, ja ainoa annettu peruste tälle on korkeampi erottelukyky. Toiset opiskelijat on päätetty asettaa heikompaan asemaan kaikissa vertailuissa, jotta joku häviäisi harvinaisessa tasapelitilanteessa. Tämä ei ole millään tavalla hyväksyttävää.

Heikompien arvosanojen hylkääminen

Toimikunnan päätös rajata arvostelu neljään parhaimpaan arvosanaan aiheuttaa taulukkoon myös tarpeetonta epälineaarisuutta. Pistetaulukossa melkein kaikissa aineissa alin askel on suurin: esimerkiksi pitkän matematiikan C:stä saa 22 pistettä, B:stä 0. Pitkän matematiikan laudaturista saa 41 pistettä, eli askel B:n ja C:n välillä on suurempi kuin kaikkien muiden arvosanojen yhteensä. Yksittäinen merkkivirhe ylioppilaskokeessa voi maksaa opiskelijalle 22 valintapistettä. Vieraan B3-kielen C-arvosana on myös arvokkaampi kuin A-kielen B, vaikka jälkimmäisellä on selkeästi korkeammat osaamisvaatimukset. Mikäli malli tulisi tässä muodossa käyttöön, kannattaisi keskinkertaisen pitkän kielen lukijan kirjoittaa varmuuden vuoksi vain lyhyt kieli saadakseen haluamansa opiskelupaikan.

”Kun todistusvalinnalla on tarkoitus valita kuhunkin hakukohteeseen ylioppilastutkinnossa parhaiten menestyneet, on perusteltua jättää kaksi alinta arvosanaa pisteyttämättä”, perustelee taustamuistio. Eli koska tarkoitus on valita parhaiten menestyneet, jätetään osa menestyksestä kokonaan huomioimatta. Tässä mallissa vaatimaton menestys haastavissa aineissa ei ole arvokasta. Tämä kannustaa ennen kaikkea välttämään haastavia opintoja.

Oulussa ei opiskella filosofiaa, joten se ei ole tärkeää

Filosofian ja uskonnon pisteet ovat syyttä muita alhaisemmat. Filosofia ennustaa ei-matemaattisista reaaleista parhaiten yliopisto-opintoja: filosofian kirjoittaneilla on 30 % yliedustus valtakunnallisesti yliopistoon valituissa. Filosofian painon heikentämiseen ei siten ole ainakaan matemaattisesti perusteita, eikä aineen harvinaisuus ole järkevä syy sen painon vähentämiseen. Päätös perustuu ilmeisesti projektin taustamateriaaleissa linkitettyyn Oulun yliopistossa suoritettuun tarkasteluun, jossa todetaan, että “uskonto, filosofia ja elämänkatsomustieto ovat vähän kirjoitettuja aineita, jotka eivät näy Oulun yliopiston koulutusalarakenteessa”. Logiikka siis on, että koska Oulun yliopistossa ei opiskella filosofiaa, se ei ole yliopistoissa arvostettu aine, vaikka totuus valtakunnallisesti on toinen. Filosofian matala paino on ilmeisesti seurausta tahattomasta väärinkäsityksestä, jossa taustamateriaalia on tulkittu väärin.

Kokonaisuudessaan ehdotettu valintatyökalu luo opiskelijoille kummallisia ja haitallisia motiiveja. Malli käytännössä pakottaa kirjoittamaan yhden aineen jokaisesta perustaulukon korista ja rohkaisee olemaan kirjoittamatta mitään muuta. Opiskelijan kannattaa tehdä kaikkein turvallisimmat ainevalinnat. Tyypillinen kokoelma kirjoitettavia aineita olisi äidinkieli, lyhyt matematiikka, pitkä englanti ja kaksi vapaavalintaista reaalia – eri koreista tietysti. Toisen kotimaisen kirjoittamisesta ei ole hyötyä, ellei sitä kirjoita paremmin kuin englantia. Toisen vieraan kielen opiskeleminenkaan ei hyödytä, ellei aio suuntautua kielialalle. Pitkä matematiikka ei kannata, jos ei luota voivansa kirjoittaa eximiaa tai laudaturia. Muutos todennäköisesti vähentäisi pitkän matematiikan kirjoittamista – ainakin niiden lukiolaisten osalta, joka oppivat pitkän matematiikan myötä todennäköisyyslaskennan perusteet.

Ylioppilaiden tutkinnoista tulisi samanlaista massaa, joka pakotetaan työkalun määräämään muottiin.

Painotusta ei ole painotettu

Taustamuistion alustuksessa linjataan: ”– – [nykyisistä] lähtöpisteytysmalleista puuttuu erilaisia painotuksia mahdollistava elementti, joka on todistusvalinnassa keskeistä: on löydettävä keino mitata niitä alakohtaisesti tärkeitä ominaisuuksia, joita tähän saakka on mitattu valintakokeella.”

Osaamiskokonaisuuksien painottamisen tärkeys on selkeästi ymmärretty. Kielten ja matematiikan omaa taulukkoa lukuun ottamatta tämä on kuitenkin jäänyt puolitiehen. Yliopisto voi valita yhden painotetun aineen, josta saa taulukossa korotetut pisteet.

Nykyään käytössä olevissa sekä pääsykokeen että lähtöpisteitä sisältävissä valintatyökaluissa useimmiten noin 50 % pisteistä tulee pääsykokeesta ja noin 50 % todistuksesta. Lähtöpisteytyksessä painotetaan alalle tärkeitä aineita, joiden osaamista myös pääsykoe mittaa. Varovaisen arvion mukaan pääsykokeiden testaamilla aineilla on yhteensä vähintään 60 % paino, ja loput enintään noin 40 % heijastelee yleistä lukiomenestystä muissa aineissa.

Työkaluluonnoksessa perustaulukkoa käytettäessä painotetun aineen osuus mahdollisista pisteistä on noin 20 %. Yleinen lukiomenestys tai tutkinnon soveltuvuus annettuun muottiin määrittää 80 % opiskelijan hakupisteistä. Matemaattisella taulukolla matemaattisten aineiden paino on yhä noin 60 % olettaen, että ne on valittu painotetuiksi aineiksi.

Perustaulukon painotuksen puute on selkeästi tunnistettu, ja se on koitettu paikata purkkaratkaisulla, jossa ”tärkeille aloille” onkin käytössä eri pistetaulukko ja korirakenne painotuksen säilyttämiseksi. Jos alalle ei ole vastaavaa lukioainetta, minkään aineen painottamista ei suositella. Painotuksen merkitys on poikkeustaulukoita lukuun ottamatta riittämätön monelle alalle. Alasta kiinnostuneet ja siihen perehtyneet opiskelijat eivät juuri hyödy alakohtaisesta osaamisestaan.

Ennen kaikkea tämä on uhka mallin käyttöönotolle ja yhtenäisyydelle. Jos malli ei anna mahdollisuutta riittävään painotukseen, yliopistot todennäköisesti ottavat käyttöön omat virityksensä. Lopputuloksena voi olla nykytilannetta muistuttava hajanainen kokoelma erilaisia laiskasti tiedotettuja malleja.

Rumat

Työkaluluonnos ja taustamuistio maalaavat kuvaa hyväntahtoisesta työryhmästä, joka on kiireessä jäänyt kiinni perusteiltaan puutteelliseen malliin ja sen yksittäisten virheiden korjaamiseen.

Erottelukyky on asetettu itsepäisesti reiluuden edelle, mutta tätä erottelukykyä mitataan väärin. Mallin toimintaa on testattu oikealla hakijadatalla hakupainealalla eli Helsingin lääketieteellisessä, mutta tutkimuksen fokus on ollut väärä eivätkä tulokset lupaavia.  Tarkasteluun on otettu 50 parasta hakijaa, vaikka tuleva todistusvalinnan sisäänotto on tätä reilusti suurempi, joten se ei välttämättä kuvasta tilannetta sisäänpääsyn rajalla.  Käytettäessä työkalun lisäksi viittä tasapistesääntöä yhä noin puolet hakijoista on tasapisteissä jonkun toisen hakijan kanssa.

Pistetaulukko on yliviritetty väärin perustein. Korimallia perustellaan laaja-alaisen osaamisen huomioinnilla, mutta sen jäykkyys kääntää laaja-alaisuuden määrämuotoisuudeksi. Kun mallissa on havaittu perustavanlaatuisia ongelmakohtia, ne on koetettu peittää mallia monimutkaistamalla tai perustelemalla kyseessä olevan ominaisuus eikä varsinainen puute (painotusten puute, korimallin rajoittavuus). Seurannaisvaikutuksia ja lukiolaisille syntyviä kannustimia on mietitty laiskasti. Tieteellisiä lähteitä on käytetty, mutta niiden sisältöä on tulkittu epäkonsistentisti tai jopa paikoin suoranaisesti väärin (filosofian painotus).

Esityksissä muistutetaan todistusvalinnan olevan vain yksi reitti yliopistoon. Tällä koitetaan ikään kuin perustella kehnoa työkalua ja haluttomuutta parannella sitä. Vaikka työkalu olisi kuinka epäreilu, on aina muita reittejä. Samaan tapaan painotetaan työkalun olevan vielä luonnos: keskeneräistä työtä ei saa arvostella!

Pahimmassa tapauksessa työkalun kehitys jatkuu samaa rataa kuin tähän asti. Mallista keskustellaan yliopistojen ja lukioiden kanssa, ja myönnytyksenä sen puutteille sitä monimutkaistetaan askel kerrallaan. Perustavanlaatuiset sisäänrakennetut ongelmat koitetaan paikata erikoisratkaisuilla ja poikkeussäännöillä. Kuin paikattaisiin särkynyttä ikkunaa postimerkeillä ja riideltäisiin siitä, miten ne kuuluisi leimata. Komiteakäninän jatkuessa malli monimutkaistuu jatkuvasti ja muuttuu yhä vähemmän läpinäkyväksi. Ennen pitkää jokainen taulukon solu on myönnytys jollekin taholle. Tällöin pisteytyksen logiikkaa on mahdotonta ymmärtää tai kritisoida, eikä painoja voida muuttaa, koska kaikki numerot on sidottu toisiinsa kummallisilla lehmänkaupoilla.

Tämä kaikki voi kuulostaa rankalta, mutta kirjoittajien tarkoitus ei ole kritisoida työkalun suunnitelleita ihmisiä, vaan prosessia, jolla työkalua rakennetaan, ja tilannetta, johon prosessi on ajanut itsensä. Kaikki tämän artikkelin kirjoittajat ovat myös itse istuneet kehnoissa komiteoissa, joiden päätöksenteosta katoaa fokus, kun asialistalla on ”Filosofian eximia-arvosanan pisteytyksen vaihtaminen parittomaan lukuun”. Ilma ummehtuu, ja ihminen unohtaa kokonaisuuden. Jos mallissa pitää hienosäätää eri aineiden arvosanojen yksittäistä pisteytystä erottelukyvyn saavuttamiseksi, työkalussa on todennäköisesti jotain perustavanlaatuista vikaa. On tärkeää, että tämä tunnustetaan ajoissa ja katsotaan projektia uusin silmin.

Seuraavassa osassa Kvantti tarjoaa ratkaisuja opiskelijavalinnan vaikeuksiin. Käymme läpi mahdollisia korjauksia nykyiseen työkaluun ja esittelemme muutaman aivan uuden mallin.