Arviointi-verkkojakson 4. - 28.2.2002 yhteenveto

Koonnut Soile Jokinen, soile.jokinen@oulu.fi

TieVie-koulutuksen neljännellä verkkojaksolla (4. - 28.2.2002) keskityttiin arviointiin sekä opetuksen että oppimisen näkökulmasta. Työskentely jaksolla aloitettiin Jyväskylän lähiseminaarissa (24. - 25.1.2002) ryhmäytymisellä sekä arviointiin liittyvien kiinnostavien aiheiden alustavalla käsittelyllä ja rajaamisella. Verkkojaksoa varten muodostettiin 17 keskusteluryhmää, joilla jokaisella oli oma kiinnostuksenkohteensa. Keskustelijoiden nimet löydät tästä. Ryhmissä käsitellyt arviointiin liittyvät teemat olivat seuraavat:

• Miten verkko-opiskelua arvioidaan?
• Portfolion käyttö arvioinnissa
• Verkossa tapahtuvan itseopiskelun arviointi
• Arvioinnin kohteet ja välineet huomioiden oppimisen tavoitteet ja opettajan resurssit
• Yhdessä toimimalla oppiminen ja sen arviointi
• Opiskelijapalautteen merkitys ja käytännöt (oman hankkeen kannalta)
• Arviointitavat ja oppimisprosessi
• Verkkoarviointivälineiden kartoitus ja toimivuuden arviointi
• How do the goals of a course affect what is evaluated and how the evaluation is carried out?
• Osaamisen/osaamattomuuden ilmeneminen ("varmat merkit")
• Arvioinnin monipuolistaminen seuraavien kysymysten kautta: miksi? kuka? milloin? mitä? miten?
• Millaisesta arvioinnista on hyötyä opiskelijalle? Kuinka sovellan arviointipuuta oman verkkokurssin arvioinnissa/arvioinnin suunnittelussa?
• Vertais- ja itsearviointi ja sen tukeminen (teknologia, keinot, roolit, vaiheet, ongelmat, kokemukset)
• Vaihtoehtoiset arviointimenetelmät massakurssilla: perinteisen tentin kehittäminen ja muut arviointimenetelmät
• Yleinen (tieteenalasta riippumaton) peruskonsepti portfoliokurssin toteuttamiseksi (verkossa)
• Jatkuvan arvioinnin tavat
• Verkkotyöskentelyn arvioinnin menetelmien ja kriteereiden kehittäminen (roolit ja niiden muutos)

Seuraavassa on koottuna verkkokeskusteluissa esiin tulleita keskeisiä kysymyksiä ja pohdintoja ryhmissä tehtyjen keskusteluyhteenvetojen pohjalta. Loppuyhteenvedossa ei olla nostettu juurikaan esiin ryhmiä tai henkilöitä, joissa/jotka tiettyä keskustelua on käyty/ovat käyneet, vaan ryhmien keskusteluja on käytetty joko suoraan tai yhdisteltyinä sopivien teemojen alla.

Millaista arvioinnin tulisi olla?

Useassa verkkokeskusteluryhmässä oli pohdittu sitä, millaista arvioinnin ideaalitapauksessa tulisi olla. Seuraavassa kuviossa on tiivistetysti koottuna keskusteluissa esiin tulleita seikkoja arvioinnista ja siihen liittyvistä odotuksista.

Arviointimenetelmien pohtiminen on opintokokonaisuuden suunnitteluprosessin tärkeä vaihe, sillä arviointi ohjaa opiskelijan oppimisprosessia. Esille nousee useita ratkaisua vaativia kysymyksiä ja valintoja. Arvioinnin yhteydessä joudutaan mm. miettimään, mitkä ovat kurssin tavoitteet. Painottuuko oppimistavoitteissa ja arvioinnissa enemmän tuotos vai prosessi? Missä vaiheessa oppimisprosessia/kurssia arviointia tehdään ja mikä menetelmä kulloinkin on perusteltu ko. ryhmälle? Suunnitellessaan kurssinsa arviointia opettajan on siis pohdittava sen vaikutusta sekä opiskelutapoihin että oppimiseen. Arviointitavan valinnalla opettaja voi viestittää, millaiset tavoitteet oppimiselle kurssilla asetetaan. Tämä ohjaa edelleen myös opiskelijoiden toimintaa kurssilla. Näin ollen arvioinnissa ei siis ole kyse pelkästä loppuarvioinnin suorittamisesta vaan kokonaisen oppimiskulttuurin pohdinnasta. Keskusteluissa kävi ilmi, että oppimista tulisi arvioida pikemminkin taitojen kuin tietojen näkökulmasta. Arvioinnin suuntaaminen käsitteiden ja teorioiden sovellusvalmiuksiin muuttaa myös opetuskäytänteitä tiedon jakamisesta oppimisen ohjaamiseen.

Opettaja pystyy omilla toimillaan ja valinnoillaan vaikuttamaan arvioinnin ahdistavuuteen. Arviointikriteerien on oltava avoimia, julkilausuttuja sekä rationaalisesti perusteltuja, jotta niistä tulisi toimivia ja jopa opiskelijan itsearviointia kehittäviä menetelmiä. Missään ei myöskään kielletä opiskelijoiden ottamista mukaan arviointikriteerien laadintaan. Se, kuka tai ketkä tavoitteet asettavat, liittyy muutokseen opettajan ja oppijan roolissa. Kurssin tavoitteista, toimintatavoista ja arvioinnin perusteista yhdessä sopiminen kurssin alussa, esim. arviointimatriisia käyttäen voi lisätä opiskelijoiden sitoutumista opiskeluprosessiin ja arviointiin päästessään vaikuttamaan "pelisääntöihin". Se auttaa ehkä opiskelijaa arvioimaan myös itseään sekä suhteuttamaan saamaansa palautetta sovittuihin oppimistavoitteisiin. Arviointikriteereistä keskustelu auttanee myös tunnistamaan koulutusohjelmissa olevia latentteja arvioinnin merkitysrakenteita. Erinäiset käytänteet voivat olla selviä opettajille, mutta mistä voidaan päätellä, että myös opiskelijat ovat niistä tietoisia? Ryhmäkeskusteluissa tuli myös esille, että voitaisiinko arviointia käyttää tietoisesti eräänlaisena kokemuksellisen ja konstruktivistisen oppimiskäsityksen piilo-opetussuunnitelmana.

Arvioinnin tulisi olla opiskelijan oppimisprosessia tukevaa. Pelkkä numeerinen arvosana ei opiskelijalle paljon kerro hänen osaamisestaan taikka siitä, miten hän itse voisi oppimisprosessiaan edistää. Kaiken kaikkiaan arvioinnista ei pitäisi tehdä mitään suurta peikkoa, vaan opiskelijan olisi totuttava arviointiin arkisenakin asiana ja arviointi pitäisi nähdä oppimisen näkökulmasta ja oppimisprosessin pitäisi jatkua arvioinnissa. Arvioinnilla voidaan siis tehokkaasti ohjata oppimisen tyylejä ja oppimisen syvyyttä. Arviointitavat ja -kriteerit ohjaavat siten koko oppimisprosessia.

Millaisesta arvioinnista on hyötyä opiskelijalle?

Yksi tärkeimpiä perinteisen arvioinnin sudenkuoppia on ollut sen kaavamaisuus, joka mahdollistaa ja käytännössä kannustaa opiskelijaa hyödyntämään oppimisen kannalta vähäarvoisia tentistä selviytymisstrategioita. Koska korkeakoulututkinnon suorittaminen edellyttää opiskelijalta arviolta n. 60-80 yksittäisen kurssin suorittamista, tällainen toiminta tai 'arviointikäyttäytyminen' on ymmärrettävää. Kuitenkin arviointiin liittyvä kehittämistarve ja sen mukanaan tuomat vaihtoehtoiset arviointimenetelmät sekä samanaikainen verkko-opetuksen arvioinnin selkiintymätön tila ovat synnyttäneet hedelmällisen kehittämisilmapiirin, jonka puitteissa on mahdollista uudistaa ja luoda kokonaan uudenlainen arviointiprosessi. Tällöin arviointi ei hyödytä pelkästään hallinnollisia rakenteita vaan ottaa huomioon opettajan ja oppijan tarpeet.

Uudet opetusteknologiset välineet yhdessä hyväksi havaittujen vaihtoehtoisten arviointimenetelmien kanssa mahdollistavat aiempaa monipuolisemman arvioinnin. Koska opintojaksojen määrä ei verkko-opetuksenkaan myötä ainakaan vähene, ei ole syytä kuitenkaan rajoittua yhteen 'oikeaan' ratkaisuun, vaan pyrkimyksenä tulisi olla mahdollisimman monitasoinen arviointi, jossa hyödynnetään useampaa kuin yhtä menetelmää.

Keskustelussa todettiin, että muutokset arviointikulttuurissa ja kokeiltavat uudet menetelmät aiheuttavat ymmärrettävästi muutosvastarintaa niin opettajissa kuin opiskelijoissakin. Siksi on ehkä perusteltua siirtyä vaiheittain ulkoisesta arvioinnista sisäiseen arviointiin, määrällisestä arvioinnista laadulliseen arviointiin, tuotoksen arvioinnista myös prosessin arviointiin ja keinotekoisesta arvioinnista autenttiseen ja luonnolliseen arviointiin.

Moderneissa teknisissä oppimisympäristöissä tapahtuva opiskelu ja sen arviointi edellyttävät koko arviointiprosessin uudelleen pohtimista. Entisten menetelmien suora siirto uuteen opiskelukulttuurin ei välttämättä enää toimi. Ehkäpä uudet tekniset oppimisympäristöt mahdollistavat aivan uudenlaiset arviointiperiaatteet tulevaisuudessa.

Keinoja arviointiin

Pohdittaessa menetelmiä verkko-oppimisen arviointiin tulisi kehittää välineitä, joiden avulla arviointi mahdollistetaan opettajan ja opiskelijan yhteistoimintana. Arvioinnin kohteena voivat olla esimerkiksi käsitteiden ymmärtäminen, verkkokeskustelut, opiskelijoiden henkilökohtaiset tai ryhmän tuotokset sekä opiskelijan oma kehitys. Oheiseen taulukkoon on kerätty muutamia arviointikeinoja näiden arviointiin.

Käsitteiden ymmärtämisen arviointi

Menestyksekäs tiedeyhteisössä tai ammatissa toimiminen edellyttää alan käsitteiden hallintaa. Tietoja ja teorioita on osattava soveltaa. Käsitteiden omaksumisen mittarina voisikin pitää selviytymiskykyä asianomaiselle monimutkaisissa ja haasteellisissa tilanteissa. Autenttinen arviointi esimerkiksi luonnollisella tai simuloivalla tentillä soveltuu hyvin käsitteiden soveltamistaitojen mittaamiseen. Autenttinen arviointi voisi myös vahvistaa opiskelijan aktiivisuutta suhteessa tietoon.

Verkko-opinnoissa ei ole yhtä helppo nähdä opiskelijan osaamista kuin lähiopetustilanteessa. Tähänkin ongelmaan autenttinen, ongelmasuuntautunut tentti voisi tuoda avun paljastaessaan, onko käsite todella sisäistetty. Verkkokeskustelussa käsitteiden ymmärryksen taso myös paljastuu: sosiaalisessa tilanteessa opiskelija joutuu tekemään itsensä ymmärretyksi sekä hankkimaan sosiaalisen hyväksynnän väitteilleen.

Tentit ja automaattisesti toteutetut, käsitteiden ominaisuuksiin pureutuvat monivalintatestit tuntuvat sopivilta ratkaisuilta suurten opiskelijaryhmien arvioinnissa. Massakursseilla siirtyminen yksilöarvioinnista ryhmäarviointiin esimerkiksi kurssin jonkin välitavoitteen suhteen mahdollistaa muutokset verrattaessa perinteiseen tenttiin. Käsitteen ymmärtämistä voi arvioida esimerkiksi sopivilla ongelmalähtöisillä ryhmätöillä tai ryhmissä laadittujen postereiden avulla, joita toiset ryhmät kommentoivat. Siirtyminen yksilöarvioinnista ryhmien arviointiin saattaa vähentää arvosanan tarkkuutta yksittäisen opiskelijan kohdalla, mutta toisaalta käsitteen ymmärtämiseen kohdistuva ryhmätyö voi vaikuttaa myönteisesti sekä motivaatioon että opiskelutapoihin.

Tuotoksien arviointi

Verkko-opiskelussa tuotokset ovat yksilö- tai ryhmätöitä, joita arvioi esimerkiksi opettaja, tuutori, vertaisryhmä tai ryhmä/henkilö itse. Erityisesti ryhmätyöt sopivat erinomaisesti verkossa toteutettaviksi. Ryhmätyön tekijät voivat arvioida sekä koko ryhmän tuotosta että omaa ja toisten ryhmäläisten panosta. Mikäli sama ryhmä tekee useampia tuotoksia kurssin aikana, kehittää tällainen ryhmän työskentelyn arviointi samalla ryhmädynamiikkaa. Jos verkkokurssilla painotetaan yhdessä oppimista, tulisi myös arvioinnin kohdistua lopputuloksen ohella oppimisprosessiin sen sijaan, että arvioitaisiin esim. yksilösuorituksia.

Ongelmana yhdessä toimimalla oppimisessa voi olla se, että opiskelijoiden osallistumisen määrään ja laatuun vaikuttavat heidän tietojensa, taitojensa ja kokemustensa vaihteleva taso. Koska osanottajat voivat olla hyvin heterogeenisia, voi eri ihmisten panoksetkin kurssilla olla eri tasoisia. Tämä voi tosin olla myös kurssin rikkaus, mutta arviointityöskentelyä se voi hankaloittaa. Kuinka tarkastellaan erilaisilla panoksilla osallistuneiden opiskelijoiden suorituksia? Kuka arvioi ja missä vaiheessa arvioidaan? Prosessiluonteisessa ryhmäoppimisessa ongelmana ovat myös opiskelijat, jotka haluavat syystä tai toisesta jättäytyä ryhmän ulkopuolelle. Kuinka heitä arvioidaan? Jätetäänkö siipeilijät ainoastaan ryhmän sisäiseksi asiaksi? Tarvitseeko heihin puuttua?

Verkkoympäristössä tapahtuva ryhmätyö edellyttää aktiivista vuorovaikutusta opiskelijoiden kesken. Opiskelijat voivat arvioida ryhmässä omaa toimintaansa ja sen kehittämistarpeita. Tällainen arviointi voi olla opintojakson lopussa, jolloin ryhmä yhdessä miettii näitä asioita. Asioiden yhteinen pohdiskelu auttaa ryhmäläisiä kehittämään myös omaa toimintaansa ryhmässä.

Opiskelijan oman kehityksen arviointi

Oppiminen on prosessi ja tuon prosessin tiedostaminen on tärkeää esimerkiksi opiskelijan luodessa omaa ammatillista identiteettiään. Portfoliot, oppimispäiväkirjat, itsearviointiraportit yms. sopivat erinomaisesti opiskelijan oman kehityksen arviointiin. Ne opettavat kiinnittämään huomiota omaan oppimiseen ja sen merkitykseen ja voivat parhaimmillaan kehittää opiskelijan metakognitiivisia taitoja. Vertaisarviointi sopii myös oman kehityksen arviointiin, esimerkkeinä opponointi tai parityöskentelynä tehtävä yhteisarviointi.

Olipa arvioinnin kohde mikä tahansa, arviointitavan on oltava luonteva osa muuta opiskelutoimintaa. Opiskelijoita ei saa hermostuttaa esimerkiksi jatkuvalla itsearviointiraporttien täyttämisellä. Portfolio on työläs opiskelijalle ja se voidaankin jättää vapaaehtoiseksi hyviä arvosanoja haluaville. Arviointitapaa valittaessa on muistettava, että oppimisprosessi voi jatkua arviointitilanteessakin.

Tiedonhankinnan opetuksessa ja sen arvioinnissa pitäisi pyrkiä kohti autenttista arviointia, jossa oppija olisi itse oman oppimisensa arvioija. Tämä edellyttää myös muuta kuin pelkästään annettujen tehtävien tekemistä. Ennen kaikkea oppijan pitäisi ottaa käyttöön kriittisen ajattelun taidot eli hänen tulisi kiinnittää huomiota myös tiedonhakemisen tuloksena saamansa aineiston laatuun ja tarkastella sitä kriittisesti. Verkkokursseissa tuntuisi järkevältä yhdistää autenttinen arviointi oppimispäiväkirjaan, koska sen avulla opiskelijat voisivat seurata omaa työskentely- ja oppimisprosessiaan. Samalla tuutori tai opettaja saisi tarpeellista tietoa omaa arviointiaan varten.

Verkko-opetuksen avulla voidaan pyrkiä luomaan käsitystä, jossa oppiminen ymmärretään toimintana. Tällöin perinteinen faktojen siirtoon perustuva opetus hylätään lähes tyystin ja painopiste kiinnitetään opiskelijaan toimijana, joka itse kantaa ensisijaisen vastuun siitä, mitä ja miten hän haluaa oppia.

Verkkokeskustelujen arviointi

Modernit oppimisympäristöt asettavat arviointimenetelmillekin aivan uudenlaiset haasteet. Jo tämä on omiaan hämmentämään niin opiskelijoita kuin opettajiakin, jotka ovat tottuneet perinteisiin arviointimenetelmiin. Erityisesti opettajat ovat haasteen edessä: kuinka arvioida oikeudenmukaisesti opiskelijan suoritusta kun vanhat menetelmät eivät enää toimi. Vaikka miten tarkastelisimme arvioinnin objektiivista luonnetta, arvioijana on aina ihminen, joko opiskelija itse tai sitten ulkopuolinen henkilö. Arviointiin vaikuttaa siten lukemattomat asiat, jotka ovat riippuvaisia arvioijan kontekstista ja sen hetkisestä tilasta ja tilanteesta.

Muutamien ryhmien keskusteluissa kiinnitettiin huomiota erityisesti siihen, että opiskelijan suorituksen arviointi pelkästään verkossa käytetyn ajan perusteella ei ole perusteltua. Jo kustannussyistä monet opiskelijat tallentavat omalle levykkeelleen tai kovalevylleen tai jopa tulostavat verkkokurssien tavoitteet, arviointiperusteet, tehtävät ja aikataulut. Opiskelu siis tapahtuu huomattavassa määrin verkon ulkopuolella, jonne taas palataan kun on tehty esim. tarvittavat tehtävät. Verkkosuorituksen arviointi käytetyn ajan perusteella voisi tulla kysymykseen vain, jos opintojakso on suunniteltu esim. reaaliaikaiseksi. Tällöin esim. chat-toimintoa käyttämällä ryhmä työstää saman tien tehtäviään. Mielenkiintoisen huomion verkkokeskustelujen arvioimiseen antaa myös pohdinta siitä, miten arvioidaan ns. tilastoissa passiivisilta näyttäviä opiskelijoita, jotka ainoastaan seuraavat keskustelua, mutta eivät itse aktiivisesti osallistu siihen. Tilastot eivät myöskään kerro mitään siitä, millaista keskustelu verkossa on ollut. Toisilla opiskelijoilla lähetettyjen viestien määrä voi olla huomattavasti suurempi kuin toisilla, mutta viestien asiasisältö voi vaihdella ääripäästä toiseen. Mielenkiintoista on pohtia myös sitä, mikä merkitys esimerkiksi toteavilla viesteillä ('Olen kanssasi samaa mieltä') verkkokeskusteluissa on. Vievätkö ne keskustelua eteenpäin ja luovat pohjaa avoimemmalle keskusteluilmapiirille?

Verkkokeskustelu mahdollistaa opettajan intervention parantamaan keskustelun laatua esimerkiksi motivoimalla ja ohjeistamalla opiskelijoita kesken keskustelun. Tuodessaan ajattelun näkyväksi verkkokeskustelu mahdollistaa myös kriittisen itsereflektion. Parhaimmillaan verkkokeskusteluun osallistuvat voivat kokea hienon oppimisprosessin. Ennen verkkokeskustelua on hyvä tehdä kurssin pelisäännöt selviksi - mitä tehdään esim. ns. lurkkijoille, mitkä ovat hyvän keskustelun kriteerit jne.

Verkkokeskustelun arviointi voi olla opettajan suorittamaa tarkkailevaa arviointia, opiskelijan suorittamaa itsearviointia kriteereitä hyödyntäen tai vertaisarviointia esimerkiksi eri roolien kautta. Itsearvioinnissa opiskelijat voivat arvioida yhteistyön koko prosessia ja omaa osuuttaan siinä sekä sitä, mitä tuo prosessi heille opetti. Verkkokeskustelussa itsearviointi ei kuitenkaan ole ongelmatonta. Kirjallisen, rönsyilevän keskustelun hahmottaminen voi olla hankalaa. Keskustelusta voikin olla syytä laatia lopuksi yhteenveto. Itsearvioinnin yhtenä ongelmana saattaa olla myös se, että opiskelijat ovat liian ankaria itselleen. Vertais- ja itsearvioinnin yhdistäminen voisikin antaa todellisemman kuvan opiskelijan toiminnasta ja osaamisesta.

Ongelmaksi verkkokeskustelujen arvioinnissa nousee esimerkiksi se, että opiskelijan kynnys viestien lähettämiseen voi nousta korkealle, jos myös ns. tyhmät kysymykset arvioidaan. Tästä syystä arviointikriteerien sopiminen etukäteen on tärkeää. On muistettava, että verkkokeskustelu on myös hyvä ohjauksen väline. Joissakin oppiaineissa opiskelijoiden ohjaaminen on verkkokeskustelun tärkein tavoite. Tällöin verkkokeskustelu ei varsinaisesti ole arviointikohde, vaikkakin myös tässä tilanteessa ahkeria, toisia auttavia opiskelijoita voidaan palkita.

Verkkokeskustelun arvioinnissa arvosanasta on usein luovuttu ja tyydytty seuraamaan, että keskustelu täyttää asetetut kriteerit. Sosiokonstruktivistisen näkemyksen mukaan oppiminen tapahtuu vuorovaikutusprosessissa. Koska verkkokeskustelun tavoitteena on ryhmän oppiminen, on sen pystyttävä ottamaan kollektiivinen vastuu opiskelutoiminnastaan. Tällöin yksilöllinen arviointi ei ole mielekästä, vaan arvosanoista voidaan luopua tai arvioida opiskelijoita ryhmittäin. Erinomaista roolia verkkokeskustelussa voidaan edelleenkin palkita antamalla korkeamman arvosanan sijasta kannustava yksilöllinen palaute.

Vaihtoehtoisista tenttikäytännöistä

Arviointiverkkojakson materiaalissa (Arviointiaavan Sanomat) oli esiteltynä muutamia vaihtoehtoja nk. perinteiselle tentille. Muutamien ryhmien keskusteluissa tuli ilmi, etteivät nämä käytännöt ole vielä kovinkaan vakiintuneita kaikissa yliopistoissa. Eikä niiden välttämättä tarvitse ollakaan. Jokaisen opettajan tehtävänä onkin miettiä parhaiten opiskelijoita ja opettajaa itseäänkin (vrt. massakurssit) palveleva kurssin suoritusmuoto. Perinteistä kurssitenttiä voi kehittää esimerkiksi laatimalla tentissä olevat kysymykset eri lähtökohdista käsin - esimerkiksi käyttämällä soveltavia tehtäviä, keskustelemalla tenttikysymyksistä tai keskeisistä asioista opiskelijoiden kanssa ja muutenkin motivoimalla opiskelijoita paremmin asioiden ja asiakokonaisuuksien oppimiseen. Perinteistä tenttiä ei siis tarvitse väkisin pyrkiä muuttamaan nk. vaihtoehtoisemmaksi. Jokaisella tenttityypillä on oma sijansa, ja joskus ulkomuistikin on perusteltua (esim. kielissä epäsäännöllisten verbien taivutusmuodot tai kaikille yhteisen, yleisen teoriaperustan muodostamisessa ).

Vaihtoehtoisten tenttikäytäntöjen järjestämisen ongelmaksi muodostuu, etenkin massakursseilla, resurssi- ja aikapula. Yhtenä uutena vaihtoehtona massakursseilla voisi olla kuitenkin esimerkiksi ns. diagnostiset testit, joilla opiskelijat voisivat itsenäisesti verkossa testata omaa osaamistaan ja saada palautetta kurssin edetessä omasta 'tasostaan'. Testien yhteyteen voisi ujuttaa myös oheismateriaalia, jota opiskelija saisi käyttää hyväkseen testin edetessä.

Olipa tentti sitten perinteinen tai jotain aivan muuta, tulisi sen olla todellisuutta lähellä oleva oppimis- ja ongelmatilanne.

Tentti verkossa

Seuraavassa on muutamia tapausesimerkkejä - todellisia tai hypoteettisia - verkossa toteutetuista tenteistä.

Case 1.

"Erään verkkotentin saattoi tehdä milloin vain viikon ajan. Tenttiin sai kirjautua vain kerran. Vastaamisaikaa oli annettu normaalit kolme tuntia. Tämän voi tarkistaa vastausten lähettämisen ja ympäristöön kirjautumisaikojen avulla. Tehtävät olivat monivalintoja (12 kpl) ja esseitä (3 kpl). Ongelmaksi koitui se, että käytetty oppimisympäristö ei kestänyt kuormitusta vaan kaatuili ja oppilaat olivat vihaisia. Muuten nettitentti lienee ihan toimiva ratkaisu muutenkin kokonaisuudessaan verkossa toteutettavassa kurssissa."

Case 2.

"Yhteinen verkkotentti vaatii joko chat-toiminnon, joka tulle usein aika kalliiksi opiskelijalle - ja toimii usein huonosti - tai sitten jonkinlaisen viiveen, jotta opiskelijat voivat vastata kysymyksiin yhteisesti ei reaaliajassa. Yksilösuoritus on toisenlainen ja voi olla esim. lomakkeelle tehty tentti, jossa kone ns. tarkistaa vastaukset automaattisesti. Se kuinka paljon tämänlainen tentti kuvaa opiskelijan osaamista, on kyseenalaista."

Case 3.

"Www-trakla on TKK:ssa Tietorakenteet ja algoritmit kurssille kehitetty järjestelmä. Trakla mahdollistaa kurssin perustehtävien ratkaisemisen ja palauttamisen www-pohjaisella graafisella käyttöliittymällä tai sähköpostilla. Järjestelmä jakaa opiskelijoille ei-triviaaleja tehtäviä ja tarkistaa ratkaisut automaattisesti. Järjestelmä on esimerkki tietotekniikan käytöstä antamaan henkilökohtaista palautetta automaattisesti. Varjopuolena on järjestelmän kehittämiseen tarvittu suuri määrä resursseja. Tällainen järjestelmä on yksi ratkaisu sopivaan tilanteeseen massakursseilla."

Yhdeksi askarruttavaksi ongelmaksi niin verkkotenttien kuin esimerkiksi palautettavien harjoitustöiden osalta nousi se, onko opiskelija tehnyt tuotoksensa todella itse. Ongelma liittynee opiskelu- ja arviointikulttuurin laajempiin ongelmiin - onko opettajan tehtävänä vartioida opiskelijan suorituksia, asettaako opiskelija etusijalle oman oppimisensa vai helpommalla pääsyn?

Portfolion käyttö arvioinnissa

Portfolio on väline oman toiminnan kehittämiseen. Portfolio antaa myös opettajalle realistisemman kuvan opiskelijan tasosta kuin yksittäinen tentti Parhaiten portfoliotyö tukee oppimista silloin, kun sitä käytetään työvälineenä koko opintokaaren ajan.

Portfolioon voidaan liittää monen tasoista arviointia - opiskelijan itsearviointia, opiskelutovereiden vertaisarviointia sekä opettajan antamaa palautetta. Mitä tällä arviointitiedolla tehdään? Kuka sitä tarvitsee? Voiko arviointi tapahtua asteikolla hyväksytty / hylätty (täydennettävä)? Voidaanko numeroarvostelu jättää kokonaan pois? Arvioinnin merkitykset ovat ennen kaikkea sisäisiä - opiskelija saa tietoa omasta oppimisprosessistaan, samoin ohjaaja omasta opetuksestaan. Tämä voi lisätä sekä ohjaajan ja opiskelijan vastuun ottamista omasta työstään, kun kumpikaan ei voi kätkeytyä eleettömän numeron taakse, vaan valintoja ja arviointeja on perusteltava sanallisesti. Myös työnantajien keskuudessa ollaan havahduttu uuteen arviointikulttuuriin. Usein sanomalehdissä näkeekin jo työpaikkailmoituksia, joissa hakijoita pyydetään toimittamaan hakemus portfoliomuotoisena tai ainakin liittämään hakemukseen portfolio.

Eli kaiken kaikkiaan, vaikka numeroarvioinneista portfolioiden kohdalla luovuttaisiinkin, on portfolioiden arviointi silti ongelmallista ja ennen kaikkea haastavaa. Jokainen portfolio on, ja tuleekin olla, tekijänsä näköinen. Mikäli opiskelija ei ole sisäistänyt tarkasti portfolion tavoitetta ja kriteerejä, siitä tulee helposti tiedon ja töiden varasto, johon on koottu kaikki mahdollinen. Vaikka opiskelija olisikin asettanut itselleen tavoitteet ja kriteerit, saattaa arvioijan kuitenkin olla vaikea niitä hahmottaa laajasta materiaalista. Toisaalta portfoliotyössä pitää myös arvioida koko oppimisprosessia, eikä ainoastaan lopputulosta. Portfoliotöiden arviointiin kuluu opettajalta siis paljon enemmän aikaa, kuin esimerkiksi tavallisen tentin tarkastamiseen. Tämän vuoksi portfolioihin onkin hyvä sisällyttää sekä itseis- että vertaisarviointia.

Seuraavassa taulukossa on listattuna muutamia plussia ja miinuksia portfolityötä ajatellen. Jokaisen opettajan ja opiskelijan kohdalla lista näyttää varmastikin hieman erilaiselta, mutta tärkeintä on, että asiaa pohditaan ja muodostetaan omaa näkemystä portfolion mielekkyydestä omilla kursseilla.

Kysymyksiä pohdittavaksi:

• Kuinka portfolioarviointia käyttävä kurssi tulisi aloittaa niin, että se tuntuisi opiskelijoista kaikin puolin mielekkäältä?
• Tuntisinko itse vastaavassa tilanteessa portfolion teon mielekkäänä?
• Minkälainen henki opiskelijaporukkaan syntyy?
• Halutaanko kurssi suorittaa kivuttomasti pois, vai ryhdytäänkö vaativaan kirjoitusprosessiin? Miten opettaja voi vaikuttaa motivaatioon?
• Osaako opiskelija arvioida toisen tekemää tai itsensä tekemää portfoliota?

Keinoja portfolioarviointiin

Ennen kurssin alkua ja portfolion tekemisen aloittamista opiskelijoita voidaan pyytää tekemään esimerkiksi lyhyt yhteenveto siitä, mitä he toivovat kurssilla oppivan. Kurssin edetessä opiskelijoita voidaan pyytää palauttamaan mieliinsä kurssin alussa tehty yhteenveto ja peilata sitä kurssin jälkeiseen tilanteeseen - mitä he ovat kurssilla todellisuudessa oppineet. Tällöin opiskelijat siis pohtivat omien tavoitteidensa asettamista ja sitä, millä keinoin tavoitteensa aikoo saavuttaa tai on jo saavuttanut. Tavoitteiden saavuttamista ja käytettyjä menetelmiä arvioidaan ja analysoidaan siis itse, jolloin on helpompi pohtia myös esim. sitä, mikä on ollut epäonnistumiseen vaikuttava tekijä. Yhtenä itsearvioinnin välineenä voidaan käyttää myös SWOT-analyysiä, minkä avulla opiskelija voi vertailla omia vahvuuksiaan, heikkouksiaan, mahdollisuuksiaan ja mahdollisia uhkatekijöitä.

Opettajan on kuitenkin hyvä antaa jonkinlaiset raamit portfoliotyön etenemiselle. Hän voi esimerkiksi harkiten päättää, mitkä asiat portfoliosta täytyy löytyä ja miksi. Tällöin portfoliosta tulee ehkä jäsentyneempi ja jämäkämpi. Portfolioon täytyy kuitenkin jättää paljon avointa tilaa myös opiskelijalle itselleen, sillä tämä palvelee usein hänen oppimistarkoituksiaan parhaiten.

Korkeakouluopiskelussa opiskelijoiden on hyvä oppia arvioimaan muiden tuotoksia ja prosessia sekä antamaan palautetta. Uudenlaisen palautekulttuurin sisäistäminen vaatii opettelua, sillä opiskelijoiden omat koulukokemukset arvioinnista ja kokeiden arvostelukäytännöistä edustavat useimmiten vanhaa kulttuuria. Vertaisarvioinnin harjoittelu antaa opiskelijalle myös tuntumaa opettajan ja ohjaajan työhön, sillä tällöin hän joutuu miettimään antamansa palautteen taustalla olevia kriteerejä, sanavalintoja ja palautteen vastaanottajan suhtautumista. Kurssilla, jolla hyödynnetään portfoliota, voi vertaispalaute olla vaikkapa yhtenä kurssin oppimistavoitteena ja osasuorituksena.

Vertaisarviointi kehittää kritiikin antamisen ja vastaanottamisen kykyä. Se soveltuu hyvin myös verkkototeutuksiin - tällöin esittämispaineet eivät rasita opiskelijoita ja mielipiteet voidaan ilmaista jopa avoimemmin kuin face to face tilanteissa. Lisäksi verkko helpottaa dokumenttien jakamista ja tutustumista myös toisille annettuihin palautteisiin.

Portfolioiden arvioinnissa kannattaa hyödyntää siis sekä opiskelijaa itseään että kurssitovereiden muodostamaa yhteisöä. Lisäksi portfoliotyötä aloitettaessa tulisi pyrkiä kartoittamaan, tekevätkö opiskelijat jo jollekin toiselle kurssille portfoliota ja voitaisiinko näitä jollakin muotoa yhdistää. Portfoliosta ei saa tulla opiskelijallekaan rasite, vaan aidosti oman kehittymisen osoittamisen väline, sekä itselle että muille.

Digitaalinen portfolio

Perinteisen paperimuotoisen portfolion rinnalla on alettu käyttää myös digitaalista portfoliota. Sanotaanhan, että yksi kuva kertoo enemmän kuin tuhat sanaa ja digitaalisissa portfolioissa on mahdollisuus käyttää painetun tekstin lisäksi myös muita ilmaisun keinoja, kuten kuvia, ääntä, animaatioita tai vaikkapa videoklippejä ja sävellyksiä. Teknologia antaa siten opiskelijalle huomattavasti enemmän mahdollisuuksia toteuttaa itseään ja tallentaa portfolioonsa haluamaansa sisältöä.

Digitaalinen portfolio ei saa kuitenkaan olla 'kaatopaikka' tai varasto, jonne säilötään kaikki mahdollinen. Opiskelijan tulee harkita, mikä on oppimisen ja edistymisen kannalta olennaista. Kun portfolio on webissä, sen sisältö on aina saatavissa. Verkkoportfolioiden tekeminen vaatii paljon tieto- ja viestintäteknisiä käyttötaitoja. Portfolio on samalla myös opiskelijan tietopankki, josta hän pystyy näkemään ja esittelemään omaa tietotaitoaan. Myös tekniseltä kannalta opiskelija pystyy toteamaan oman kehityksensä, mikäli hän on käyttänyt multimedian suomia mahdollisuuksia portfolion digitaalisessa muodossa.

Portfolion voidaan liittää myös osaksi oppimisympäristöä. Taideteollisessa korkeakoulussa opiskelijat ovat tottuneet portfolioiden tekoon osana opiskelua. Verkko-opiskelun yleistyessä TaiK:ssa on alettu puhua nimenomaan virtuaalisen portfolion mahdollisuuksista. Käytännössä opiskelijoille kertyy eri kursseilta erilaisia portfolio-työnäytteitä, mitkä tallennetaan kurssin oppimisalustaan ja mitkä opiskelija voi sitten siirtää omille kotisivuilleen tai vaikkapa cd:lle ja koota niistä itselleen virtuaalisen portfolio-kansion. Kurssityöt ovat sekä opettajan että vertaisarvioinnin kohteena oppimisympäristössä ja jatkuva arviointi tapahtuu koko ajan keskustelun ja eri kurssitöiden edetessä.

Opiskelijapalaute arvioinnin osana

Opiskelijoiden vastaaminen kurssipalautteeseen verkon kautta on heikkoa, jos asiasta ei muistuta jatkuvasti. Poikkeuksena ovat uudet, ensimmäistä kertaa luennoitavat kurssit, joiden vastausprosentti on ollut varsin hyvä. Kurssin palaute jää helposti pienen aktiivijoukon ja muutaman kiukustuneen varaan. Ellei opiskelijoilla ei ole mitään erillistä syytä purnata, harva vaivautuu kommentoimaan kurssia ja osa ehkä epäilee myös sitä, vaikuttaako annettu palaute.

Verkkokeskusteluissa todettiin, että opiskelijat ovat ujoja antamaan palautetta verkon kautta. Useinhan syyksi esitetään, että opiskelijat eivät luota palautteen nimettömyyteen ts. pelkäävät opettajan saavan selville, kuka minkin palautteen on antanut. Eräällä verkkokursseilla oli kokeiltu ylimääräisen haamuopiskelijatunnuksen, Teemu Teekkarin luomista. Tunnus oli ollut kaikkien kurssilaisten käytössä. Teemu T:n kautta oli saatu aika suuren osan vapaamuotoisesta palautteesta (jota ei kyllä kaiken kaikkiaan kovin paljon ollut). Vallitseva arviointikulttuuri saattaa siis omalta osaltaan vaikuttaa saadun palautteen määrään. Kulttuurin muuttaminen on hidasta. Miten siis saataisiin aktivoitua myös loput opiskelijat kertomaan mielipiteensä? Verkkopalautteen antamisesta on pyritty tekemään houkuttelevampaa mm. palautteesta annettavien extrapisteiden avulla. Tällöin opiskelijat vastaavat kyselyyn anonyymeina, mutta voivat halutessaan lomakkeen lähetettyään ilmoittaa vielä opiskelijanumeronsa, jolloin vastaamisesta voi antaa lisäpisteitä. Porkkanan on koettu toimivan hyvin ja suurimmalta osalta kurssilaisia on todella saatu palautetta.

Seuraavassa on koottuna kysymyksiä, jotka askarruttavat opiskelijapalautteen kerääjää ja joita tulisi pohtia jo ennen palautteen keräämistä.

• Missä vaiheessa opintojaksoa palautetta pyydetään?
• Millaisessa muodossa (paperiversio, sähköposti, www-lomake, oppimisympäristön palautelomake)?
• Mistä asioista palautetta pyydetään?
• Kuka saatua palautetta käsittelee ja miten?
• Miten palauteyhteenveto palautetaan opiskelijoille ja kollegoille?
• Kuinka luotettavasti ja kattavasti palautetta saadaan kerättyä ja miten saatua palautetietoa käsitellään ja käytetään?
• Miten palautejärjestelmä saadaan tukemaan itse palautteen antamista?
• Järjestetäänkö omalla laitoksella palautetilaisuuksia?
• Miten estetään palautejärjestelmän jämähtäminen?
• Miten palautekeskustelut junaillaan?
• Miten opiskelijoiden äänet saadaan kuuluviin?
• Otetaanko palaute tosissaan?
• Miten opiskelijat tavoitetaan ja saatetaan mukaan arviointikeskusteluun?
• Miten palauteaineiston analyysia voisi helpottaa?
• Miten verkkoa on hyödynnetään palautteenkeruussa?
• Miten suhtaudutaan ristiriitaisiin palautteisiin?
• Pitäisikö kerätä palautetta systemaattisesti standardisapluunalla vai annetaanko opiskelijalle mahdollisimman vapaat kädet palautteen antoon?
• Miten saadaan rehellistä palautetta?
• Mikä on arvioinnin tarkoitus?
• Onko opiskelija asiakas?

Esimerkkejä opiskelijapalautejärjestelmistä

Www-lomakkeiden käyttöä pidetään suhteellisen tavallisena apuvälineenä kurssipalautteiden keräämisessä. Verkkopalaute on kätevämpi kuin perinteinen paperiversio: tulokset on luettavissa nettisivulta ja systeemi piirtää vastausjakaumista jopa diagrammit strukturoiduista kysymyksistä.

TKK:n kemian tekniikalla on ollut käytössä ainakin parin vuoden ajan www-lomake palautteen antamista varten. Se on tavallinen www-pohjainen lomake, joka on linkitetty osaston opiskeluun liittyviin sivuihin. Lomakkeessa olevat kysymykset on pyritty laatimaan sen verran yleisiksi, että se sopii koko osaston kursseille. Opiskelija voi täyttää lomakkeen anonyymisti. Lähetetty lomake tipahtaa opintoneuvolan sähköpostiin, missä kootaan kurssin päätyttyä palauteyhteenveto saadusta palautteesta. Yhteenveto julkaistaan koko opetushenkilökunnalle. Kyseisen järjestelmän toimivuus on riippunut paljolti kurssista - toiset ovat saaneet järjestelmän kautta hyödyllistäkin palautetta, mutta yleisesti ottaen palautetta on tullut melko vähän. Pelkkä lomakkeen olemassaolo ei ole näyttänyt riittävän, vaan opiskelijoita on pitänyt aktiivisesti muistuttaa lomakkeen käyttämisestä.

TTKK:n kuitumateriaalitekniikan laitoksella on ollut käytössä pari vuotta verkon kautta annettava kurssipalaute. Jokaisella kurssilla on sama lomakepohja, jossa on n. kymmenen standardikysymystä sekä mahdollisuus antaa vapaamuotoista palautetta. Opettaja näkee kurssipalautteen yhteenvedon sekä vastauksien määrän suoraan verkosta.

TKK:n systeemitekniikan laboratorion kotisivuilla on yleinen kyselylomake ja jokaisen kurssin omilla kotisivuilla on palautuslomakkeet (ks. esimerkki), joihin voi vastata joko nimettömänä tai nimen kera. Kaikkien kurssin palautuslomakkeet ovat samanlaisia. Palautukset menevät sähköpostina kurssin opettajalle ja/tai assistentille, riippuen siitä, miten kurssin vetäjät ovat asian halunneet määritellä.

Yhtenä esimerkkinä opiskelijapalautejärjestelmistä on myös Oulun yliopiston sähkötekniikan osaston palautejärjestelmä.

Arviointipalautteen hyödyntämisestä

Palauteanalyysia on syytä miettiä jo lomaketta suunnitellessa. Kerättävän tiedon määrä ei välttämättä ole ratkaisevin. Viime kädessä opintojaksosta vastaava yksittäinen opettaja vaikuttaa keskeisesti siihen, mitä muutoksia palautteen pohjalta tehdään. Esimerkiksi opiskelijoilta kannattaa pyytää suoria kehittämisehdotuksia pelkän kritiikin sijaan. Oman opetuksen kehittämisestä, niin rakentavasta kuin kriittisestä palautteesta, on hyvä keskustella myös jonkun oman kollegan kanssa. Olennaista on myös tehdä itselle ja muille näkyväksi se, miten kerätty palaute on vuosien varrella vaikuttanut opintojakson kehitykseen.

Arviointisabluuna verkkomateriaalille

Yhdessä ryhmässä oli pohdittu erilaisia kriteerejä verkkomateriaalille, joka on tarkoitettu opiskelijan itsensä opiskeltavaksi. Seuraavassa on muotoiltuna alustava arviointisapluuna verkkomateriaalin arvioinnille.

Lopuksi

Verkkojaksolla käytiin paljon keskustelua 'arviointi-ameebaan' liittyvistä teemoista. Käsitteenä arviointi on hyvin laaja ja pureutuu syvälle myös erilaisiin oppimiskäsityksiin. Sitä ei voida erottaa omaksi yksilölliseksi tekijäkseen opiskelussa, vaan sen tulee olla läsnä jo kurssia suunniteltaessa. Jatkuvan arvioinnin idea tuli esille useissa keskusteluissa - niin opiskelijapalautteiden kuin opiskelijoiden arvioinninkin parissa. Arviointia ei siis enää pidetä kurssin lopuksi annettavana numeroarvosteluna, vaan arviointi on saanut osakseen myös muita ulottuvuuksia. Opiskelijoiden toteuttamaa vertais- ja itsearviointia korostettiin useissa keskusteluissa. Esimerkiksi portfolioiden arvioinnissa tämä on ensiarvoisen tärkeää - sekä opettajan työn vähentämiseksi että opiskelijoiden omien arviointikykyjen kehittämiseksi.

Palautteen antaminen verkossa puhututti useissa ryhmissä - onko palautteen antaminen helpompaa kasvokkain vai verkossa? Kummallekin suuntaukselle löytyi kannattajia, eli näin lienee siis myös opiskelijoidenkin keskuudessa. Mikäli esimerkiksi kurssipalautteet kerätään verkossa olevalla lomakkeella, koettiin opiskelijoiden aktivoinnin ja muistuttelun olevan ensiarvoisen tärkeää. Vaikka palautelomake olisi verkossa kaikkien saatavilla - ajasta ja paikasta riippumatta - ei se automaattisesti tarkoita kuitenkaan sitä, että lomaketta käytettäisiin. Arviointikulttuurissa on vielä paljon tekemistä - puolin ja toisin.

Merkittävää oli myös huomioida, että palautteenantoa ja arviointia tulisi koordinoida paremmin. Esimerkiksi itsearviointia tukevaa portfoliotyötä ei tulisi olla meneillään jokaisella kurssilla erikseen, vaan koordinoidusti ja hallitusti. Tällöin portfolion tekemisestä saisi aikaan mielekkään oman oppimisen seuraamisen prosessin. Apuna tässä voisi hyvinkin käyttää portfolion verkkoversiota, digipofoa, josta tärkeät asiat löytyisivät kootusti ja joita pääsisi katselemaan myös esimerkiksi opettaja, vertaisarvioija tai vaikkapa tuleva työnantaja.