Blogi

AI toistaa yhtä UX-tutkimusten yleistä virhettä – ja tekee sen niin vakuuttavasti, että sitä on vaikea havaita

Marttiina Arelma Design Tekoäly

Hero-blog-AI-reserach-bw AI-blog-research-mobile-bw

Tässä epämiellyttävä totuus kaikille, jotka haluavat tai yrittävät rakentaa täysin tekoälypohjaisia tutkimusprosesseja: tekoäly ei tee tutkimusta puolestasi. Se simuloi jotakin, joka näyttää analyysiltä.

Tutkimus on pohjimmiltaan merkityksen luomista (meaning-making). Se on tulkintaa siitä, mitä ihmiset sanovat, tekevät ja jättävät sanomatta sekä tämän muuttamista sellaiseen muotoon, että tiedon pohjalta voidaan toimia. Tekoäly ei pysty tällaiseen. Se käsittelee tekstiä, löytää toistuvia malleja ja esittää lopputuloksen tutkimuskielellä.

Lopputulos näyttää analyysiltä. Mutta se ei ole sitä.

Vallalla on narratiivi, jonka mukaan tekoäly voi auttaa UX-tutkimuksen analyysivaiheessa. Se pitää paikkansa siltä osin, että tekoäly voi auttaa analyysin tietyissä osissa. Ongelmaksi muodostuu, kun puhutaan siitä, että tekoäly hoitaa koko prosessin.

Tässä artikkelissa viittaan "tekoälyllä" nimenomaan suuriin kielimalleihin (LLM) perustuviin työkaluihin. Nämä ovat työkaluja, joita useimmat meistä kohtaavat nyt tutkimusprosesseissa, ja niiden vahvuudet sekä heikkoudet on syytä tuntea.

Milloin tekoälystä on hyötyä UX-tutkimuksessa

Jotta ymmärrämme, missä tekoäly auttaa ja missä ei, kannattaa tarkastella tutkimusprosessia kokonaisuutena.

res fin

Tutkimusprosessi

res ai fin

 

Tutkimusprosessi tekoälyä hyödyntäen

Tämä kokonaisuus ja tarkemmat työkalut elävät jatkuvasti käytäntöjemme ja asiakkaidemme tarpeiden mukaan. Kollegani Antti Lavio käsittelee tarkemmin työkaluja ja niiden käytännön sovelluksia webinaarissaan. Tämä kirjoitus keskittyy siihen, mitä tapahtuu tutkimuksen analyysivaiheessa ja miten se voi mennä pieleen.

Tekoälyllä voi olla rooli prosessin eri vaiheissa suunnittelusta raportointiin. Hyödyt eivät kuitenkaan jakaudu tasaisesti ja riskit keskittyvät yhteen paikkaan: analyysiin.

Analyysi ei ole yksi yhtenäinen suoritus. Se toimii kolmella eri tasolla:

analysis DAI fin

Kolmitasoinen viitekehys

  • Kuvaus (Description): Pysytään lähellä dataa. Tiivistetään se, mitä sanottiin. Pitäydytään faktoissa.
  • Analyysi (Analysis) : Etsitään säännönmukaisuuksia ja toistuvia malleja. Yhdistetään keskeisiä ajatuksia. Rakennetaan kokonaiskuva löydöksistä.
  • Tulkinta (Interpretation) : Luodaan ymmärrystä. Johdetaan merkityksiä. Käytetään omaa tietämystä ja kokemusta ihmisenä.

Tekoäly on vahva ensimmäisellä tasolla, hyödyllinen toisella, valvottuna ja epäluotettava kolmannella. Käytännön kokemus on osoittanut, että tekoäly onnistuu tiivistämisessä, mutta ei tuota tyydyttäviä tuloksia temaattisessa analyysissä tai teemojen välisissä oivalluksissa.

Tällä erottelulla on merkitystä, koska suurin osa tutkimuksen arvosta syntyy tulkinnasta, ei kuvauksesta.

Vanha ongelma voimistuu: “pseudokvantitatiivinen” tutkimus

UX-tutkimuksessa on eräs sitkeä väärinkäsitys. Kutsun tätä "pseudokvantitatiiviseksi" tutkimukseksi, ja se on monen ketterää UX:ää tavoittelevan tuotetiimin pitkäaikainen heikkous.

Kuvitellaan, että meillä on tutkimusongelma, jonka ratkaisemiseksi käytettävyystestaus on oikea menetelmä. Testausten tai jopa syvähaastattelujen pohjalta näemme usein väittämiä, kuten:

"Viisi kymmenestä sanoi X" tai "neljä kuudesta teki X".

Tämä kuulostaa vankalta numeeriselta datalta, mutta se ei ole sitä, eikä sitä sellaisena kuulu lukea. Ongelmana on, että se tulkitaan sellaiseksi. Paine ymmärtää asioita numeroiden kautta on kova, koska luotamme numeroihin. Kyseiset väittämät eivät kuitenkaan ole tilastollisesti tarkkoja, eivätkä ne valaise sitä, miksi jotain sanotaan tai tapahtuu.

Tämäntyyppinen UX-tutkimus ei ole tarkoitettu kvantitatiiviseksi, vaan kvalitatiiviseksi (laadulliseksi). Se tuottaa täysin erilaista dataa. Sen tehtävä ei ole kertoa, mitä, vaan pikemminkin miksi asiat ovat niin kuin ne ovat – ja tämä data on elinehto todella erinomaisten tuotteiden ja palveluiden suunnittelulle. 

Saamme hyvin erilaisia lopputuloksia, jos ratkaisut perustuvat puhtaasti numeerisesti ja tilastollisesti päteviin löydöksiin, ja saamme harhaanjohtavia tuloksia, jos käytämme "miksi"-dataa vastaamaan kysymyksiin "mitä" ja "kuinka monta".

Lyhyesti: laadullista dataa ei pitäisi yrittää kvantifioida, vaikka se olisi kieli, jota sidosryhmät kuuntelevat. Se antaa väärän viestin laadullisesta tutkimuksesta ja luo perusteetonta luottamusta.

Tekoäly tekee tästä erityisen petollista, koska se toistaa saman virheen paljon vakuuttavammin kuin ihminen koskaan tekisi.

Miten tekoäly voimistaa laadullisen analyysin virheitä

Tekoälyavusteinen analyysi tuottaa huonompaa jälkeä kuin aiemmat menetelmät, jos ihminen ei kontrolloi sitä kunnolla. Tämä näkyy kahdella tavalla.

Ensinnäkin tekoäly automatisoi pseudokvantitatiivisen tulkinnan. Kun tekoäly selaa 20 haastattelulitterointia ja sanoo "65 % osallistujista mainitsi X:n", se kuulostaa analyysiltä. Mutta se on puhtaasti sanojen esiintymistiheyden laskemista. Se ei tunnista eroa sen välillä, mainitseeko joku asian ohimennen vai sanooko hän jotain, joka on keskeistä hänen kokemukselleen. Vielä pahempaa on, ettei se kerro tekevänsä niin. Tekoäly antaa merkityksiä pseudokvantitatiivisella logiikalla kertomatta sitä lukijalle.

Tässä tarvitaan edelleen inhimillistä harkintaa. Miten teet omat muistiinpanosi, kuinka tarkkoja jatkokysymyksesi ovat ja miten havainnoit sanomatonta – eleitä, taukoja, epäröintiä. Nämä ovat tutkijan ammattitaitoa, ja niillä on väliä.

Toiseksi tekoäly perii uskottavuutta molemmista tutkimusperinteistä samanaikaisesti. Se lainaa kvantitatiivisen tutkimuksen muodon: prosentit, luokittelut, yhteenvedot, ja käyttää samalla laadullisen tutkimuksen kieltä, kuten teemoja oivalluksia ja tarinoita. Tuotos vaikuttaa sekä mitattavalta että syvälliseltä. Todellisuudessa se ei ole kumpaakaan.

Ongelma ei ole tekoälyn käytössä itsestään. Ongelmallista on se, että tekoäly tekee ihmisen suorittaman tulkintavaiheen ohittamisesta helppoa. Perinteisessä tutkimuksessa pseudokvantitatiiviset tulokset ovat usein seurausta siitä, että joku muu kuin tutkija (tai paineen alla oleva tutkija) viestii johdolle, joka haluaa vastauksia tulkintojen sijaan. Kokenut tutkija on tietoinen tästä jännitteestä. Tekoäly poistaa tämän kitkan kokonaan: se tuottaa tiivistettyä, numeroitua ja siististi kategorisoitua tekstiä ilman, että kenenkään on tarvinnut tehdä tulkinnallista päätöstä.

Juuri tuossa tulkinnan kohdassa oivallukset syntyvät. Tekoäly tekee sen ylihyppäämisestä helppoa.

Kriittinen tekoälylukutaito muotoilussa ja UX-tutkimuksessa

Kriittisiä ovat,  ja ovat aina olleet,  lukutaito käyttämiämme työkaluja kohtaan sekä epistemologinen ymmärrys siitä, miten tutkimusta tehdään.

Analysis DAI AI fin

Tutkimus vahvistaa (Academic Medicine, 2025): Laajan testauksen jälkeen tekoäly onnistui tiivistämisessä, mutta ei tuottanut tyydyttäviä tuloksia temaattisessa analyysissä tai teemojen välisten oivallusten löytämisessä. Kyse ei ole promptauksesta. Kyse on rakenteellisesta ongelmasta.

Tekoäly sopii suurten aineistojen nopeaan tiivistämiseen, hakemiseen ja organisointiin. Nämä ovat todellisia hyötyjä. Pienellä varauksella: tekoäly ei varsinaisesti "hae" asioita – se generoi tekstiä, joka on tilastollisesti todennäköisesti oikein. Joskus se ei ole.

Tekoälyä tulisi käyttää analyysissä varauksella. Ohjaat tekoälyä prompteilla. Tekoäly poimii ja järjestelee asioita. Varsinaisen analyyttisen työn teet kuitenkin sinä – päätät, millä on merkitystä, miten asiat liittyvät toisiinsa ja mitä ne tarkoittavat kontekstissaan. Tekoäly voi näyttää tekevän analyysia, vaikka se todellisuudessa tekee pitkälle kehitettyä kuvausta. Se tuottaa johdonmukaista ja uskottavalta kuulostavaa tekstiä – mutta merkityksen on tultava sinulta.

Mikä johtaa viimeiseen kohtaan:

Tekoäly ei sovi tulkintaan, merkitysten luomiseen tai johtopäätösten vetämiseen. Tässä vaiheessa sinä luot ymmärryksen. Se nojaa kaikkeen siihen tietämykseen, kokemukseen ja harkintakykyyn, jonka olet kartuttanut. Tekoäly ei pysty jäljittelemään tätä. Kyseessä ei ole kuilu, jonka paremmat mallit kuroisivat umpeen. Kyse on erilaisesta toiminnasta.

Kriittinen tekoälylukutaito muotoilussa tarkoittaa näiden rajojen ymmärtämistä. Erityisesti:

  • Ymmärrys siitä, mitä tekoäly todella tekee datalle – hahmontunnistus vs. tulkinta.
  • Kyky arvioida, missä tekoäly tuo aitoa arvoa vs. missä se luo katteetonta luottamusta.
  • Sen muistaminen, että vastuu on edelleen ihmisellä, ei tekoälyllä.
  • Organisaatiotasolla: tiimien auttaminen rakentamaan omaa harkintakykyään näissä prosesseissa.

Pelkkä lukutaito ei kuitenkaan riitä ilman vahvaa pohjaa. Tiimit ottavat käyttöön tekoälytyökaluja ymmärtämättä ensin, mitä laadullinen analyysi todellisuudessa on. Ne tuottavat siistin näköisiä tuloksia tietämättä, ovatko ne aitoa analyysia – vai vain hienostunutta kuvausta. Nämä analyyttiset taidot rapautuvat myös tutkijoilla, jos niitä ei harjoiteta säännöllisesti. Analyyttisen osaamisen katoaminen (de-skilling) onkin nimetty riskiksi hallusinaatioiden ja tietosuojan rinnalle.

On myös syytä miettiä, mitä jää huomaamatta, jos tutkimuspanos jää yksilön tasolle (käyttivätpä he tekoälyä tai eivät, mutta tekoäly kasvattaa tätä kuilua entisestään). Parhaimmillaan tutkimusprosessi tuo kehitystiimit lähemmäksi ihmisten todellisia ongelmia, joita ne yrittävät ratkaista. Tekoälyyn luottaminen tarkoittaa paitsi oivallusten menettämistä, myös yhteisen ymmärryksen rakentamisen ja linjauksen (alignment) menetystä – sen, joka mahdollistaa parempien tuotteiden rakentamisen skaalautuvasti.

Ohjeistus, projektin konteksti ja analyysiviitekehykset ovat avainasemassa tekoälytyökalujen käytössä UX-tutkimuksessa. Valitsemasi työkalut ovat sinun päätettävissäsi, kunhan ne vastaavat tarpeitasi ja kykenet ohjaamaan niitä.

Tekoälytyökalut eivät todellisuudessa analysoi tutkimusta puolestasi. Ne voivat kuitenkin auttaa analyysiprosessissa tiivistämällä ja kategorisoimalla aineistoa. Tekoäly UX-tutkimuksessa on vain ja ainoastaan niin taitava kuin annat sille mahdollisuuden olla.

 

Artikkelissa hyödynnetty kirjallisuus:

Cook, D. A. et al. (2025). AI to support qualitative data analysis: Promises, approaches, pitfalls. Academic Medicine, 100(10), 1134–1149.

Kuniavsky, M. (2026). Design practice assumes a world that no longer exists. Medium.

Ladner, S. (2025). On AI in qualitative analysis. LinkedIn.

Wolcott, H. F. (1994). Transforming Qualitative Data: Description, Analysis, and Interpretation. Sage.

Woolf, N. H. (2024). How can Gen-AI assist with interpretive QDA? CAQDAS Networking Project.

 


Fraktiolla design-tiimimme yhdistää UX-tutkimuksen, palvelumuotoilun ja tekoälyavusteiset työtavat ja kyvyn tunnistaa, missä raja kulkee. Jos haluat selvittää, miten tekoäly sopii osaksi tutkimuskäytäntöjäsi tai tarvitset kokeneen suunnittelijatiimin avuksi, laita meille viestiä.