Miksi tiedonhakuun kuluu niin paljon työaikaa

Yhdellä yrityksellä voi olla miljoonia videoita, esityksiä, dokumentteja ja muita tiedostoja monissa eri lähteissä. Miten etsitty tieto mahtaa löytyä moisesta datamassasta?

Entäpä sitten datan strukturointi ja luokittelu? Jos yrityksellä on kymmenen tuhatta tuntia videota, ei ole erityisen todennäköistä, että tuollainen sisältömäärä käytäisiin huolellisesti läpi ja lajiteltaisiin ihmisvoimin. Videoista voidaan tehdä hakuja vain niiden nimien ja lyhyiden kuvausten perusteella. Hakukoneet eivät pääse käsiksi itse videosisältöihin ja informaatio pysyy piilossa.

McKinseyn raportin mukaan työntekijät käyttävät päivittäin 1,8 tuntia tiedon etsimiseen ja keräämiseen. Se tekee keskimäärin 9,3 tuntia viikossa!

Yritysten nykyiset hakuratkaisut eivät ole erityisen tehokkaita. Ne haaskaavat tuntikaupalla käyttäjien arvokasta aikaa.

Pystymmekö hyödyntämään kaikkea saatavilla olevaa tietoa?

^{Kuvio 1. Lähde: Buckminster Fuller ja tohtori Michael Richey, Boeing, 2015}

Kun datamäärä jatkaa kasvamistaan ja moninkertaistuu, ihmisen on mahdotonta lukea ja luokitella kaikkea. Tarvitsemme tehokkaampia tapoja tietoihin pääsemiseen ja niiden strukturointiin. Onneksi tekoäly (AI, artificial intelligence) on keksitty. Se nimittäin auttaa käsittelemään suuria datamääriä ja sallii pääsyn tietoihin, jotka jäisivät muuten pimentoon.

Gartner esittää vuoden 2018 ”Improve Search to Deliver Insight” -analyysissaan, että ”Suorituskykynsä huipulla hakukoneet tuovat esiin oleellista sisältöä milloin, missä ja miten työntekijät sitä tarvitsevat. Tähän vaadittavan vaivannäön minimoiminen maksimoi sen yritykselle tuoman arvon.”

Me Valamiksella kehitimme oppimisympäristöömme tekoälyratkaisun, joka sallii aiempaa paremman pääsyn tietoon. Se on tietovarantojen tehokas hakuratkaisu yrityksille. Mukana on myös suosittelumoottori sekä analyysityökaluja, joiden avulla yrityksen sisällöistä saadaan kaikki irti.

Nimesimme ratkaisumme älykkääksi tiedonhallinnaksi (Intelligent Knowledge Discovery, IKD). Tässä bloggauksessa esittelemme ratkaisun hyötyjä, sen taustalta hyrräävän teknologian – ja miten asiakkaamme sitä käyttävät.

Älykäs tiedonhallinta vapauttaa tietämyksen

Yhdistimme useita IBM Watson -sovelluksia IKD-ratkaisussamme luodaksemme kattavan ja täsmällisen tiedonhallintajärjestelmän.

Älykäs tiedonhallinta on ratkaisu, joka auttaa pääsemään helposti kaikkiin organisaation tietoihin, ja pystyy kaivautumaan myös ulkoisiin tietolähteisiin.

Tekoälypohjainen ratkaisumme hyödyntää luonnollisen kielen käsittelyä (NLP, natural language processing), visuaalista tunnistamista ja koneoppimista, kun se käy läpi ja analysoi kaikkia yrityksen sisältöjä. Ratkaisu yhdistää luonnollisen kielen ja visuaaliset elementit muotoon, jota kone voi ymmärtää, tulkita, käsitellä, analysoida ja sen perusteella muokata.

IKD tunnistaa eri hetkiä videoista, luokittelee sisällöt ja järjestelee ne aiheen tai käsitteen mukaisesti. Se lukee kaikki dokumenttisi ja katsoo kaikki videosi, että sinun ei tarvitsisi. Ja kun seuraavan kerran etsit jotain, se osoittaa videosta tarkalleen sen kohdan, josta etsimäsi tieto löytyy.

Jos yritykselläsi on vaikkapa 1 000 tuntia videota, kaikkien tarkkaan katseleminen, järjestely ja luokittelu veisi yhdeltä työntekijältä arviomme mukaan 2 000 tuntia.

Watson pystyy samaan vajaassa kymmenessä tunnissa.

Ja ehkäpä haluaisit myöhemmin muuttaa lajitteluperusteita, merkitä kohtia aiempaakin tarkemmin tai etsiä kahden eri teeman yhteyksiä kaikkialta videomateriaaleistasi. Ihmiseltä menisi tähän työhön mahdollisesti toiset 2 000 tuntia.

IBM Watson -teknologia suoriutuisi siitä edelleen alle kymmenessä tunnissa. Watsonia voi opettaa tarkemmaksi sisällön käsittelyssä, että kaikkein arvokkain tieto löytyisi. Se kykenee siihen murto-osassa siitä ajasta, joka ihmisellä samaan työhön kuluisi.

^{Kuvio 2.}

Älykäs tiedonhallinta ei ole pelkkä hakutyökalu. Se kykenee älykkäisiin suosituksiin. IKD pystyy tunnistamaan trendejä, samankaltaisuuksia ja yhteyksiä eri videoiden ja tekstinosien sekä muun sisällön välillä. Se pystyy vertaamaan yhteyksiä asioiden välillä, joita oppijat parhaillaan työstävät. Sisällöt ovat siten tarkasti kohdistettavissa oppijoiden yksilöllisiin tarpeisiin ja oleellisia heidän kannaltaan.

Kognitiivinen haku ymmärtää, mitä dokumenttisi ja tiedostosi käsittelevät

Tässä osuudessa sukellamme syvemmälle Watsonin ja älykkään tiedonhallinnan taustalla hyrräävään teknologiaan. Kognitiivinen haku ja tekoälyratkaisut ovat tärkeässä roolissa, kun älykäs tiedonhallinta käsittelee luonnollista kieltä.

Kognitiivinen haku hyödyntää luonnollisen kielen käsittelyä (NLP) ja koneoppimista eri tietokannoista tulevan datan löytämiseen, käsittelyyn, ymmärtämiseen, strukturointiin ja uudistamiseen. Luonnollisen kielen käsittely viittaa tietokoneiden kykyyn ymmärtää ihmisiä ja viestiä luonnollista kieltämme käyttäen.

Emme aina edes huomaa, missä kaikkialla luonnollisen kielen käsittelyä hyödynnetään jokapäiväisessä arjessamme. Kuvittele itsesi lähettämässä viestiä puhelimellasi tai kirjoittamassa dokumenttia tietokoneella. Kun teet kirjoitusvirheen, kone tunnistaa sen ja ehdottaa korjausta juuri luonnollisen kielen käsittelyn avulla.

Älykkäässä tiedonhallinnassa prosessi voisi mennä jokseenkin näin:

Olet pitämässä esitystä puolen tunnin kuluttua ja sinua hermostuttaa. Haluat selvittää nopeasti, miten voisit lievittää esiintymisjännitystäsi. Muistat, että yrityksesi oppimisalustalla on muutama oppitunti julkisesta esiintymisestä, mutta haluaisit nyt vain nopeasti muutaman “henkiinjäämisvinkin”.

Aiemmin sinun olisi pitänyt etsiä oikeaa kurssia, dokumenttia tai videota avainsanoilla.

Koska sinulla on nyt kognitiivinen haku käytössäsi, pystyt käymään tietokannan läpi paljon nopeammin. Luonnollisen kielen käsittely on jo analysoinut sekä teksti- että videomateriaalin puolestasi. Se löytää vastauksen ja osoittaa sinut juuri oikeaan kohtaan videossa. Tarjolle voi tulla vaikkapa kolme parasta vinkkiä ja viiden minuutin harjoitus. Sinulle jää vielä hyvin aikaa valmistautumiseen.

Tämä on mahdollista, koska luonnollisen kielen käsittelyn ja koneoppivan kognitiivisen haun yhdistelmä voi:

1. Ymmärtää minkämuotoista dataa tahansa, jota olet siihen linkittänyt.
2. Käsitellä big dataa.
3. Olla osa oppimisalustaasi niin, että kuka tahansa voi käyttää sitä.

Luonnollisen kielen käsittely pähkinänkuoressa

NLP:ssä on kyse työkaluista, tekniikoista ja algoritmeista, joiden avulla tietokone voi lukea ja kirjoittaa luonnollisella kielellämme. Käytännön esimerkit siihen liittyvistä ongelmista auttavat ymmärtämään sen toimintaperiaatetta. Luonnollisen kielen käsittely voidaan jakaa kolmeen osaan:

1. Informaation muuntaminen luonnolliselle kielelle
2. Luonnollisen kielen ymmärtäminen
3. Luonnollisen kielen tuottaminen

^{Kuvio 3.}

Nämä kolme ydinkohtaa voidaan jakaa luonnollisen kielen käsittelyn työnkuluksi, johon kuuluu useita peräkkäisiä vaiheita.

Informaation muuntaminen luonnolliselle kielelle

Ensimmäisessä vaiheessa kerätään dataa, joka on luonnollisen kielen muodossa: videoita, kuvia ja puhetta. Ne muunnetaan tekstimuotoon.

Tässä vaiheessa konfiguroidaan puheentunnistuksen ja optisen tekstintunnistuksen työkaluja, jotka ovat kehittyneet huimasti viime vuosina.

Vieläkin kehittyneemmät työkalut ovat ajoittain tarpeen. Esimerkiksi videolla esiintyvän puhujan tunnistamiseen tarvitaan erillinen työkalu.

Luonnollisen kielen ymmärtäminen mahdollistaa kontekstualisoinnin

Kun data on tekstimuodossa, tarvitsemme luonnollisen kielen ymmärtämistä (NLU, natural language understanding). Se on onnistuneen NLP:n ehdoton edellytys. NLU muuntaa tekstiä strukturoituun muotoon, jota koneet voivat ymmärtää ja toimia sen mukaisesti.

Tekstin ymmärtäminen on ihmisille helppoa mutta koneille se on vaikeaa. Jo englannin kieli on niille haasteellista, puhumattakaan harvinaisemmista mutta monimutkaisemmista kielistä kuten suomi tai ruotsi.

NLU:n oppiminen ei ole koneelle niin yksinkertaista kuin sanaston ymmärtäminen tai avainsanojen esiintymistiheyden laskeminen. Siihen kuuluu useita vaiheita, joissa teksti hajotetaan pienempiin kokonaisuuksiin ja opetetaan koneelle.

Esikäsittelyvaiheessa tekstiä siistitään ja muotoillaan. Erilaiset erityispiirteet on otettava huomioon: väärin ääntäminen, sanonnat, lyhenteet ja yhdyssanat. Sen avulla kone voi esimerkiksi ymmärtää työntekijöidesi antamat kommentit ja palautteet kurssista. Samalla ne tulevat hakutoiminnon ulottuville uutena vertaistietona, jota oppimateriaaleissa ei alun perin ollut.

Esikäsittelyä seuraava askel luonnollisen kielen ymmärtämisessä on rakenneanalyysi. Kaikissa luonnollisissa kielissä on yleinen rakenne ja syntaksi, joiden mukaan sanat muodostavat ilmauksia, lauseita ja virkkeitä. Rakenneanalyysi etenee yleensä niin, että teksti pilkotaan virkkeiksi ja niistä erillisiksi sanoiksi. Nämä sanat luokitellaan sitten sanaluokkiin, ja virkkeen kieliopillinen rakenne analysoidaan jäsennysalgoritmeilla. Koneen ymmärryksen kehittäminen rakenteesta ja kieliopista niin, että se pystyy esimerkiksi erottamaan verbit ja substantiiveista, on hyödyllistä NLP:n monissa vaiheissa, kuten tekstin luokittelussa koneoppimisen avulla.

Viimeisessä vaiheessa NLU saa kyvyn ymmärtää merkityksiä ja asiayhteyksiä semanttisen analyysin avulla. Semanttista analyysia käytetään yleisimmin automaattiseen avainsanojen tunnistamiseen (merkitseminen) ja tekstin ilmaiseman emootion ymmärtämiseen (tunneanalyysi). Entistä kehittyneempi semanttinen analyysi on kuitenkin jatkuvasti muuttuva alue, joka tähtää kyvykkyyteen ymmärtää sekä henkilöä että sisältöä. Tässä esimerkki:

Haet sisältöä hakusanalla ”Tiger”. Saat hakutulokset

• Eläin
• Kiinalainen horoskooppimerkki
• Elokuva
• Olut
• Panssarivaunu
• Applen käyttöjärjestelmä

Kehittyneempi semanttinen analyysi pystyy esittämään hakutuloksissa asiayhteyden, josta olet kiinnostunut. Näin käyttökokemus on entistä jouhevampi.

Koneoppiminen paljastaa piilorakenteet

Luonnollisen kielen ymmärtämisen viimeinen vaihe on koneoppiminen. NLP-kehittäjät voivat opettaa malleja joko ohjatun tai ohjaamattoman oppimisen avulla. Ohjattu oppiminen tarkoittaa tekstin luokittelua, mikä vaatii paljon nimiöityä dataa. Ohjaamaton oppiminen tai klusterointi on koneoppimisen sovellusala, jota voidaan käyttää tunnistamaan piileviä rakenteita, aiheita tai samankaltaisia asiakirjoja. Koneoppimisessa keskitytään pikemminkin luokittelun ongelmiin kuin merkityksen ymmärtämiseen. Koneoppiminen on nopeaa, ja se ei välitä luonnollisen kielen monimutkaisuuksista, kunhan harjoitteludataa vain on tarpeeksi. Koneoppiminen soveltuu mainiosti tiettyjen rajattujen tehtävien oppimiseen, kuten tekstin yleisen sävyn tunnistamiseen.

Rakenne- ja semanttinen analyysi vievät käytännössä paljon aikaa. On vaikeata ylläpitää kantaa oleellisista hahmoista (pattern), koska luonnollinen kieli kehittyy jatkuvasti. Tarvitaan sekä perinteisiä NLP-komponentteja sekä koneoppimista. Älykkäässä tiedonhallinnassa olemmekin yhdistäneet NLP:n ja koneoppimisen. Kaikki nämä tekniikat ja vaiheet muodostavat joukon sovelluksia, jotka voidaan integroida kognitiiviseen hakuun, liiketoimintaprosesseihin ja chatbottiin. Tämä kaikki voidaan sisällyttää Valamiksen IKD-ratkaisuun. NLP mahdollistaa perinteisesti perustason analyysin ja kontekstualisoinnin. Koneoppimisen mallit käyttävät tämän perustason tuotoksia ja tarjoavat korkeamman tason analyysia rakenteiden, aiheiden ja tarkoitusten tunnistamiseen.

Kuinka pitää kiinni tiedosta suuressa organisaatiossa – käytännön esimerkki

Asiakkaamme, suuri yhdysvaltalaisorganisaatio, joutuu ongelmiin, kun sen pitkäaikaiset työntekijät jäävät eläkkeelle. Valtaisat määrät arvokasta tietoa ovat vaarassa kadota, kun ihmiset lähtevät organisaatiosta pois. Organisaatio päätti ottaa IKD:n käyttöön säilyttääkseen näistä tiedoista mahdollisimman suuren osan.

Organisaatio päätti tallentaa työntekijöidensä puheet videolle pelastaakseen heidän tietonsa. Tuntikaupalla videomateriaalia – dokumenttien ja presentaatioiden ohella – kerättiin kymmenien vuosien ajalta. Näin saatiin kokoon massiivinen määrä arvokasta tietämystä.

IKD-ratkaisu strukturoi tiedot, että tähän tietämykseen päästäisiin käsiksi. Kognitiivinen haku auttaa käyttäjiä löytämään juuri etsimänsä tiedon.

Miten Jack tallentaa tietonsa?

Jack on organisaation pitkäaikainen työntekijä, joka on jäämässä eläkkeelle. Hänellä on paljon hiljaista tietoa, jota ei ole koskaan kirjoitettu muistiin.

Koska Jackilla ei ole aikaa järjestää ja suunnitella puheita ja esityksiä, hän päätti jakaa tietonsa vastaamalla nuorempien työntekijöiden kysymyksiin. Nuoremmat työntekijät valitsevat ja äänestävät parhaat kysymykset ja toimittaa ne Jackille. Joka viikko Jack pitää webinaarin, jossa vastaa kysymyksiin ja keskustelee valituista aiheista.

Webinaarin jälkeen älykäs tiedonhallinta käsittelee videon, vertaa sitä muihin sisältöihin ja määrittelee sen aiheen sekä sitä kuvaavat tiedot. Sitten IKD indeksoi sen ja tuo sen saataville, koko organisaation hakujen piiriin. Jackin tietämys on nyt turvassa ja organisaation tulevien työntekijöiden helposti saavutettavissa.

Federoitu haku tuo vieläkin enemmän tietoa tarjolle

Älykäs tiedonhallinta voi päästä tietoihin käsiksi myös integraatioiden avulla. IKD pystyy hyödyntämään OpenSesamen, LinkedinLearningin ja edX:n kaltaisten ulkoisten lähteiden hakukoneindeksejä. Se pääsee käsiksi myös oppimisalustan ulkopuolisiin sisäisiin dokumentteihin, joita tarjoavat esimerkiksi Google Drive, OneDrive, DropBox ja Slack.

Käyttäjän näkökulmasta älykäs tiedonhallinta yhdistää useiden hakukoneiden voiman yhteen hakuun. Tämä säästää L&D-yksikön aikaa, kun kaikkea materiaalia ei tarvitse tuottaa omin voimin tai lisätä yrityksen oppimisalustalle. Vaikka kaikki oppimateriaali ei löytyisikään oppimisalustasta itsestään, xAPI mahdollistaa sen, että työntekijän oppimissuoritusta seurataan. Yrityksellä on siis käytössään laaja-alainen oppimis-ekosysteemi pelkän kurssialustan sijaan.

Enemmän kuin yrityshaku

Kun älykäs tiedonhallinta on käsitellyt kaikki sisältösi koneoppimisen avulla, se pystyy analysoimaan, mitä oppijat etsivät, ja mitkä konseptit vaikuttavat kiinnostavimmilta.

IKD voi auttaa huomaamaan, jos oppimateriaaleista puuttuu jotain. Sen avulla voit käynnistää prosessin uusien, entistä oleellisempien oppimateriaalien luomiseksi. Ne tukevat yrityksesi työntekijöitä heidän päivittäisissä toimissaan. Joissain tapauksissa voit jopa havaita projektissasi hiljalleen muhivan kriisin.

Kun IKD auttaa huomaamaan puutteet ja oppimistarpeet välittömästi, kun ne syntyvät, pystyt toimimaan aiempaa proaktiivisemmin ja säästämään samalla kustannuksissa.

Älykästä tiedonhallintaa voi käyttää myös tunnistamaan asiantuntijoita organisaatiostasi entistä paremmin. Silloin oikeiden ihmisten sijoittaminen oikeisiin tiimeihin on helpompaa. Kun tiedät, kuka hakee järjestelmässä mitäkin, ja kuka oppii mitäkin, pystyt löytämään eri aiheiden asiantuntijoita ja osoittamaan työtehtäviä aiempaa tarkemmin. Näin voit myös havaita työntekijöissäsi piilevän potentiaalin entistä paremmin.

Parempaa tietämyksenhallintaa

“LXP:tä voidaan käyttää älykkään sisällönsuosittelun lisäksi suosittelemaan kolmannen osapuolen artikkeleita, löytämään oikeat asiantuntijat, ja mahdollisesti indeksoimaan dokumenttejä, videoita, ja muita digitaalisia materiaaleja. Tavallaan ne ovat systeemejä, joissa yhdistyvät sisällön, tiedon ja oppimisen hallinta. Ja tämän takia LXP-markkina kasvaa niin vauhdikkaasti.”
– Josh Bersin, analyytikko, Learning Experience Platform (LXP) Market Grows Up: Now Too Big To Ignore

Osaamisen kehittämisen alaa analysoivan Josh Bersinin mukaan tarve älykkäämmille oppimisalulstoille on todellinen. Älykäs tiedonhallinta osana organisaation oppimista jatkaa kehittymistään yhdessä oppimisympäristömme kansssa. Teknologiaa on helppo käyttää ja hyödyntää, mikä puolestaan mahdollistaa tehokkaamman tietämyksenhallinnan organisaatioissa.

Oppimisen näkökulmasta IKD rikastuttaa sekä sisältöä että oppijoista kerättyä dataa. Saatavilla oleva data ja tieto moninkertaistuu, kun kone voi arvioida ja lajitella sitä.

Tiedon kuluttamisesta saatavilla oleva data moninkertaistuu niin ikään, mikä mahdollistaa sisältöanalyysin jatkokehittämisen. Työn ja oppimisen välinen suhde voidaan selvittää entistä tarkemmin, kun henkilökohtaisesta oppimisesta tulee entistä erikoistuneempaa.

Laadullinen palaute hauista auttaa näkemään myös otsikonasettelua – puhutaan myös klikkiotsikoinnista – pidemmälle. Oppijoita ei siis automaattisesti ohjata videoon tai artikkeliin, joita on klikkailtu eniten, vaan sisällöltään sopivimpiin sellaisiin.

Perinteiset hakukoneet kysyvät tänä päivänä käyttäjiltään, oliko saatu hakutulos hyödyllinen. Tulevaisuudessa yrityksillä on käytössään työkalu, joka löytää vastauksen tähän kysymykseen itse yhdistämällä hakutyökaluun oppimisen analytiikkaa, seuraamalla oppijan toimintaa. Klikkasiko käyttäjä yhtään hakutulosta? Miten paljon aikaa hän käytti materiaalien opiskeluun? Muuttiko sisältö tai oppimistapahtuma työntekijän käyttäytymistä jollakin tapaa?

Tällainen järjestelmä voi oppimisdatan perusteella analysoida hakutulosten ja sisällön laatua. Se kykenee päättelyn avulla huomaamaan, jos oppija ei löydäkään etsimäänsä, ja tämän perusteella se voi muuttaa tulevia hakutuloksia.

Kun teknologia kehittyy, ihmisaivot voivat – ja tulevat – yhdistymään tietokoneiden ja tekoälyn kanssa. Kehitys on jo alkanut. Tai vertaistieto voisi siirtyä suoraan aivoista aivoihin, koneen pienellä avustuksella.

Emme ehkä ihan vielä elä Matrixissa. Mutta voi olla, että tulevaisuudessa työelämässä tarvittava tieto upotetaan mieliimme, ennen kuin itse edes ehdimme harkita sen etsimistä.