Maanalaisia harjoituksia virtuaalisesti

Sami Salo
Anttoni Porri
Veeti Kokkonen

Underground Rescue -hankkeen (EAKR) tavoite on kehittää Pyhäsalmen kaivoksen ainutlaatuista infrastruktuuria hyödyntävä maanalainen työturvallisuuden koulutus-, harjoittelu-, kehittämis- ja innovaatioympäristö. Hankkeen kohderyhmiä ovat mm. kaivosyhtiöt sekä palo- ja pelastuslaitokset.

Virtuaalisen oppimisympäristön luominen Underground Rescue -maanalaisesta harjoitusympäristöstä kuuluu yhteen hankkeen työpaketeista. Virtuaalista oppimisympäristöä voidaan soveltaa esimerkiksi uusien työntekijöiden perehdytykseen, työturvallisen toiminnan suunnitteluun sekä poistumisturvallisuuden simulointiin.

savuharjoittelua
Kuva 1. Savuharjoittelua UR-harjoitusympäristössä.

Ympäristön mallinnus

Virtuaaliympäristön toteutuksen perustana toimi laserskannaamalla tuotettu mittatarkka pistepilviaineisto +400-tason alueista. Skannatun pistepilviaineiston ansiosta virtuaaliseen tunneliverkostoon saatiin taltioitua oikeat mittasuhteet ja yksityiskohdat kaivoksen fyysisistä kohteista. Skannaus mahdollisti kaivoksen alueisiin perehtymisen turvallisesti todenmukaisessa ympäristössä ilman kaivoksen fyysisiin tiloihin menemistä.

Centrian osuus virtuaaliympäristön toteutuksessa alkoi laserkeilatun pistepilviaineiston prosessoinnilla. Pisteaineistoa prosessoitiin ja editoitiin useassa eri vaiheessa, jotta virtuaaliympäristön visuaalisesti ilmeestä saatiin realistinen ja myös pelimoottorissa sutjakkaasti toimiva.

tunneliverkoston geometriaa
Kuva 2. +400-tason tunneliverkoston geometria.

Pintamallin valmistus

Laserskannaamalla tuotettua dataa kutsutaan pistepilveksi, joka nimensä mukaisesti koostuu tuhansista tai jopa miljoonista yksittäisistä pisteistä. Pisteiden määrään vaikuttavat skannattavan kohteen koko ja skannauksen tarkkuus. Jotta pisteaineistoa voitiin hyödyntää VR-sovelluksessa, tuli pisteiden välille luoda pintarakenne (KUVA 2). Kiinteät pinnat mahdollistivat kohteiden valaisun, värityksen ja erilaisten fyysisten ominaisuuksien säätämisen (esim. karheus ja epätasaisuus). Pistepilvien käsittelyssä hyödynnettiin CloudComparea, joka on pistepilvien käsittelyyn valmistettu ilmainen avoimen lähdekoodin ohjelmisto.

Tunneliverkosto skannattiin 19 eri osassa. Pistepilvien laatu ailahteli eri skannauksien välillä johtuen kaivoksen vaihtelevista olosuhteista, minkä vuoksi joitakin pistepilviä oli siistittävä ennen pintojen luomista. Sotkuisista pistepilvistä poistettiin hajapisteitä ja äärimmäisen tiheistä pistepilvistä suodatettiin pisteiden määrää CloudComparen editointityökaluilla, jotta prosessointi olisi nopeampaa ja lopputulos olisi siistimpi.

400-tason skannattu toimisto
Kuva 3. +400-tason skannattu toimisto (vasemmalla pistepilvi, oikealla pintamalli).

Pintamallin luonnin vaiheet:

  • Pisteaineiston siistiminen ja suodatus tarvittaessa
  • Normaalien laskeminen (määrittelee, mihin suuntaan kukin piste osoittaa, jotta pinnat saadaan muodostettua oikein päin)
  • Pintojen generointi
  • Mallien vienti halutussa tiedostomuodossa (fbx, obj, stl) tarkempaa optimointia ja editointia varten

Pistepilvistä saatiin luotua korkearesoluutioiset pintamallit CloudComparella, yhtä skannausta lukuun ottamatta. Epäonnistuneessa skannauksessa olosuhteet olivat olleet hyvin haastavat runsaan vesihöyryn takia, minkä vuoksi pistepilviaineistoon oli jäänyt hyvin paljon hajapisteitä. Huonolaatuisen pistepilven vuoksi ohjelmisto ei kyennyt muodostamaan pintoja kaivoksen rakenteiden mukaisesti. Tässä tapauksessa pistepilvi avattiin Blenderissä ja geometria mallinnettiin manuaalisesti käyttäen pistepilveä ikään kuin kolmiulotteisena pohjapiirroksena.

Geometrian optimointi ja yksityiskohtien mallinnus

VR-sovelluksen käyttökokemukseen vaikuttavia tekijöitä on useita. Mallinnuksen kannalta ongelmia voivat aiheuttaa esimerkiksi liian raskaat 3D-mallit, jolloin reaaliaikaisen grafiikan piirtoon vaadittava suorituskyky voi olla koetuksella. Tyypillisesti suorituskyvyn loppuminen ilmenee sovelluksen kuvataajuuden (FPS, Frames Per Seconds) romahtamisena, joka ilmenee kuvan nykimisenä ja voi pahimmillaan aiheuttaa käyttäjälle pahoinvointia.

Underground Rescue VR-sovelluksen kehityksessä tilannetta parannettiin suodattamalla 3D-mallien kolmioverkkorakennetta sekä optimoimalla ongelmakohtia uudelleenmallintamalla (KUVA 3). Pistepilvistä luodut pintamallit olivat rakenteeltaan hyvin tiheitä ja koostuvat lukuisista pienistä polygoneista. Kyseiset mallit olivat myös yksityiskohtien osalta monin paikoin käyttökelvottomia vääristyneen geometrian vuoksi, jonka aiheuttivat muun muassa pistepilviaineistoon jääneet katvealueet ja kaivoksessa skannaushetkellä ollut vesihöyry. 3D-mallien geometrian tiheyttä suodatettiin ja muokattiin Blenderin editointityökaluilla, jotta ne saatiin toimimaan reaaliaikaisesti pelimoottorissa.

esimerkki geometrian optimoinnista
Kuva 4.  Esimerkki geometrian optimoinnista.

Monin paikoin pistepilvestä luoduista 3D-malleista säästettiin ainoastaan tunnelin rakenne, ja kaikki muut tarvittavat objektit mallinnettiin uudestaan (KUVA 4). Tämä mahdollisti mallinnettujen objektien uudelleenkäytön kaivoksen muissa osissa (esim. valaisimet, ovet, jäteastiat, käsisammuttimet).

geometrian optimointi ja uudelleen mallinnus
Kuva 5.  Huoltopaikan geometrian optimointi ja uudelleen mallinnus.

UV-kartoitus ja teksturointi

Tunneliverkoston graafinen ilme oli hyvin valju ja epärealistinen ilman väri-informaatiota tai pinnan ominaisuuksia määrittäviä tekijöitä. Näyttävyyttä parannettiin erilaisten tekstuureiden ja materiaalien avulla, joilla voitiin vaikuttaa muun muassa pinnan karheuteen ja epätasaisuuteen.

3D-malleille tehtiin UV-kartoitus, ennen kuin tekstuurit voitiin asettaa 3D-mallin pinnalle vääristymättä. UV-kartoituksessa 3D-malliin merkattiin saumoja, joiden avulla kolmiulotteinen muoto saatiin tasoitettua tasaiseksi kaksiulotteiseksi kuvaksi, jota kutsutaan UV-mapiksi (KUVA 6).

Mallin saumakohdat ja uv map
Kuva 6. Vasemmalla 3D-malliin asetetut saumakohdat ja oikealla UV-map.

UV-kartoituksen jälkeen 3D-mallien graafista ilmettä ja realistisuutta saatiin parannettua huomattavasti oikeanlaisten tekstuureiden avulla (KUVA 6). Teksturoinnin apuna käytettiin kaivoksesta otettuja valokuvia, joiden avulla fyysisten tilojen värimaailmaa ja materiaaleja pyrittiin jäljittelemään. Erilaisten tekstuureiden ansiosta pystyttiin määrittämään, mistä materiaalista kukin objekti on valmistettu. Esimerkiksi metalliset osat heijastavat valoa eri tavoin kuin vaikkapa kivi, hiekka, jne.

Tekstuurit ja valaisu
Kuva 7. Esimerkki tekstuureiden ja valaisun merkityksestä 3D-mallin ulkonäköön.

VR-sovelluskehitys

Valmiit 3D-mallit siirrettiin pelimoottoriin VR-sovelluksen kehittämistä varten. Underground Rescue VR-sovelluksen kehittämiseen käytettiin Unity-pelimoottoria, joka mahdollistaa virtuaalilasien (VR, virtual reality) käytön ja toiminnallisuuksien lisäämisen mallinnettuun kaivosympäristöön. VR-lasien käyttäjä pääsee vapaasti liikkumaan virtuaalisella +400-tasolla ja suorittamaan rasteja, jotka vastaavat oikeita Pyhäsalmen kaivokseen rakennettuja rasteja.

Kaivosmallista on lattiat ja portaat eroteltu ja merkitty pinnoiksi, joiden päällä VR-lasien käyttäjä voi liikkua. Sovellukseen on kehitetty kaksi erilaista liikkumistapaa, teleport ja tasainen liike. Teleport-tilassa käyttäjä osoittaa VR-ohjaimella sijaintia, johon haluaa liikkua, ja näppäimen painalluksella hän siirtyy siihen välittömästi. Sijaintia osoitettaessa vihreällä ympyrällä ja punaisella rastilla ilmaistaan käyttäjälle, voiko hän siirtyä kyseiseen kohtaan. Toisella liikkumistavalla käyttäjä liikkuu tasaisella nopeudella katsomaansa suuntaan, kun ohjaimen näppäintä pidetään pohjassa, mutta varsinkin VR-laseja vähän käyttäneille tämä liike saattaa aiheuttaa huonoa oloa.

Osaan ympäristössä olevista esineistä ja objekteista on kehitetty lisätoimintoja. Näissä kaikissa on sama toimintaperiaate; objektille on aseteltu näkymätön alue, kun VR-ohjain on tämän alueen sisällä, näppäimen tai liipaisimen painallus suorittaa objektissa olevan toiminnon. Taskulampun voi esimerkiksi ottaa vyötäröltä käteen puristamalla VR-ohjaimen sivunappeja ja liipaisinta painamalla laittaa sen valo päälle ja pimeäksi. Käsisammuttimen voi poimia käteen ja siitä on aluksi irrotettava sokka, letku voidaan ottaa vapaana olevaan käteen ja sammuttimen käyttö tapahtuu pitämällä liipaisinta pohjassa. Käyttäjä ei suoraan näe objekteissa olevia alueita, joista niiden toiminnot tapahtuvat, mutta objektin reunat näkyvät vihreällä korostuksella, kun VR-ohjain on alueen sisällä ja näppäintä voidaan painaa (KUVA 8).

Toimintojen käyttöalueet ja objektin korstus
Kuva 8. Vasemmalla eri toimintojen käyttöalueita ja oikealla objektin korostus käyttäjälle.

Jokaisella rastilla on määrätyt toiminnot, jotka käyttäjän tulee suorittaa. Rasti alkaa, kun käyttäjä saapuu rastialueelle. Esimerkiksi tunnelipalorastilla käyttäjän on tehtävä hätäilmoitus puhelimella ja suoritettava palon alkusammutus, mutta paloa ei saa mennä liian lähelle sammutuksen aikana. Jokaisen rastin lopussa käyttäjän eteen ilmestyy palauteikkuna, josta voi lukea oikein tehdyt suoritukset sekä mahdolliset virheet rastilla (KUVA 9). Koska +400-taso on laaja alue, sovellukseen kehitettiin opastus, joka näyttää maahan ilmestyvillä nuolilla reitin käyttäjän sijainnista lähimmälle suorittamattomalle rastipaikalle. Käyttäjä voi tarvittaessa myös avata +400-tason kartan, josta näkee kaikkien käsisammuttimien paikat ja oman sijainnin kaivoksessa. Käsisammuttimet on sovelluksessa aseteltu samoin paikkoihin, joissa ne oikeasti sijaitsevat Pyhäsalmen kaivoksessa.

Tunnelipalon sammutus virtuaalisena mallina
Kuva 9. Vasemmalla tunnelipalon sammutus ja oikealla rastilta saatu palaute.

Jos halutaan ottaa käyttöön vain osa rasteista tai halutaan suorittaa rastit uudestaan, tämä onnistuu tietokoneen näytölle aukaistavan hallintapaneelin kautta. Paneelista on mahdollista myös valita käyttöön satunnaisia rasteja tietty lukumäärä, jolloin saadaan vaihtelua suoritettaviin rasteihin. Kaikki rastisuorituksista saadut palautteet ovat myös selattavissa näytöllä. Mikäli VR-lasien käyttäjä tarvitsee ohjausta, tietokoneen näytöltä voidaan hiirellä klikata kaivosympäristöön hetkeksi näkyviin opastenuoli, ja sillä voidaan esimerkiksi näyttää suuntaa, johon liikkua seuraavaksi, tai rastilla tarvittavaa objektia.

Oppimisympäristö on käytössä

Virtuaalisen oppimisympäristön luominen oli kokonaisuudessaan monivaiheinen ja haastava projekti, mutta kuitenkin se saatiin valmiiksi annetussa aikataulussa. Virtuaaliseen oppimisympäristöön onnistuttiin mallintamaan lähes täydellisesti laaja Underground Rescue -maanalainen harjoitusympäristö.

Virtuaalista oppimisympäristöä on jo käytetty myös tositoimissa: sen avulla on demonstroitu harjoitusympäristön toimintaa esimerkiksi hankkeen ohjausryhmälle sekä hankkeen kohderyhmille.

Artikkelin kuvat ovat Underground Rescuen VR-sovelluksesta ja sen kehitysvaiheista. Kuvat: Underground Rescue-hanke ja Centria Tutkimus ja Kehitys

Sami Salo
TKI-kehittäjä
Centria-ammattikorkeakoulu
p. 040 729 9959

Anttoni Porri
TKI-asiantuntija
Centria-ammattikorkeakoulu
p. 040 729 9935

Veeti Kokkonen
Underground Rescue -projektipäällikkö
Pyhäjärven kaupunki
p. 040 357 9416

Facebooktwitterlinkedinmail