Varmuusharha on yleinen tutkimushaaste, joka ilmenee, kun kerätty tieto ei edusta tarkasti koko tilannetta. Tietojen luotettavuuden parantaminen ja tarkkojen tutkimustulosten varmistaminen edellyttää, että tiedonkeruuvirheitä ymmärretään. Vaikka joskus se osoittautuu hyödylliseksi, se ei ole aina.
Varmuusharhaa esiintyy, kun kerätyt tiedot eivät kuvaa koko tilannetta, koska tietyntyyppisiä tietoja kerätään todennäköisemmin kuin muita. Tämä voi vääristää tuloksia ja antaa vääristyneen käsityksen siitä, mitä todella tapahtuu.
Tämä saattaa kuulostaa hämmentävältä, mutta harhapainon ymmärtäminen auttaa sinua suhtautumaan kriittisemmin tietoihin, joiden kanssa työskentelet, mikä tekee tuloksistasi luotettavampia. Tässä artikkelissa perehdytään syvällisesti tähän harhaan ja selitetään kaikki siihen liittyvät seikat. Aloitetaan siis viipymättä!
Ascertainment Biasin ymmärtäminen tutkimuksessa
Varmuusharhaa syntyy, kun tiedonkeruumenetelmissä asetetaan tietyt tiedot etusijalle, mikä johtaa vinoutuneisiin ja epätäydellisiin johtopäätöksiin. Kun tunnistat, miten tiedonhankinnan harha vaikuttaa tutkimukseesi, voit ryhtyä toimiin sen vaikutuksen minimoimiseksi ja havaintojesi pätevyyden parantamiseksi. Näin tapahtuu, kun jotkin tiedot kerätään todennäköisemmin, kun taas toiset tärkeät tiedot jätetään keräämättä.
Tämän seurauksena saatat päätyä tekemään johtopäätöksiä, jotka eivät vastaa todellisuutta. Tämän harhan ymmärtäminen on tärkeää, jotta voit varmistaa, että havaintosi tai havaintosi ovat tarkkoja ja luotettavia.
Yksinkertaisesti sanottuna toteamisharha tarkoittaa sitä, että tarkastelemasi tiedot eivät anna sinulle koko tarinaa. Kuvittele, että tutkit silmälaseja käyttävien ihmisten määrää tekemällä kyselytutkimuksen optikon vastaanotolla.
Siellä on todennäköisempää kohdata ihmisiä, jotka tarvitsevat näönkorjausta, joten tietosi olisivat vääristyneet, koska et ota huomioon ihmisiä, jotka eivät käy optikolla. Tämä on esimerkki havaintovirheestä.
Tätä ennakkoluuloa voi esiintyä monilla aloilla, kuten terveydenhuollossa, tutkimuksessa ja jopa jokapäiväisessä päätöksenteossa. Jos keskityt vain tietyntyyppisiin tietoihin tai tietoihin, saatat jättää huomiotta muita keskeisiä tekijöitä.
Esimerkiksi sairautta koskeva tutkimus voi olla puolueellinen, jos sairaaloissa tarkkaillaan vain vakavimpia tapauksia ja jätetään huomiotta lievemmät tapaukset, jotka jäävät havaitsematta. Tämän seurauksena tauti saattaa vaikuttaa vakavammalta tai laajemmalle levinneeltä kuin se todellisuudessa on.
Yleiset syyt varmuusharhapäätöksiin
Syyt tiedonkeruuvirheisiin vaihtelevat valikoivasta otannasta raportointivirheisiin, ja jokainen niistä vääristää tietoja omalla tavallaan. Seuraavassa on lueteltu joitakin yleisiä syitä, joiden vuoksi tätä harhaa esiintyy:
Valikoiva näytteenotto
Kun valitset tutkittavaksi vain tietyn ihmisryhmän tai aineiston, vaarana on, että jätät ulkopuolelle muita tärkeitä tietoja. Jos esimerkiksi kyselyyn otetaan mukaan vain tietyn tuotteen käyttäjiä, se ei edusta muiden kuin käyttäjien mielipiteitä. Tämä johtaa puolueellisiin johtopäätöksiin, koska muut kuin käyttäjät jäävät tiedonkeruuprosessin ulkopuolelle.
Havaitsemismenetelmät
Tietojen keräämisessä käytetyt välineet tai menetelmät voivat myös aiheuttaa harhaa. Jos esimerkiksi tutkit jotain sairautta, mutta käytät vain testejä, jotka havaitsevat vakavat oireet, voit jättää huomiotta tapaukset, joissa oireet ovat lieviä tai niitä ei havaita. Tämä vääristää tuloksia ja saa sairauden näyttämään vakavammalta tai yleisemmältä kuin se on.
Tutkimusasetelma
Joskus se, missä tutkimus tehdään, voi johtaa puolueellisuuteen. Jos esimerkiksi tutkit yleisön käyttäytymistä, mutta havainnoit ihmisiä vain vilkkaalla kaupunkialueella, tietosi eivät heijasta ihmisten käyttäytymistä rauhallisemmissa maaseutuympäristöissä. Tämä johtaa epätäydelliseen näkemykseen yleisestä käyttäytymisestä, jota yrität ymmärtää.
Raportoinnin puolueellisuus
Ihmisillä on taipumus raportoida tai jakaa tietoa, joka vaikuttaa tärkeämmältä tai kiireellisemmältä. Lääketieteellisessä tutkimuksessa potilaat, joilla on vakavia oireita, saattavat hakeutua todennäköisemmin hoitoon, kun taas potilaat, joilla on lieviä oireita, eivät välttämättä edes mene lääkäriin. Tämä aiheuttaa harhaa tietoihin, koska niissä keskitytään liikaa vakaviin tapauksiin ja jätetään huomiotta lievät tapaukset.
Yleiset tilanteet, joissa ennakkoluuloja voi esiintyä
Varmuusharhaa voi esiintyä erilaisissa arkipäivän tilanteissa ja tutkimusasetelmissa:
Terveydenhuollon opinnot
Jos tutkimus sisältää tietoja vain sairaalassa käyvistä potilaista, se voi yliarvioida sairauden vakavuuden tai esiintyvyyden, koska siinä ei oteta huomioon niitä potilaita, joilla on lieviä oireita ja jotka eivät hakeudu hoitoon.
Kyselyt ja mielipidetutkimukset
Kuvittele, että teet kyselyn saadaksesi selville ihmisten mielipiteitä tuotteesta, mutta teet kyselyn vain nykyisille asiakkaille. Palaute on todennäköisesti myönteistä, mutta olet jättänyt huomiotta niiden ihmisten mielipiteet, jotka eivät käytä tuotetta. Tämä voi johtaa vääristyneeseen käsitykseen siitä, miten suuri yleisö suhtautuu tuotteeseen.
Havaintotutkimus
Jos havainnoit eläinten käyttäytymistä, mutta tutkit vain eläintarhassa olevia eläimiä, tietosi eivät vastaa sitä, miten eläimet käyttäytyvät luonnossa. Eläintarhan rajoitettu ympäristö voi aiheuttaa erilaista käyttäytymistä kuin eläinten luonnollisessa elinympäristössä.
Tunnistamalla ja ymmärtämällä nämä syyt ja esimerkit tiedonkeruuvirheistä voit ryhtyä toimiin varmistaaksesi, että tiedonkeruu ja analyysi ovat tarkempia. Näin vältät harhaanjohtavien johtopäätösten tekemisen ja saat paremman käsityksen todellisesta tilanteesta.
Miten tunnistaa tietojen epävarmuusvirheellisyys
Tiedonkeruuvirheiden tunnistaminen edellyttää sellaisten tietolähteiden tai menetelmien tunnistamista, jotka saattavat suosia suhteettomasti tiettyjä tuloksia muihin nähden. Kun tutkijat pystyvät havaitsemaan harhan varhaisessa vaiheessa, he voivat mukauttaa menetelmiään ja varmistaa tarkemmat tulokset.
Tämä ennakkoluuloisuus on usein piilossa ja vaikuttaa johtopäätöksiin ja päätöksiin ilman, että se on heti ilmeistä. Kun opit havaitsemaan sen, voit parantaa tutkimustesi tarkkuutta ja välttää harhaanjohtavien oletusten tekemistä.
Etsittävät merkit
On olemassa useita indikaattoreita, jotka voivat auttaa tunnistamaan tiedonkeruuvirheitä tiedoissa. Kun olet tietoinen näistä merkeistä, voit ryhtyä toimenpiteisiin ja mukauttaa tiedonkeruu- tai analyysimenetelmiä sen vaikutuksen vähentämiseksi.
Valikoivat tietolähteet
Yksi selkeimmistä merkkeistä harhasta on se, että tiedot ovat peräisin rajoitetusta tai valikoivasta lähteestä.
Puuttuvat tiedot
Toinen indikaattori harhasta on puuttuvat tai epätäydelliset tiedot, erityisesti silloin, kun tietyt ryhmät tai tulokset ovat aliedustettuina.
Tiettyjen ryhmien yliedustus
Harhaa voi esiintyä myös silloin, kun jokin ryhmä on yliedustettuna tiedonkeruussa. Oletetaan, että tutkit työtottumuksia toimistoympäristössä ja keskityt lähinnä suorituskykyisiin työntekijöihin. Keräämäsi tiedot viittaavat todennäköisesti siihen, että pitkät työpäivät ja ylityöt johtavat menestykseen. Jätät kuitenkin huomiotta muut työntekijät, joilla saattaa olla erilaisia työtapoja, mikä voi johtaa virheellisiin johtopäätöksiin siitä, mikä todella edistää menestystä työpaikalla.
Tutkimusten tulokset ovat ristiriitaisia
Jos huomaat, että tutkimuksesi tulokset poikkeavat merkittävästi muista samaa aihetta koskevista tutkimuksista, se voi olla merkki siitä, että kyseessä on tutkimusharha.
Lue myös: Julkaisun puolueellisuus: kaikki mitä sinun tarvitsee tietää
Varmuusvirheiden vaikutus
Varmuusharha voi vaikuttaa merkittävästi tutkimuksen, päätöksenteon ja politiikan tuloksiin. Kun ymmärrät, miten tämä harha vaikuttaa tuloksiin, voit ymmärtää paremmin, miten tärkeää on puuttua siihen jo varhaisessa vaiheessa tiedonkeruu- tai analyysiprosessia.
Miten puolueellisuus vaikuttaa tutkimustuloksiin
Vääristyneet johtopäätökset
Selvin vaikutus on se, että se johtaa vääristyneisiin johtopäätöksiin. Jos tietyt tietopisteet ovat yliedustettuina tai aliedustettuina, saadut tulokset eivät vastaa todellisuutta.
Epätarkat ennusteet
Kun tutkimus on puolueellinen, myös sen perusteella tehdyt ennusteet ovat epätarkkoja. Kansanterveyden kaltaisilla aloilla puolueelliset tiedot voivat johtaa virheellisiin ennusteisiin tautien leviämisestä, hoitojen tehokkuudesta tai kansanterveystoimien vaikutuksista.
Virheelliset yleistykset
Yksi suurimmista määritysharhan vaaroista on se, että se voi johtaa virheellisiin yleistyksiin. Sinulla saattaa olla houkutus soveltaa tutkimuksesi tuloksia laajempaan väestöön, mutta jos otoksesi oli vääristynyt, johtopäätöksesi eivät pidä paikkaansa. Tämä voi olla erityisen haitallista esimerkiksi yhteiskuntatieteiden tai kasvatustieteen aloilla, joilla tutkimustuloksia käytetään usein politiikkojen tai toimenpiteiden kehittämiseen.
Mahdolliset seuraukset eri aloilla
Epätarkkuusvirheillä voi olla kauaskantoisia seurauksia riippuen siitä, mitä alaa tutkitaan tai tehdään. Seuraavassa on joitakin esimerkkejä siitä, miten tämä harha voi vaikuttaa eri aloihin:
Terveydenhuolto
Terveydenhuollossa määrittelyvirheillä voi olla vakavia seurauksia. Jos lääketieteellisissä tutkimuksissa keskitytään vain sairauden vakaviin tapauksiin, lääkärit saattavat yliarvioida sairauden vaarallisuuden. Tämä voi johtaa liialliseen hoitoon tai tarpeettomiin toimenpiteisiin potilaille, joilla on lieviä oireita. Jos taas lieviä tapauksia raportoidaan liian vähän, terveydenhuollon tarjoajat eivät ehkä suhtaudu sairauteen riittävän vakavasti, mikä voi johtaa alihoitoon.
Julkinen politiikka
Poliittiset päättäjät tukeutuvat usein tietoihin tehdessään kansanterveyttä, koulutusta ja muita tärkeitä aloja koskevia päätöksiä. Jos heidän käyttämänsä tiedot ovat vääristyneitä, heidän laatimansa politiikat voivat olla tehottomia tai jopa haitallisia.
Liiketoiminta
Yritysmaailmassa ennakkoluulot voivat johtaa virheelliseen markkinatutkimukseen ja huonoon päätöksentekoon. Jos yritys tutkii vain uskollisimpia asiakkaitaan, se saattaa päätellä, että sen tuotteet ovat yleisesti suosittuja, vaikka todellisuudessa monet potentiaaliset asiakkaat saattavat olla kielteisiä. Tämä voi johtaa virheellisiin markkinointistrategioihin tai tuotekehityspäätöksiin, jotka eivät vastaa laajempien markkinoiden tarpeita.
Koulutus
Koulutuksessa harha voi vaikuttaa oppilaiden suorituksia, opetusmenetelmiä tai opetusvälineitä koskevaan tutkimukseen. Jos tutkimuksissa keskitytään vain hyvin menestyviin oppilaisiin, niissä saatetaan jättää huomiotta haasteet, joita vaikeuksissa olevat oppilaat kohtaavat, mikä johtaa johtopäätöksiin, jotka eivät päde koko oppilasjoukkoon. Tämä voi johtaa sellaisten koulutusohjelmien tai -politiikkojen kehittämiseen, jotka eivät tue kaikkia oppilaita.
Tutkimusharhan tunnistaminen on olennaisen tärkeää, jotta voidaan varmistaa, että tutkimus ja johtopäätökset ovat tarkkoja ja edustavat kokonaiskuvaa. Etsimällä merkkejä, kuten valikoivia tietolähteitä, puuttuvia tietoja ja tiettyjen ryhmien yliedustusta, voit tunnistaa, milloin puolueellisuus vaikuttaa tietoihin.
Lue myös: Tarkkailijan puolueellisuuden voittaminen tutkimuksessa: Miten minimoida se?
Strategiat epävarmuusharhan lieventämiseksi
Havaintoharhojen poistaminen on olennaisen tärkeää, jos haluat varmistaa, että tiedot, joiden kanssa työskentelet, edustavat tarkasti todellisuutta, jota yrität ymmärtää. Varmuusharha voi hiipiä tutkimukseesi, kun tietyntyyppiset tiedot ovat yliedustettuina tai aliedustettuina, mikä johtaa vääristyneisiin tuloksiin.
On kuitenkin olemassa useita strategioita ja tekniikoita, joilla voit lieventää tätä harhaa ja parantaa tiedonkeruun ja analyysin luotettavuutta.
Strategiat ennakkoluulojen lieventämiseksi
Jos haluat minimoida tutkimuksessa tai tiedonkeruussa esiintyvän harhan, voit toteuttaa useita käytännön toimia ja strategioita. Kun olet tietoinen mahdollisista harhoista ja käytät näitä tekniikoita, voit tehdä tiedoistasi tarkempia ja edustavampia.
Käytä satunnaisotantaa
Yksi tehokkaimmista tavoista vähentää harhaa on käyttää seuraavia keinoja. satunnaisotanta. Näin varmistetaan, että jokaisella väestön jäsenellä on yhtäläiset mahdollisuudet osallistua tutkimukseen, mikä auttaa estämään jonkin ryhmän yliedustuksen.
Jos esimerkiksi teet kyselytutkimusta ruokailutottumuksista, satunnaisotanta tarkoittaa, että osallistujat valitaan satunnaisesti keskittymättä mihinkään tiettyyn ryhmään, kuten kuntosalilla käyviin tai terveellistä ruokavaliota noudattaviin henkilöihin. Näin saat tarkemman edustuksen koko väestöstä.
Lue myös: Ongelma nimeltä otantavirhe
Näytteen monimuotoisuuden lisääminen
Toinen tärkeä vaihe on varmistaa, että otos on monipuolinen. Tämä tarkoittaa sitä, että osallistujia tai tietolähteitä etsitään aktiivisesti erilaisista taustoista, kokemuksista ja olosuhteista. Jos esimerkiksi tutkit uuden lääkityksen vaikutuksia, varmista, että mukana on eri-ikäisiä, eri sukupuolta ja eri terveydentiloja edustavia ihmisiä, jotta et keskity vain yhteen ryhmään. Mitä monipuolisempi otos on, sitä luotettavampia ovat johtopäätöksesi.
Pitkittäistutkimusten tekeminen
Pitkittäistutkimus on tutkimus, jossa osallistujia seurataan tietyn ajanjakson ajan keräämällä tietoja useista eri ajankohdista. Tämä lähestymistapa voi auttaa tunnistamaan muutoksia tai suuntauksia, jotka saattaisivat jäädä huomaamatta yksittäisessä tiedonkeruutapahtumassa. Kun tietoja seurataan ajan mittaan, saadaan kattavampi kuva ja vähennetään harhan mahdollisuutta, sillä näin voidaan nähdä, miten tekijät kehittyvät, eikä tehdä oletuksia yksittäisen tilannekuvan perusteella.
Sokeat tai kaksoissokkotutkimukset
Joissakin tapauksissa, erityisesti lääketieteellisessä tai psykologisessa tutkimuksessa, sokkouttaminen on tehokas tapa vähentää harhaa. Yksisokkotutkimus tarkoittaa, että osallistujat eivät tiedä, mihin ryhmään he kuuluvat (esim. saavatko he hoitoa vai lumelääkettä).
Kaksoissokkotutkimuksessa mennään vielä askeleen pidemmälle varmistamalla, että sekä osallistujat että tutkijat eivät tiedä, kuka kuuluu mihinkin ryhmään. Näin voidaan estää sekä tietoisia että tiedostamattomia ennakkoluuloja vaikuttamasta tuloksiin.
Käytä kontrolliryhmiä
Kontrolliryhmän sisällyttäminen tutkimukseen antaa sinulle mahdollisuuden verrata hoitoryhmän tuloksia niihin, jotka eivät ole altistuneet interventiolle. Tämä vertailu voi auttaa sinua tunnistamaan, johtuvatko tulokset itse interventiosta vai ovatko muut tekijät vaikuttaneet niihin. Kontrolliryhmät tarjoavat lähtötason, joka auttaa vähentämään harhaa tarjoamalla selkeämmän käsityksen siitä, mitä tapahtuisi ilman interventiota.
Pilottitutkimukset
Pilottitutkimuksen tekeminen ennen täysimittaisen tutkimuksen aloittamista voi auttaa sinua tunnistamaan mahdolliset harhan lähteet jo varhaisessa vaiheessa.
Pilottitutkimus on pienempi, kokeiluversio tutkimuksestasi, jonka avulla voit testata menetelmiäsi ja nähdä, onko tiedonkeruuprosessissasi puutteita. Tämä antaa sinulle mahdollisuuden tehdä muutoksia ennen suurempaan tutkimukseen sitoutumista, mikä vähentää lopullisiin tuloksiin kohdistuvan harhan riskiä.
Avoin raportointi
Läpinäkyvyys on avainasemassa ennakkoluulojen vähentämisessä. Kerro avoimesti tiedonkeruumenetelmistäsi, otantamenetelmistäsi ja tutkimuksesi mahdollisista rajoituksista. Kun kerrot selkeästi tutkimuksen laajuudesta ja rajoituksista, muut voivat arvioida työtäsi kriittisesti ja ymmärtää, missä asioissa voi esiintyä vääristymiä. Tämä rehellisyys auttaa rakentamaan luottamusta ja antaa muille mahdollisuuden toistaa tutkimuksesi tai rakentaa sen pohjalta tarkempia tietoja.
Teknologian rooli
Teknologialla voi olla merkittävä rooli, kun haluat auttaa tunnistamaan ja vähentämään tiedonkeruun harhaa. Käyttämällä kehittyneitä työkaluja ja menetelmiä voit analysoida tietojasi tehokkaammin, havaita mahdolliset vääristymät ja korjata ne ennen kuin ne vaikuttavat johtopäätöksiin.
Data Analytics -ohjelmisto
Yksi tehokkaimmista välineistä ennakkoluulojen vähentämiseksi on data-analyysiohjelmisto. Nämä ohjelmat pystyvät käsittelemään suuria tietomääriä nopeasti ja auttavat sinua tunnistamaan malleja tai ristiriitaisuuksia, jotka saattavat viitata puolueellisuuteen.
Koneoppimisen algoritmit
Koneoppimisalgoritmit voivat olla uskomattoman hyödyllisiä havaittaessa ja korjattaessa vääristymiä tiedoissa. Nämä algoritmit voidaan kouluttaa tunnistamaan, kun tietyt ryhmät ovat aliedustettuina tai kun datapisteet ovat vinoutuneet tiettyyn suuntaan. Kun algoritmi tunnistaa harhan, se voi mukauttaa tiedonkeruu- tai analyysiprosessia sen mukaisesti ja varmistaa, että lopulliset tulokset ovat tarkempia.
Automaattiset tiedonkeruuvälineet
Automaattiset tiedonkeruuvälineet voivat auttaa vähentämään inhimillisiä virheitä ja harhaa tiedonkeruuprosessin aikana. Jos teet esimerkiksi verkkokyselyä, voit käyttää ohjelmistoa, joka valitsee osallistujat satunnaisesti tai varmistaa automaattisesti, että otokseen sisältyy erilaisia ryhmiä.
Tilastolliset oikaisutekniikat
Joissakin tapauksissa tilastollisia oikaisumenetelmiä voidaan käyttää harhojen korjaamiseen sen jälkeen, kun tiedot on jo kerätty. Tutkijat voivat esimerkiksi käyttää painotuksen tai imputoinnin kaltaisia tekniikoita korjatakseen aineistossaan aliedustettuja ryhmiä. Painotuksessa aliedustettujen ryhmien tiedoille annetaan suurempi painoarvo otoksen tasapainottamiseksi.
Reaaliaikaiset seurantatyökalut
Reaaliaikaisten seurantatyökalujen avulla voit seurata tiedonkeruuta sitä mukaa, kun se tapahtuu, ja voit havaita vääristymät heti, kun niitä ilmenee. Jos esimerkiksi teet laajamittaista tutkimusta, jossa tietoja kerätään useiden kuukausien ajan, reaaliaikainen seuranta voi varoittaa, jos tietyt ryhmät ovat aliedustettuina tai jos tiedot alkavat vinoutua johonkin suuntaan.
Tutkimuksen luotettavuuden ja tarkkuuden varmistamiseksi on ratkaisevan tärkeää puuttua tutkimusharhaan. Noudattamalla käytännön strategioita, kuten satunnaisotantaa, lisäämällä otoksen monimuotoisuutta ja käyttämällä kontrolliryhmiä, voit vähentää harhan todennäköisyyttä tiedonkeruussa.
Yhteenvetona voidaan todeta, että harhapäätöksiin puuttuminen on olennaisen tärkeää, jotta voidaan varmistaa, että kerätyt ja analysoidut tiedot ovat tarkkoja ja luotettavia. Ottamalla käyttöön strategioita, kuten satunnaisotanta, lisäämällä otoksen moninaisuutta, tekemällä pitkittäistutkimuksia ja pilottitutkimuksia sekä käyttämällä kontrolliryhmiä, voit merkittävästi vähentää harhan todennäköisyyttä tutkimuksessasi.
Yhdessä nämä menetelmät auttavat luomaan tarkempia ja edustavampia tuloksia, mikä parantaa tutkimustulosten laatua ja pätevyyttä.
Aiheeseen liittyvä artikkeli: Miten välttää puolueellisuutta tutkimuksessa: Tieteellinen objektiivisuus
Tieteen luvut, graafiset tiivistelmät ja infograafit tutkimustasi varten
Etsitkö tieteellisiä lukuja, graafisia tiivistelmiä ja infografiikkaa yhdessä paikassa? No, tässä se on! Mind the Graph tarjoaa sinulle kokoelman visuaalista materiaalia, joka sopii täydellisesti tutkimukseesi. Voit valita alustan valmiista grafiikoista ja mukauttaa niitä omien tarpeidesi mukaan. Voit jopa saada apua suunnittelijoiltamme ja kuratoida erityisiä tiivistelmiä tutkimusaiheesi perusteella. Mitä siis odotat? Rekisteröidy Mind the Graph:hen nyt ja ole tutkimuksessasi ässä.
Tilaa uutiskirjeemme
Eksklusiivista korkealaatuista sisältöä tehokkaasta visuaalisesta
tiedeviestintä.
Finnish 
English 
Chinese 
Czech 
Dutch 
French 
German 
Italian 
Indonesian 
Japanese 
Korean 
Polish 
Portuguese 
Russian 
Spanish 
Turkish 
Ukrainian 
Swedish 
Romanian 
Bulgarian 
Greek 
Hungarian 
Norwegian 
Danish 
Estonian 
Slovenian 
Lithuanian 
Latvian 
Slovak