Parhaan OpenAI:n ChatGPT:n vikoja vastauksissa

On kulunut jo lähes 6 kuukautta siitä, kun OpenAI:n ChatGPT julkaistiin. Itse asiassa yritys on äskettäin lanseerannut ChatGPT4:n. Tämä teknologia on vienyt maailman uudelle tasolle.

ChatGPT on kielimalli, joka perustuu tekoälyyn ja jota on koulutettu suorittamaan useita toimintoja, kuten kielten kääntämistä, tietojen tiivistämistä ja kysymyksiin vastaamista. Mallin poikkeukselliset kyvyt ovat herättäneet runsaasti huomiota, minkä vuoksi monet alkavat epäillä työllisyysmahdollisuuksiaan.

GPT-4-kielen käsittelymallia voidaan käyttää massiivisten tietomäärien analysoimiseen, minkä jälkeen se pystyy tuottamaan sisältöä analyysin tulosten perusteella. Lisäksi uusi teknologia pystyy analysoimaan suuria määriä tekstiä tarjotakseen kuluttajille tietoa tietyistä tietopisteistä.

Ei ole epäilystäkään siitä, että teknologia tulee jäämään pitkäksi aikaa. Tietenkin se auttaa käyttäjiä monin tavoin. Lukemattomissa tilanteissa se on osoittanut kykynsä tehdä kaikkea käsikirjoituksista vaikeimpien kysymyspapereiden ratkaisemiseen. Ei ole mitään, mitä ChatGPT ei pystyisi saavuttamaan. Kuitenkin, on myös joitain asioita, jotka ovat vaikeampia ChatGPT:llekin.

1. Tekoälyllä varustettu ChatGPT kärsi takaiskun, kun se ei pystynyt läpäisemään arvostettua yhteisen pääsykokeen (JEE) koetta Intiassa. Yhteinen pääsykoe on tunnettu vaikeudestaan ja houkuttelee vuosittain tuhansia opiskelijoita, jotka haluavat päästä arvostetuimpiin insinöörikouluihin Intiassa. Se on yksi vaikeimmista määrällisistä kokeista, joka sisältää monimutkaisia kaavioita ja numeroita.

Opiskelijat, jotka ovat kiinnostuneita opiskelemaan arvostetuissa koulutuslaitoksissa, kuten IIT:issä ja NIT:issä, joutuvat ensin läpäisemään yhteisen pääsykokeen. Raporttien mukaan ChatGPT ei suoriutunut hyvin JEE Advanced -kokeessa.

ChatGPT:n suorituskyky testissä oli vähemmän kuin tyydyttävä, koska se pystyi ratkaisemaan vain 11 kysymystä kokonaismäärästä paperissa.

2. ChatGPT on ollut menestyksekäs useissa muissa merkittävissä ja vaikeissa testeissä. Vaikuttavasti ChatGPT yritti ja vastasi onnistuneesti kaikkiin 200 kysymykseen National Eligibility and Admission Examination for Medical Colleges (NEET) -kokeessa, jossa ehdokkaiden tulee vastata 180 kysymykseen kaikkiaan 200:sta.

Vaikka näin oli, ChatGPT yritti vastata kaikkiin 200 kysymykseen, ja sen suoritustulokset olivat 359/800. Erityisesti ChatGPT menestyi erinomaisesti NEET-testin biologian osassa ja antoi tarkempia vastauksia tämän osan kysymyksiin. ChatGPT:n suoritus NEET-testissä antaa ymmärtää, että se kykenee loistamaan myös muilla aloilla, vaikka se ei läpäissyt JEE Advanced -kokeita.

Tappio, jonka ChatGPT koki JEE Advanced -testissä, osoittaa rajoitukset, jotka ovat läsnä jopa kehittyneimmissä tekoälymalleissa. Vaikka tekoälyllä on potentiaalia mullistaa monia eri teollisuudenaloja, sillä on vielä pitkä matka ennen kuin se voi kilpailla ihmisen älyn kanssa vaikeissa tehtävissä.

OpenAI:n ChatGPT-keskustelurobotti on jälleen epäonnistunut kilpailullisessa tentissä.

3. ChatGPT otti osaa Unionin julkisen palvelun komission (UPSC) tenttiin Analytics India Magazine (AIM)in pyynnöstä. UPSC-tenttiä pidetään yhtenä vaikeimmista kilpailullisista kokeista maailmassa. Yli 10 lakhia tavoittelijaa osallistuu UPSC-tenttiin joka vuosi, mutta vain 5 % heistä pääsee läpi.

AIM tarjosi ChatGPT:lle 100 kysymystä UPSC Prelims 2022:sta.

Chatbot suoriutui huonosti UPSC Prelims 2022 -kokeessa, saaden vaivaiset 54 pistettä maksimipistemäärästä 100 Kysymyspaperi 1:ssä (Sarja A), kun vaadittu pisteraja oli 87.54. Tämä merkitsee sitä, että ChatGPT:stä ei tullut läpäissyt UPSC-testiä.

Kysymykset perustuivat aiheisiin, kuten intialaiseen yleistieteeseen, historiaan, maantieteeseen, taloustieteeseen, ekologiaan ja ajankohtaisiin tapahtumiin. Chatbotti pärjäsi hyvin kysymyksissä, jotka koskivat paikkoja ja talouksia, mutta se epäonnistui surkeasti, kun sitä pyydettiin kertomaan historiallisista tapahtumista, jotka tapahtuivat ennen vuotta 2021.

Se, että ChatGPT:n tietojoukko ulottuu vain vuoteen 2021, on todennäköisesti ratkaiseva tekijä AI-botin kyvyttömyydessä vastata kaikkiin tentin kysymyksiin oikein.

4. Lisäksi CLAT-tenttitulokset ChatGPT-sovellukselle olivat yhtä lailla keskiarvon yläpuolella. CLAT UG -tentin aikana tekoälytyökalu onnistui ratkaisemaan tarkasti vain 50,83 prosenttia kysymyksistä. ChatGPT ei ollut menestyksekäs logiikkaan ja kvantitatiivisiin kysymyksiin liittyvissä kategorioissa. Sen sijaan se suoriutui erinomaisesti englannin ja ajankohtaisten asioiden kategorioissa. Käsitteisiin perustuvien kysymysten osalta tämä työkalu taisteli kovasti.

Julkaistu marraskuussa 2022, ChatGPT on menestynyt erittäin hyvin Yhdysvalloissa. Tämä tekoälyteknologia on onnistunut läpäisemään Yhdysvaltojen lääketieteellisen lisensiaatintutkinnon (USMLE) ja erilaisia MBA-kokeita Yhdysvalloissa. Lisäksi se on onnistunut läpäisemään Googlen koodaushaastattelut kolmannen tason insinööreille.

Eläinlääketieteen ammattilaiset hämmästyivät hiljattain, kun ChatGPT pystyi oikein diagnosoimaan koiran tilan ja pelastamaan eläimen hengen.

Useat maat, kuitenkin, pitävät nyt vastakkaisia näkemyksiä ChatGPT:stä ja ovat valmiita ryhtymään tiukkoihin toimenpiteisiin uutta innovaatiota vastaan. Viime aikoina teknologia on kielletty kahdessa suuressa maassa, mukaan lukien Saksa ja Italia. Nämä maat väittävät, että OpenAI:n ChatGPT:llä ei ole riittäviä suojamekanismeja estämään alaikäisten altistumista loukkaavalle aineistolle, kuten ikävarmistusjärjestelmää.

Ulrich Kelber, Saksan tietosuojavaltuutettu, on varoittanut, että Chat-GPT saattaa olla altis mahdolliselle kiellolle Saksassa huolenaiheina käyttäjien tietoturva, samankaltaisesti kuin Italiassa tapahtui.

No, katsotaanpa miten tekoälyä käyttävä teknologia käyttäytyy tulevaisuudessa.

Kiitos lukemisesta! Pysy kuulolla lisää tällaisia informatiivisia artikkeleita varten!