ChatGPT suoritti MBA-kokeen. Näin se onnistui

Pennsylvanian yliopiston Whartonin professori on antanut ChatGPT:lle teoreettisen B-luokan passin merkittyään sen tuottamat vastaukset tyypillisen MBA-kurssin loppukokeeseen.

Whartonin toiminnanhallinnan professori Christian Terwiesch sanoi, että ChatGPT tekee "hämmästyttävää työtä perustoimintojen hallinnan ja prosessianalyysin kysymyksissä".

"Eivät ainoastaan vastaukset ole oikeita, vaan myös selitykset ovat erinomaisia", hän kirjoittaa uudessa valkoisessa kirjassa.

Myös: ChatGPT:n käytön aloittaminen

Mutta hän lisäsi, että chatbot tekee "yllättäviä virheitä suhteellisen yksinkertaisissa laskelmissa kuudennen luokan matematiikan tasolla" ja että se ei tällä hetkellä pysty käsittelemään edistyneempiä prosessianalyysikysymyksiä. Toisaalta ChatGPT:n nykyinen versio voi muokata vastauksiaan ihmisen vihjeiden perusteella oikean ratkaisun löytämiseksi.

"Tämä suorituskyky huomioon ottaen Chat GPT3 olisi saanut kokeesta arvosanan B–B", kirjoittaa Terwiesch.

Useat Terwieschin kysymyksistä pyrkivät testaamaan, voisiko ChatGPT tunnistaa pullonkaulan käsittelyoperaatiossa useilla koneilla, joilla on erilainen suorituskyky.

ChatGPT kuitenkin "teki merkittävän, massiivisen virheen" laskeessaan keskitason aritmetiikkaa.

Mielenkiintoista on, että ChatGPT vastasi aluksi väärin yhteen Terwieschin kysymykseen jonoanalyysistä. Hän kehotti sitä vihjeellä parempaan vastaukseen ja ChatGPT paransi vastaustaan. Seuraavana päivänä professori esitti sille saman ensimmäisen jonotuskysymyksen ilman vihjettä - ja ChatGPT vastasi oikein ensimmäisellä yrityksellään.

"Se joko pystyy oppimaan aiemmasta palautteesta tai minulla vain kävi tuuri", hän huomauttaa ja lisää, että sen vastausten laadussa näytti olevan satunnaisuutta.

Terwiesch havaitsi myös, että ChatGPT pystyi muotoilemaan älykkäitä ja humoristisia kysymyksiä, joita hän voisi käyttää tulevissa kokeissa. Chatbot toi kuitenkin myös hienovaraisia puutteita joihinkin kysymyksiin, joiden vuoksi niihin oli mahdotonta vastata.

Myös: ChatGPT:ltä "puuttui syvyyttä ja näkemystä", arvostetut tiedelehtien toimittajat sanovat

Terwiesch varoittaa muita olemaan tietoisia ChatGPT:n kyvyistä ja rajoituksista. Hän sanoo "rakastuneensa" ChatGPT:hen luettuaan sen vastauksen ensimmäiseen kysymykseensä, mutta varoittaa, että se "teki suuria virheitä joissakin melko yksinkertaisissa tilanteissa".

"Olemme vielä kaukana A+:sta monimutkaisille ongelmille ja tarvitsemme edelleen ihmisen silmukassa", hän kirjoittaa.

"Koulutusnäkemykseni mukaan alakoululaisen on vielä opittava, että 7 x 7 = 49 ja että Pennsylvanian pääkaupunki on Harrisburg, vaikka laskimia on käytetty laajalti yli 50 vuotta ja opiskelijat voivat etsiä vastauksia Google Wikipediasta. Useimpiin asiakysymyksiin. Perustaitojen luonne on, että heiltä vaaditaan edistyneempien aiheiden ymmärtäminen."

Terwiesch on samaa mieltä siitä, että opettajien pitäisi olla huolissaan siitä, että keski-ikäiset opiskelijat saattavat käyttää ChatGPT:tä tehtävien ja kokeiden huijaamiseen. Esimerkiksi New Yorkin opetusministeriö kielsi äskettäin chatbotin, koska luotettavat testit ovat tärkeitä opetuksessa, kun taas taitojen sertifiointia ei pitäisi vaarantaa uuden tekniikan takia. ChatGPT:tä käyttävä opiskelija on kuin voisi soittaa ystävälle, jolla on "keskimääräinen akateeminen pätevyys" suorittaakseen kokeen puolestaan, hän huomauttaa.

Hän kuitenkin väittää myös, että ChatGPT:llä ja vastaavilla teknologioilla on kyky toimia "älykkään konsulttina" – sellaisen, joka tuottaa tyylikkäitä mutta usein vääriä vastauksia, mikä on hänen mielestään "täydellinen harjoittelukenttä" taitojen kehittämiseen MBA-opiskelijoiden keskuudessa. arvioida ehdotettuja vaihtoehtoja kriittisesti.