ChatGPT voi kirjoittaa koodia. Nyt tutkijat sanovat, että se on myös hyvä bugien korjaamisessa.

OpenAI:n ChatGPT-chatbotti osaa korjata ohjelmistovirheitä erittäin hyvin, mutta sen tärkein etu muihin menetelmiin ja tekoälymalleihin verrattuna on sen ainutlaatuinen kyky keskustella ihmisten kanssa, mikä mahdollistaa vastauksen oikeellisuuden parantamisen.

Tutkijat Johann Wolfgang Goethe -yliopistosta Mainzista ja University College Londonista testasivat OpenAI:n ChatGPT:tä "tyypillisiä automaattisia ohjelman korjausmenetelmiä" ja kahta syväoppimismenetelmää ohjelman korjaamisessa: CoCoNutia, Kanadan Waterloon yliopiston tutkijoiden kehittämää, sekä Codexia, OpenAI:n GPT-3-pohjaista mallia, joka toimii GitHubin Copilot-pareittain ohjelmointia tukevan automaattisen koodin täydentämispalvelun taustalla.

Lisäksi: Miten aloittaa ChatGPT:n käyttö

"Havaitsemme, että ChatGPT:n virheenkorjaustehokkuus on kilpailukykyinen yleisten syväoppimismenetelmien CoCoNutin ja Codexin kanssa ja huomattavasti parempi kuin raportoidut tulokset standardien ohjelmakorjausmenetelmien osalta", tutkijat kirjoittavat uudessa arXiv-artikkelissa, jonka New Scientist ensimmäisenä huomasi.

Parhaat AI-chatbotit: ChatGPT ja muita mielenkiintoisia vaihtoehtoja kokeiltavaksi

AI-keskustelurobotit ja kirjoittajat voivat auttaa helpottamaan työtaakkaasi kirjoittamalla sähköposteja, esseitä ja jopa laskemalla matematiikkaa. Ne käyttävät tekoälyä tekstien luomiseen tai vastaavat kysymyksiin käyttäjän syötteen perusteella. ChatGPT on yksi suosittu esimerkki, mutta on muitakin huomionarvoisia keskustelurobotteja.

Lue nyt

Se, että ChatGPT:ä voidaan käyttää koodausongelmien ratkaisemiseen, ei ole uutta, mutta tutkijat korostavat, että sen ainutlaatuinen kyky keskustella ihmisten kanssa antaa sille potentiaalisen edun muihin lähestymistapoihin ja malleihin verrattuna.

Tutkijat testasivat ChatGPT:n suorituskykyä käyttäen QuixBugsin bugikorjausmittaristoa. Automaattiset ohjelmankorjausjärjestelmät (APR) vaikuttavat olevan epäedullisessa asemassa, koska ne kehitettiin ennen vuotta 2018.

ChatGPT perustuu transformer-arkkitehtuuriin, jonka Meta AI:n johtaja Yann LeCunn toi esiin tällä viikolla kehittäneen googlen. Microsoft Researchin kehittämä Codex, CodeBERT ja sen edeltäjä BERT perustuvat kaikki Googlen transformer-menetelmään.

OpenAI tuo esiin ChatGPT:n dialogikyvyn esimerkein koodin vianetsintään, jossa se voi pyytää selvennyksiä ja saada vinkkejä henkilöltä paremman vastauksen saamiseksi. Se on kouluttanut ChatGPT:n taustalla olevat suuret kielimallit (GPT-3 ja GPT 3.5) vahvistusoppimisen avulla ihmispalautteen perusteella (RLHF).

Vaikka ChatGPT:n keskustelutaito voi auttaa sitä saavuttamaan oikean vastauksen, tutkijat huomauttavat sen ehdotusten laadun olevan epäselvä. Siksi he halusivat arvioida ChatGPT:n virheviankorjaustaitoja.

Tutkijat testasivat ChatGPT:tä QuixBugsin 40 Python-ongelmassa ja tarkistivat manuaalisesti, oliko ehdotettu ratkaisu oikein vai ei. He toistivat kyselyn neljä kertaa, koska ChatGPT:n vastausten luotettavuudessa on jonkin verran satunnaisuutta, kuten eräs Whartonin professori huomasi, kun hän testasi chatbotia MBA-tyyppisessä tentissä.

ChatGPT ratkaisi 19 Python bugista 40:sta, laittaen sen tasavertaiseksi CoCoNutin (19) ja Codexin (21) kanssa. Mutta standardit APR-menetelmät ratkaisivat vain seitsemän ongelmaa.

Tutkijat havaitsivat, että ChatGPT:n onnistumisprosentti jatkokeskusteluissa oli 77,5%.

Kehittäjille vaadittava työmäärä ja tuottavuuden vaikutus ovat kuitenkin epäselviä. Stack Overflow on äskettäin kieltänyt ChatGPT:n luomat vastaukset niiden heikon laadun takia, mutta ne kuulostivat uskottavilta. Whartonin professori havaitsi, että ChatGPT voi olla erinomainen kumppani MBA-opiskelijoille, sillä se voi toimia "älykkäänä konsulttina" - tuottaen elegantteja, mutta usein vääriä vastauksia - ja edistäen kriittistä ajattelua.

"Tämä osoittaa, että ihmisen panos voi olla suureksi avuksi automatisoidulle APR-järjestelmälle, jossa ChatGPT tarjoaa keinot siihen", tutkijat kirjoittavat.

"Huolimatta siitä, että ChatGPT suoriutuu hyvin, nousee kysymys siitä, ovatko ChatGPT:n vastausten tarkistamiseen vaadittavat henkiset käyttökustannukset suuremmat kuin ChatGPT:n tuomat edut."