Voiko ChatGPT läpäistä asianajajan tutkinnon?

ChatGPT ja oikeustutkinto

Asianajajatutkinto on vaativa testi, joka arvioi tietämystä ja päättelykykyä esseiden, suoritustestien ja monivalintakysymysten avulla. Se on standardoitu testi, jonka useat Yhdysvaltain alueet käyttävät osana asianajajaksi pääsyä koskevaa prosessiaan. Se koostuu kolmesta osasta, jotka arvioivat ehdokkaan tietämystä yleisistä oikeusperiaatteista, kykyä soveltaa oikeudellisia periaatteita tiettyihin tositilanteisiin sekä kykyä suorittaa oikeudellisia tehtäviä.

Tässä kokeessa on tarkoitus mahdollistaa asianajajan lupakirjan saaminen useissa osavaltioissa ilman, että täytyy suorittaa jokaisen osavaltion lakitutkinto uudelleen. Läpäisyraja määritellään kussakin toimivallassa erikseen, ja tutkintotulokset voidaan siirtää muihin osavaltioiden toimivallan alaisiin, noudattaen kunkin toimivallan sääntöjä ja vaatimuksia.

GPT-3.5 ja GPT-4, OpenAI:n suuret kielimallit, joille ChatGPT on rakennettu, pystyvät suorittamaan vaikeita tehtäviä, jotka vaativat laajaa oikeudellista tietämystä, lukutaidon ymmärtämistä ja kirjoitustaitoa, siihen pisteeseen asti, että ne täyttävät ihmisoikeusasiantuntijoiden standardin lähes kaikissa Yhdysvaltain lainkäyttöalueissa. Kansallinen asianajajien koevaliokunta, joka loi monivalintaosion, on todennut, että asianajajilla on ainutlaatuisia kykyjä, jotka hankitaan koulutuksen ja harjoittelun kautta, mihin tekoälyllä ei tällä hetkellä ole mahdollisuutta vastata.

Miten ChatGPT suoriutui baaritentissä?

Aiemmin tänä vuonna Illinoisin Teknillisen korkeakoulun ja Michigan Staten lakikorkeakoulun professoreiden suorittaman tutkimuksen mukaan ChatGPT 3.5 pääsi läpi kahdessa monivalintakategoriassa monikansallisen juristitutkinnon (MBE) kokeessa ja suoriutui samalla tavalla kuin ihmistestitulokset toisessa kategoriassa, mikä osoittaa sen yleisen ymmärryksen oikeudellisesta alasta. Toisessa OpenAI:n omassa tutkimuksessa ChatGPT menestyi hyvin juristitutkinnossa ja sijoittui 90. persentiilille siinä tutkimuksessa, jossa se sai lähes 76% monivalintakysymyksistä oikein. Tämä on parannus aiempaan 50%:n tarkkuuteen verrattuna, ja ChatGPT suoriutui keskimääräistä ihmistä paremmin yli 7%:lla.

ChatGPT oli kykenevä tuottamaan esseitä ja suoritustestejä, jotka olivat pääosin asiaankuuliaisia ja loogisesti yhteydessä toisiinsa. Kynnyseksi baaritentin läpäisemiseen vaihtelee osavaltiosta toiseen, ja New Yorkissa vaaditaan pisteitä 266, noin 50. persentiilin tienoilta, läpäisyyn. ChatGPT:n tulokset viittaavat siihen, että suurten kielimallien kyvyt ulottuvat monimutkaisiin tehtäviin, joissa tarvitaan merkittävää oikeustieteellistä tietämystä, ymmärrystä ja kirjoitustaitoa. Nämä mallit täyttävät standardin, joka koskee ihmisoikeustieteilijöitä lähes kaikilla Yhdysvaltain lainkäyttöalueilla.

Pääsikö ChatGPT läpi lakitentistä?

ChatGPT suoritti yhtenäisen valintakokeen.

Mikä on 1 prosentin parhaan baaritenttituloksen pistemäärä?

300 on suunnilleen 90. persentiilin yläraja, kun taas 330:n piste vastaa noin 1. persentiiliä.