Miten ChatGPT toimii?

ChatGPT on yksi loistavimmista uusista tekoälyllä toimivista työkaluista, mutta taustalla toimivat algoritmit ovat itse asiassa toimittaneet useille sovelluksille ja palveluille vuodesta 2020 lähtien. Jotta voimme ymmärtää ChatGPT:n toiminnan, meidän on aloitettava puhumalla taustalla olevasta kielestä. moottori, joka antaa sille voiman.

ChatGPT:n GPT on enimmäkseen GPT-3 tai Generative Pre-trained Transformer 3, vaikka GPT-4 on nyt saatavilla ChatGPT Plus -tilaajille – ja luultavasti yleistyy pian. GPT-mallit on kehittänyt OpenAI (ChatGPT:n ja DALL·E 2 -kuvageneraattorin takana oleva yritys), mutta ne tarjoavat kaiken tehon Bingin tekoälyominaisuuksista kirjoitustyökaluihin, kuten Jasper ja Copy.ai. Itse asiassa suurin osa tällä hetkellä saatavilla olevista tekoälytekstigeneraattoreista käyttää GPT-3:a ja todennäköisesti tarjoavat GPT-4:ää seuraavana askeleena.

ChatGPT toi GPT-3:n parrasvaloihin, koska se teki vuorovaikutuksesta tekoälytekstigeneraattorin kanssa yksinkertaista ja – mikä tärkeintä – ilmaista kaikille. Lisäksi se on chatbot, ja ihmiset ovat rakastaneet hyvää chatbotia SmarterChildistä lähtien.

GPT-3 ja GPT-4 ovat tällä hetkellä suosituimpia suuria kielimalleja (LLM), mutta seuraavien vuosien aikana kilpailu tulee todennäköisesti olemaan paljon enemmän. Esimerkiksi Googlella on Bard – sen AI chatbot – joka toimii sen omalla kielimoottorilla Pathways Language Model (PaLM 2). Mutta toistaiseksi OpenAI:n tarjonta on de facto alan standardi. Se on vain helpoin työkalu, jonka ihmiset saavat käsiinsä.

Joten vastaus kysymykseen "miten ChatGPT toimii?" on periaatteessa: GPT-3 ja GPT-4. Mutta kaivetaanpa vähän syvemmälle.

Mikä on ChatGPT?

ChatGPT on OpenAI:n kehittämä sovellus. GPT-kielimallien avulla se voi vastata kysymyksiisi, kirjoittaa kopioita, luonnosta sähköposteja, käydä keskustelua, selittää koodia eri ohjelmointikielillä, kääntää luonnollisen kielen koodiksi ja paljon muuta – tai ainakin yrittää – kaikkea luonnollisen kielen perusteella. kehottaa sinua syöttämään sen. Se on chatbot, mutta todella, todella hyvä.

Vaikka on siistiä leikkiä, jos haluat esimerkiksi kirjoittaa Shakespeare-sonetin lemmikistäsi tai saada ideoita joidenkin markkinointisähköpostien aiheriveihin, se sopii myös OpenAI:lle. Se on tapa saada paljon dataa oikeilta käyttäjiltä, ja se toimii hienona esittelynä GPT:n tehosta, joka muuten voisi tuntua hieman sumealta, ellet ole syvällä koneoppimisessa.

Tällä hetkellä ChatGPT tarjoaa kaksi GPT-mallia. Oletusasetus, GPT-3.5, on vähemmän tehokas, mutta kaikkien saatavilla ilmaiseksi. Edistyneempi GPT-4 on rajoitettu ChatGPT Plus -tilaajille, ja jopa he saavat vain rajoitetun määrän kysymyksiä joka päivä.

Yksi ChatGPT:n suurista ominaisuuksista on, että se muistaa sen kanssa käymäsi keskustelun. Tämä tarkoittaa, että se voi poimia kontekstin siitä, mitä olet kysynyt siltä aiemmin, ja käyttää sitä sitten keskusteluun kanssasi. Voit myös pyytää korjauksia ja korjauksia, ja se viittaa siihen, mistä olet keskustellut aiemmin. Se saa vuorovaikutuksen tekoälyn kanssa tuntumaan aidolta edestakaiselta.

Jos haluat todella kokea sen, mene ja pelaa viisi minuuttia ChatGPT:llä nyt (se on ilmaista!) ja palaa sitten lukemaan sen toiminnasta.

Miten ChatGPT toimii?

Tätä valtavaa tietojoukkoa käytettiin syväoppivan hermoverkon muodostamiseen [ ... ] , joka oli mallinnettu ihmisaivojen mukaan – minkä ansiosta ChatGPT pystyi oppimaan kuvioita ja suhteita tekstidatassa [ ... ] ennustaen, minkä tekstin pitäisi tulla seuraavaksi missä tahansa lauseessa .

ChatGPT yrittää ymmärtää kehotteen ja sylkee sitten sanajonoja, joiden se ennustaa parhaiten vastaavan kysymykseesi sen tietojen perusteella, joihin se on koulutettu.

Puhutaanpa siitä koulutuksesta. Se on prosessi, jossa syntyvälle tekoälylle annetaan joitain perussääntöjä, ja sitten se joko asetetaan tilanteisiin tai sille annetaan paljon dataa, jonka läpi se voi kehittää omia algoritmejaan.

GPT-3:lle opetettiin noin 500 miljardia "tunnusta", joiden avulla sen kielimallit voivat helpommin määrittää merkityksen ja ennustaa uskottavaa jatkotekstiä. Monet sanat liittyvät yksittäisiin merkkeihin, vaikka pidemmät tai monimutkaisemmat sanat jakautuvat usein useiksi tokeneiksi. Tokenit ovat keskimäärin noin neljä merkkiä pitkiä.OpenAI on pysynyt hiljaa GPT-4:n sisäisestä toiminnasta, mutta voimme turvallisesti olettaa, että se on koulutettu paljolti samalle tietojoukolle, koska se on vielä tehokkaampi.

Kaikki tunnukset tulivat valtavasta ihmisten kirjoittamasta datakokoelmasta. Se sisältää kirjoja, artikkeleita ja muita asiakirjoja kaikista eri aiheista, tyyleistä ja genreistä – ja uskomattoman määrän sisältöä, joka on kerätty avoimesta Internetistä. Pohjimmiltaan sen annettiin murskata ihmistiedon kokonaissumman läpi.

Tätä valtavaa tietojoukkoa käytettiin syväoppivan hermoverkon muodostamiseen – monimutkainen, monikerroksinen, painotettu algoritmi, joka on mallinnettu ihmisaivojen mukaan – jonka avulla ChatGPT pystyi oppimaan kuvioita ja suhteita tekstidatassa ja hyödyntämään kykyä luoda ihmisen kaltaisia. vastaukset ennustamalla, mikä teksti tulee seuraavaksi jossakin lauseessa.

Vaikka todella, se aliarvioi asioita valtavasti. ChatGPT ei toimi lausetasolla, vaan se luo tekstiä sanoista, lauseista ja jopa kappaleista tai säikeistä. Se ei ole puhelimesi ennakoiva teksti, joka arvaa suoraan seuraavan sanan; se yrittää luoda täysin johdonmukaisia vastauksia mihin tahansa kehotteeseen.

ChatGPT:n kykyä vastata useisiin erilaisiin kehotteisiin kehitettiin edelleen, sillä se optimoitiin dialogiin tekniikalla, jota kutsutaan vahvistusoppimiseksi ihmispalautteen avulla (RLHF). Pohjimmiltaan ihmiset loivat palkkiomallin vertailutiedoilla (jossa tekoälykouluttajat arvioivat kaksi tai useampia mallivastauksia), jotta tekoäly voisi oppia, mikä oli paras vastaus.

Takaisin sen muodostamaan neuroverkkoon. Kaiken tämän koulutuksen perusteella GPT-3:n hermoverkossa on 175 miljardia parametria tai muuttujaa, joiden avulla se voi ottaa syötteen – kehotteen – ja sitten sen eri parametreille antamien arvojen ja painotusten perusteella (ja pienen määrän satunnaisuutta). ), tulostaa pyyntöäsi parhaiten vastaavan. OpenAI ei ole kertonut, kuinka monta parametria GPT-4:llä on, mutta se on varma arvaus, että se on yli 175 miljardia ja vähemmän kuin kerran huhuttu 100 biljoonaa parametria. Huolimatta tarkasta määrästä enemmän parametreja ei automaattisesti tarkoita parempaa. Osa GPT-4:n lisääntyneestä tehosta johtuu luultavasti siitä, että sillä on enemmän parametreja kuin GPT-3:lla, mutta suuri osa johtuu luultavasti sen harjoittelun parannuksista.

Loppujen lopuksi yksinkertaisin tapa kuvitella se on kuin yksi niistä "viimeistele lause" -peleistä, joita pelasit lapsena.

Loppujen lopuksi yksinkertaisin tapa kuvitella se on kuin yksi niistä "viimeistele lause" -peleistä, joita pelasit lapsena. Esimerkiksi kun annoin ChatGPT:lle GPT-3:n avulla kehotteen "Zapier on…", se vastasi sanomalla:

"Zapier on verkkopohjainen automaatiotyökalu, jonka avulla käyttäjät voivat yhdistää erilaisia verkkosovelluksia automatisoidakseen toistuvia tehtäviä ja parantaakseen työnkulkuja."

Sellaisen lauseen voit löytää sadoista artikkeleista, jotka kuvaavat Zapierin toimintaa, joten on järkevää, että se on sellainen asia, jonka se sylkee täällä. Mutta kun toimittajani antoi sille saman kehotteen, se sanoi:

"Zapier on verkkopohjainen automaatiotyökalu, jonka avulla käyttäjät voivat yhdistää erilaisia verkkosovelluksia ja automatisoida työnkulkuja niiden välillä."

Se on melko samanlainen, mutta se ei ole aivan sama vastaus. Tämä satunnaisuus (jota voit hallita joissakin GPT-3-sovelluksissa "lämpötila"-nimisellä asetuksella) varmistaa, että ChatGPT ei vain vastaa jokaiseen vastaukseen, mikä vastaa osakevastausta. Se ajaa jokaisen kehotteen koko hermoverkon läpi joka kerta ja heittää pari noppaa siellä täällä pitääkseen asiat tuoreina. Se ei todennäköisesti ala väittää, että Zapier on Marsista peräisin oleva väri, mutta se sekoittaa seuraavat sanat niiden suhteellisten todennäköisyyksien perusteella.

(Mitä se kannattaa, kun GPT-4:llä ajetaan, ChatGPT sanoi: " Zapier on verkkopohjainen automaatiotyökalu, jonka avulla käyttäjät voivat integroida ja automatisoida tehtäviä eri verkkosovellusten ja -palveluiden välillä." Sama!)

Sylkee sanoja, ei tietoa

ChatGPT:n valmistajat ovat ensimmäisiä, jotka sanovat, että se voi tuottaa virheellistä (ja mahdollisesti haitallista) tietoa, vaikka he tekevätkin kovasti töitä korjatakseen sen.

Tässä hillitty esimerkki. Kun pyysin ChatGPT:tä GPT-3:lla ja GPT-4:llä vastaamaan kysymykseen "Harry Guinness on…", GPT-3 vastasi ensin kysymällä mikä Harry Guinness. Hieno kysymys – meitä on kirjaimellisesti kaksi! Joten sanoin: "Harry Guinness kirjailija" (se olen minä). GPT-4 arvasi heti, kuka olin, vaikka molemmat vastaukset olivat kiehtovia:

GPT-3: Harry Guinness on Irlannissa asuva freelance-kirjailija ja toimittaja. Hän on kirjoittanut useisiin julkaisuihin, mukaan lukien The New York Times, The Guardian, The Huffington Post ja Popular Mechanics. Hän käsittelee aiheita tekniikasta ja valokuvauksesta matkailuun ja kulttuuriin.

GPT-4: Harry Guinness on irlantilainen kirjailija, valokuvaaja ja teknologian asiantuntija. Hän on kirjoittanut useisiin julkaisuihin, mukaan lukien How-To Geek, Lifehacker ja Tuts+. Hänen työnsä keskittyy ensisijaisesti tekniikkaan, tutoriaaleihin ja vinkkeihin sekä valokuvaukseen ja kuvankäsittelyyn. Guinness on rakentanut mainetta yksityiskohtaisten oppaiden luojana, jotka auttavat lukijoita ymmärtämään monimutkaisia aiheita tai ratkaisemaan ongelmia yksinkertaisesti.

GPT-3:n ensimmäinen ja viimeinen rivi on vedetty lähes sanatarkasti eri verkkosivustoiltani ja kirjoittajien biosaavistani verkossa (vaikka yleensä mainitsen itseni freelance-kirjailijaksi ja valokuvaajaksi, en toimittajaksi). Mutta julkaisuluettelo on periaatteessa tehty. Olen kirjoittanut The New York Timesille , mutta en The Guardianille , The Huffington Postille tai Popular Mechanicsille (kirjoitan säännöllisesti Popular Sciencelle , joten se saattaa johtua siitä).

GPT-4 saa valokuvaajan osan oikein ja listaa joitain julkaisuja, joille olen kirjoittanut, mikä on vaikuttavaa, vaikka en olekaan niitä, joista olisin ylpein. Se on loistava esimerkki siitä, kuinka OpenAI on kyennyt lisäämään GPT-4:n tarkkuutta verrattuna GPT-3:een, vaikka se ei välttämättä aina tarjoakaan oikeaa vastausta.

Mutta palataanpa takaisin GPT-3:een, sillä sen virhe tarjoaa mielenkiintoisen esimerkin siitä, mitä ChatGPT:n kulissien takana tapahtuu. Se ei oikeastaan tiedä minusta mitään. Se ei ole edes kopioimista/liittämistä Internetistä ja luottamista tiedon lähteeseen. Sen sijaan se yksinkertaisesti ennustaa sanoja, jotka tulevat seuraavaksi miljardeihin tietopisteisiin perustuen.

Esimerkiksi: The New York Times on ryhmitelty paljon useammin The Guardianin ja The Huffington Postin kanssa kuin paikoissa, joille olen kirjoittanut, kuten Wired , Outside , The Irish Times ja tietysti Zapier. Joten kun sen täytyy selvittää, mitä The New York Timesin pitäisi seurata, se ei vedä minua julkaistuista tiedoista; se poimii luettelon suurista julkaisuista kaikesta harjoittelutiedosta. Se on erittäin fiksua ja näyttää uskottavalta, mutta se ei ole totta.

GPT-4 tekee paljon parempaa työtä ja naulaa julkaisut, mutta muu sen sanoma tuntuu todellakin vain uskottavilta jatkolauseilta. En usko, että se arvostaa mainettani kovinkaan paljon: se on vain sanomista sellaisista asioista, joita biografiassa sanotaan. Se on paljon parempi piilottaa toimintansa kuin GPT-3, vaikka se itse asiassa käyttää paljon samaa tekniikkaa.

Silti on erittäin vaikuttavaa, kuinka paljon GPT on jo parantunut. GPT-4 on toistaiseksi lukittu premium-tilauksen taakse, joten useimmat näkemäsi ChatGPT-sisällöt perustuvat GPT-3:een, mutta tilanne saattaa muuttua seuraavan ajan kuluessa. Kuka tietää, mitä GPT-5 tuo tullessaan.

Mikä on ChatGPT API?

OpenAI:lla ei ole vain me -asennetta teknologiansa kanssa. Yrityksellä on API-alusta, jonka avulla kehittäjät voivat integroida ChatGPT:n tehon omiin sovelluksiinsa ja palveluihinsa (tietysti hintaan).

Zapier käyttää ChatGPT-sovellusliittymää oman ChatGPT-integraationsa tehostamiseen, jonka avulla voit yhdistää ChatGPT:n tuhansiin muihin sovelluksiin ja lisätä tekoälyä liiketoimintakriittisiin työnkulkuihisi. Tässä on muutamia esimerkkejä, joiden avulla pääset alkuun, mutta voit käynnistää ChatGPT:n periaatteessa mistä tahansa sovelluksesta.

Voit myös hyödyntää OpenAI:n muita malleja, kuten DALL·E:tä ja Whisperiä, Zapierin OpenAI-integraation avulla. Automatisoi työnkulkuja, jotka sisältävät kuvien luomisen ja äänen transkription suoraan jo käyttämistäsi sovelluksista.

Aiheeseen liittyvää luettavaa: Kuinka voit (ja milloin sinun ei pitäisi) käyttää ChatGPT:tä markkinointitekstin kirjoittamiseen