Uusi avoimen lähdekoodin ChatGPT-klooni - nimeltään Dolly

Avoin lähdekoodin GPT-keskustelu otti jälleen askeleen eteenpäin Dolly Large Language Modelin (DLL) julkaisun myötä, jonka loi Databricks-yhtiön yritysohjelmisto.

Uusi ChatGPT-klooni on nimeltään Dolly, nimetty kuuluisan samannimisen lampaan mukaan, joka oli ensimmäinen klooniutunut nisäkäs.

Avoimen lähdekoodin suuret kielifaktamallit

Dolly LLM on viimeisin osoitus kasvavasta avoimen lähdekoodin tekoälyliikkeestä, joka pyrkii tarjoamaan suurempaa pääsyä teknologiaan, jotta sitä ei monopolisoitaisi ja hallittaisi suurten yritysten toimesta.

Yksi avoimen lähdekoodin tekoälyliikkeen huolenaiheista on, että yritykset saattavat olla epäröiviä luovuttaessaan arkaluontoisia tietoja kolmannelle osapuolelle, joka hallinnoi tekoälyteknologiaa.

Perustuu avoimeen lähdekoodiin

Dolly luotiin EleutherAI-tutkimuslaitoksen ja Stanfordin yliopiston Alpaca-mallin avulla. Alpaca-malli puolestaan perustuu Meta-yhtiön 65 miljardin parametrin avoimen lähdekoodin LLaMA-malliin.

LLaMA, joka tarkoittaa Large Language Model Meta AI:ta, on kielimalli, joka on koulutettu julkisesti saatavilla olevista tiedoista.

Erään Weights & Biases -artikkelin mukaan LLaMA voi suoriutua paremmin monista huippuluokan kielimalleista (OpenAI GPT-3, Gopher, jonka on kehittänyt Deep Mind, ja Chinchilla, jonka on kehittänyt DeepMind), vaikka se onkin pienempi.

Merkittävämpi tietojoukon luominen

Toinen inspiraatio tuli akateemisesta tutkimusartikkelista (SELF-INSTRUCT: Ohjeiden luonnilla kielimallin kanssa PDF), jossa esiteltiin tapa luoda korkealaatuista automaattisesti luotua kysymys- ja vastauskoulutusdataa, joka on parempaa kuin rajoitettu julkinen data.

Itseohjautuvan tutkimusartikkelin mukaan:

"...kokoamme asiantuntijoiden kirjoittamia ohjeita uusiin tehtäviin ja osoitamme ihmisen arvioinnilla, että GPT3:n hienosäätö SELF-INSTRUCT-menetelmällä ylittää huomattavasti olemassa olevien julkisten ohjedatasettien käytön, jättäen vain 5% absoluuttisen eron InstructGPT:n taakse...

...Soveltaessamme menetelmäämme vanilja GPT3:een, todistamme 33% absoluuttisen parannuksen alkuperäiseen malliin SUPERNATURALINSTRUCTIONS-tehtävässä, samalla tasolla InstructGPT:n suorituskyvyn kanssa...joka on koulutettu yksityisten käyttäjätietojen ja ihmisen annotaatioiden avulla."

Dollyn tärkeys on siinä, että se osoittaa, että hyödyllinen suuri kielimalli voidaan luoda pienemmällä, mutta korkealaatuisella datalla.

Databricks havaitsee:

"Dolly toimii ottamalla olemassa olevan EleutherAI:n avoimen lähdekoodin 6 miljardia parametriä sisältävän mallin ja muokkaamalla sitä hieman, jotta saadaan aikaan erilaisia ohjeiden noudattamisen kykyjä, kuten aivoriihiä ja tekstin luontia, jotka eivät ole läsnä alkuperäisessä mallissa, käyttäen tietoja Alpacasta.

...Näytämme, että kuka tahansa voi ottaa päivätyn valmiiksi julkaistun avoimen lähdekoodin suuren kielimallin (LLM) ja antaa sille taianomaisen ChatGPT-tyyppisen ohjauskyvyn kouluttamalla sen 30 minuutissa yhdellä koneella, käyttäen korkealaatuista koulutusdataa.

Yllättävästi ohjeiden noudattaminen ei näytä vaativan uusinta tai suurinta mallia: mallimme on vain 6 miljardia parametria, kun taas GPT-3:lla niitä on 175 miljardia.

Databricks Open Source AI

Dollya sanotaan demokratisoivan tekoälyä. Se on osa kasvavaa liikettä, johon äskettäin liittyi voittoa tavoittelematon Mozilla-organisaatio perustamalla Mozilla.ai. Mozilla on Firefox-selaimen ja muiden avoimen lähdekoodin ohjelmistojen julkaisija.