Seitsemän ilmaista avoimen lähdekoodin GPT-mallia julkaistu

Silicon Valley -pohjainen tekoäly-yhtiö Cerebras julkaisi seitsemän avoimen lähdekoodin GPT-mallia tarjotakseen vaihtoehdon tiukasti valvotuille ja yksityisille tänään saatavilla oleville järjestelmille.

Ilmaiseksi saatavilla olevat avoimen lähdekoodin GPT-mallit, mukaan lukien painot ja koulutusresepti, on julkaistu erittäin sallivan Apache 2.0 -lisenssin alaisena Cerebras-yhtiön toimesta. Cerebras on Silicon Valleyssa toimiva tekoälyinfrastruktuurin ja tekoälysovellusten yritys.

Joissakin määrin seitsemän GPT-mallia ovat todiste Cerebras Andromeda -tekoälysupertietokoneen toimivuudesta.

Cerebras-infrastruktuuri mahdollistaa heidän asiakkailleen, kuten Jasper AI Copywriterille, omien räätälöityjen kielimallien nopean kouluttamisen.

Cerebras-blogikirjoitus laitteistoteknologiasta muistuttaa:

"Koulutimme kaikki Cerebras-GPT-mallit 16x CS-2 Cerebras-asteikon Andromeda-nimisessä klusterissa."

Klusteri mahdollisti kaikkien kokeiden nopean suorittamisen ilman perinteisiä jaettuja järjestelmiä ja GPU-klustereihin tarvittavia mallin jakelun hienosäätöjä.

Tärkeintä oli, että se antoi tutkijoillemme mahdollisuuden keskittyä koneoppimisen suunnitteluun jakautuneen järjestelmän sijaan. Uskomme suurten mallien helpon kouluttamisen olevan avainasemassa laajan yhteisön käytössä, joten olemme tehneet Cerebras-asteikon klusterin saataville pilven kautta Cerebrasin AI-mallistoon."

Cerebras GPT -mallit ja läpinäkyvyys

Cerebrasin mukaan tekoälyteknologian omistuksen keskittyminen vain muutamaan yritykseen on syy luoda seitsemän avoimen lähdekoodin GPT-mallia.

OpenAI, Meta ja DeepMind säilyttävät suuren määrän tietoa järjestelmiensä yksityisenä ja tiukasti kontrolloituna, mikä rajoittaa innovaatiota siihen, mitä nämä kolme yritystä päättävät, että muut voivat tehdä heidän tietojensa kanssa.

Onko suljettulähdekoodinen järjestelmä paras vaihtoehto innovaatiolle tekoälyssä? Vai onko avoimen lähdekoodin järjestelmä tulevaisuus?

Cerebras kirjoittaa:

"LLMin tulee olla avoin ja helposti saavutettava teknologia, ja uskomme, että on tärkeää saada käyttöön uusinta tekniikkaa hyödyntäviä malleja, jotka ovat avoimia, toisintokelpoisia ja maksuttomia sekä tutkimus- että kaupallisiin sovelluksiin.

Tästä syystä olemme kouluttaneet monimuotoisen muuntajamalliperheen uusimpia menetelmiä ja avoimia aineistoja hyödyntäen, ja kutsumme niitä Cerebras-GPT:ksi.

Nämä mallit ovat ensimmäinen GPT-malliperhe, joka on koulutettu Chinchilla-kaavan avulla ja julkaistu Apache 2.0 -lisenssin alaisuudessa."

Näin ollen nämä seitsemän mallia on julkaistu Hugging Face- ja GitHub-alustoille kannustamaan lisää tutkimusta avoimen pääsyn myötä tekoälyteknologiaan.

Nämä mallit koulutettiin Cerebrasin Andromeda AI -supertietokoneella, mikä onnistui vain viikoissa.

Cerebras-GPT on täysin avoin ja läpinäkyvä, toisin kuin OpenAI:n (GPT-4), Deepmindin ja Meta OPT:n viimeisimmät GPT-mallit.

OpenAI ja Deepmind Chinchilla eivät tarjoa lupia mallien käyttöön. Meta OPT tarjoaa vain ei-kaupallisen lisenssin.

OpenAI:n GPT-4:llä ei ole lainkaan läpinäkyvyyttä koulutusaineistostaan. Käyttivätkö he Common Crawl -dataa? Scrappasivatko he internetiä ja loivat oman aineistonsa?

OpenAI pitää tämän tiedon (ja muutakin) salassa, mikä on ristiriidassa Cerebras-GPT-lähestymistavan täydellisen läpinäkyvyyden kanssa.

Seuraava on avointa ja läpinäkyvää:

• Mallin arkkitehtuuri
• Koulutusdata
• Mallin painot
• Tarkistuspisteet
• Laskennan optimaalinen koulutuksen tila (kyllä)
• Käyttölupa: Apache 2.0 -lisenssi

Yhteensä seitsemän versiota: 111M, 256M, 590M, 1.3B, 2.7B, 6.7B ja 13B mallit.

SE ilmoitettiin:

"AI-laitteistoyrityksistä ensimmäisenä Cerebrasin tutkijat kouluttivat Andromeda AI-super tietokoneella sarjan seitsemää GPT-mallia, joissa on 111M, 256M, 590M, 1.3B, 2.7B, 6.7B ja 13B parametria.

Tyypillisesti tähän kuluu useita kuukausia, mutta tämä työ saatiin valmiiksi muutamassa viikossa Cerebrasin CS-2-järjestelmän uskomattoman nopeuden ansiosta, joka muodostaa Andromedan, ja Cerebrasin painovirran arkkitehtuurin ansiosta, joka poistaa hajautetun laskennan hankaluuden.

Nämä tulokset osoittavat, että Cerebrasin järjestelmät pystyvät kouluttamaan nykypäivän suurimmat ja monimutkaisimmat AI-kuormat.

Tämä on ensimmäinen kerta, kun sarja GPT-malleja, jotka on koulutettu käyttämällä viimeisintä koulutustehokkuustekniikkaa, on tehty julkisesti saataville.

Nämä mallit on koulutettu korkeimpaan mahdolliseen tarkkuuteen annetulle tietojesarjalle (toimintaan tehokkaasti käyttäen Chinchilla-reseptiä), joten niiden koulutusaika, koulutuskustannukset ja energiankulutus ovat pienemmät kuin millään nykyisellä julkisella mallilla."

Avoin lähdekoodin tekoäly

Mozilla-säätiö, avoimen lähdekoodin Firefox-selaimen kehittäjä, on perustanut yrityksen nimeltä Mozilla.ai rakentaakseen avoimen lähdekoodin GPT- ja suosittelujärjestelmiä, jotka ovat luotettavia ja kunnioittavat yksityisyyttä.

Databricks julkaisi myös äskettäin avoimen lähdekoodin GPT-kloonin nimeltä Dolly, joka pyrkii demokratisoimaan "ChatGPT:n taikaa".

Lisäksi noiden seitsemän Cerebras GPT -mallin lisäksi toinen yritys, nimeltään Nomic AI, julkaisi GPT4Allin, avoimen lähdekoodin GPT-mallin, joka voidaan suorittaa kannettavalla tietokoneella.

Avoin lähdekoodinen tekoälyn liike on vasta alkutekijöissään, mutta se saa yhä enemmän tuulta alleen.

GPT-tekniikka synnyttää massiivisia muutoksia eri aloilla ja on mahdollista, ehkä väistämätöntä, että avoimen lähdekoodin osallistuminen voi muuttaa näiden muutosten aikaansaajien kasvoja.

Jos avoimen lähdekoodiliikkeen kehitys jatkuu tällä tahdilla, saattaa olla edessämme siirtymä tekoälyn innovaatiossa, joka estää sen keskittymisen vain muutaman yrityksen käsiin.

Lue virallinen ilmoitus:

Cerebras Systems julkaisee seitsemän uutta GPT-mallia, jotka on koulutettu CS-2 Wafer-Scale -järjestelmissä