Sari la conținut Treci la bara laterală Sari la subsol

Prezentarea unui model de limbaj mai mare decat GPT-3 cu un obiectiv indraznet: eliberarea AI de dominatia Big Tech.

Ce este Bloom?

BLOOM, un model LLM. promite performante similare cu modelele de top din Silicon Valley, dar cu o abordare fundamental diferita. BLOOM este deschis publicului, spre deosebire de LLM-urile gigantilor din tehnologie, care sunt de obicei tinute sub secret.

Ca o caracteristica neobisnuita intr-un domeniu dominat de engleza, BLOOM este, de asemenea, multilingv – spre deosebire de LaMDA de la Google si GPT-3 de la OpenAI. Este posibil ca aceste caracteristici sa deschida accesul la tehnologie de ultima ora care va avea un impact profund asupra societatii.

Model de limbă multilingvă Bloom

Modelele de limba (LLM) se dovedesc capabile de o gama mai larga de sarcini, cum ar fi scrierea de eseuri, generarea de coduri si traducerea limbii. De asemenea, sunt capabile sa creeze continut daunator si este greu de prezis ce vor putea face in viitor.

BLOOM este o demonstratie a faptului ca cele mai puternice modele AI pot fi antrenate si lansate de comunitatea de cercetare mai larga cu responsabilitate si intr-un mod real deschis, in contrast cu secretul tipic al laboratoarelor de cercetare AI industriale.

Teven Le Scao, co-liderul de formare al lui BLOOM

Crearea si operarea LLM-urilor sunt ambele extrem de costisitoare. De exemplu, s-au cheltuit aproximativ 27,6 milioane USD pentru antrenamentul GPT-3. Companiile din sectorul tehnologiei au un stimulent puternic pentru a-si proteja investitiile financiare semnificative, mai ales atunci cand acele investitii le ofera un avantaj fata de concurentii lor.

Drept urmare, nu este surprinzator ca LLM-urile sunt rareori accesibile publicului larg - cu cateva exceptii notabile, desigur.

Dupa lansarea in prima jumatate a anului 2021, proiectul de cercetare BigScience a dezvoltat BLOOM. Start-up-ul de inteligenta artificiala Hugging Face conduce proiectul.

Modelele mari de ML au schimbat lumea cercetarii AI in ultimii doi ani, dar costul urias de calcul necesar pentru a le instrui a dus la ca foarte putine echipe sa aiba efectiv capacitatea de a le instrui si de a le cerceta.

Thomas Wolf, co-leader BigScience si co-fondator Hugging Face

BLOOM a fost creat de o echipa de 100.000 de cercetatori din peste 60 de tari si peste 250 de institutii. Un supercomputer din Paris, Franta, a fost folosit pentru a antrena modelul.

Am adoptat o abordare bazata pe date pentru a ne asigura ca instruirea a fost aliniata cu valorile noastre. Structura multidisciplinara si internationala a BigScience ne-a permis sa reflectam critic la fiecare pas al procesului din mai multe puncte de vedere: etic, juridic, de mediu, lingvistic si tehnic. Asta a insemnat ca am putut atenua preocuparile etice fara a face compromisuri in ceea ce priveste performanta sau amploarea.

Christopher Akiki, cercetator BigScience, Universitatea Leipzig

BLOOM are mai multi parametri decat GPT-3 OpenAI si OPT MetaAI combinate (176 miliarde). Textul in 46 de limbi si dialecte poate fi generat de model, impreuna cu 13 limbaje de programare.

Potrivit BigScience, cercetatorii pot folosi BLOOM pe un furnizor de cloud pentru mai putin de 40 USD/ora.

La fel ca si in cazul GPT3 (model auto-regresiv pentru predictia urmatorului token), BLOOM a fost instruit pe 46 de limbi, inclusiv cod, iar arhitectura sa este similara.

Acelasi set de date a fost folosit pentru a antrena mai multe modele mai mici. Sunt disponibile urmatoarele variante ale BLOOM :

Aceasta este doar o fractiune din ceea ce urmeaza. Pe masura ce oamenii continua sa experimenteze si sa modifice modelul, capacitatile lui BLOOM se vor imbunatati. BigScience a inceput sa lucreze pentru a-l face la fel de instructibil ca efortul lor anterior T0++. Ei vor adauga in viitor mai multe limbi, vor comprima modelul intr-o versiune mai utilizabila cu acelasi nivel de performanta si il vor folosi ca punct de plecare pentru arhitecturi mai complexe.

Adauga un Comentariu

> Newsletter <
Vă interesează Știrile tehnice și multe altele?

Abonati-va