Nagađa se da će GPT-5 biti inteligentniji od ljudi. Kada stiže i što bi mogao imati?


GPT-5 se navodno još ne trenira

Direktor OpenAI-ja Sam Altman izjavio je nakon toga, sredinom travnja, da se GPT-5 za sada još ne trenira.

Štoviše, u nedavnom svjedočenju pred američkim Kongresnim odborom za pravosuđe o mogućnostima i rizicima umjetne inteligencije pozvao je zakonodavce da reguliraju umjetnu inteligenciju i predložio stvaranje nove državne agencije koja bi licencirala i testirala najmoćnije AI modele. Također je upozorio na moguće zloupotrebe tehnologije kao što je ChatGPT za širenje dezinformacija, emocionalnu manipulaciju i ciljanje dronovima.

Razvoj modela GPT

Za bolje razumijevanje mogućih potencijala modela GPT-5 podsjetimo ukratko kako su se razvijali njegovi prethodnici.

GPT-1 (Generative Pre-trained Transformer 1) bio je prvi veliki jezični model (LLM) iz serije GPT koji je kompanija OpenAI razvila 2018. To je bio jezični model temeljen na tzv. transformer arhitekturi, a treniran je na golemom skupu podataka BooksCorpus. Imao je oko 117 milijuna parametara, odnosno varijabli čije se vrijednosti prilagođavaju tijekom obuke da bi se ustanovilo kako su se ulazni podaci transformirali u željeni izlaz; primjerice, parametri mogu biti težine veza u umjetnoj neuronskoj mreži. To je za to vrijeme bio impresivan broj premda daleko manji nego u kasnijim verzijama. OpenAI s tim modelom nije izlazio u javnost.

OpenAI je 2019. razvio GPT-2 koji je imao 10 puta više parametara i podataka od prethodnika. Bio je to vrhunski LLM tog vremena.

OpenAI je u 2020. predstavio GPT-3, međutim, javna probna verzija objavljena je tek 30. studenog 2022. Od tada je više od 300 aplikacija počelo koristiti GPT-3 za razne funkcije kao što su pretraživanje, razgovor, dovršavanje teksta, izrada koda i sl. S ukupno 175 milijardi parametara, GPT-3 postao je jedan od najvećih jezičnih modela. Budući da je pokazao sposobnost generiranja vrlo koherentnih i prirodnih tekstova te rješavanja različitih jezičnih zadataka s iznimnim rezultatima, digao je veliku prašinu i privukao 100-tinjak milijuna korisnika u samo dva mjeseca, što ga je učinilo najbrže rastućom online aplikacijom u povijesti.

Prava prekretnica bio je GPT-3.5, koji je postao temelj ChatGPT-ja. On je razvijen 2021., a krajem prošle godine osvojio je svijet. Harvard Business Review opisao ga je kao "točku prekretnicu" za AI.

GPT-4, model koji je ChatGPT-ju osigurao veću točnost i smanjio haluciniranje, odnosno stvaranje krivih i štetnih rezultata, pokrenut je početkom 2023. To je veliki multimodalni model (koji prihvaća tekstualne i slikovne ulaze i stvara tekstualne izlaze), a može rješavati teške probleme s većom točnošću od bilo kojeg ranijeg modela zahvaljujući širem općem znanju i naprednim sposobnostima rješavanja problema. GPT-4 ima značajno dulju kratkoročnu memoriju od prethodne verzije GPT-3.5. Dok GPT-3.5 može pratiti razgovore do oko 8000 riječi, GPT-4 može zapamtiti do 64.000 riječi, što mu omogućuje generiranje točnijih i koherentnijih odgovora tijekom duljih razgovora ili tekstualnih ulaza. GPT-4 je vjerojatno treniran pomoću trilijuna riječi teksta i mnogo tisuća moćnih računalnih čipova, a proces je koštao više od 100 milijuna dolara. On također može povlačiti tekst s web stranica kada mu se u upitu podijeli URL. Dostupan je putem API-a i za premium korisnike ChatGPT-ja.

Što bi mogao biti GPT-5?

OpenAI je službeno objavio da će GPT-4.5 biti predstavljen u "rujnu ili listopadu 2023." kao "prijelazna verzija između GPT-4 i nadolazećeg GPT-5". Ovdje je važno istaknuti da brojevi verzija ne znače previše; nije ključno je li neki model označen s 4.5 ili s 5. Važno je koliko će sposobnosti neke nove verzije biti unaprijeđene.

GPT-5 je za sada još uvijek hipotetski sustav o čijem razvoju ili mogućnostima nema službenih informacija. Međutim, na temelju nekih predviđanja i nagađanja, mogao bi imati sljedeće značajke:

- mnogo više parametara

Neke tehnološke stranice i blogeri nagađaju da bi mogao imati 100 puta više parametara od GPT-3, odnosno oko 17.5 trilijuna parametara, što bi ga učinilo jednom od najvećih neuronskih mreža ikad stvorenih.

No ovdje treba istaknuti da se i ranije nagađalo da će GPT-4 imati mnogo više parametara nego GPT-3.5, što se nije dogodilo, i da je Altman sredinom travnja izjavio da neće značajno povećavati modele. "Mislim da smo na kraju ere u kojoj će to biti ovi gigantski modeli", rekao je na skupu na MIT-ju. "Učinit ćemo ih boljima na druge načine", dodao je. Drugim riječima, lako je moguće da broj parametara neće nastaviti drastično rasti.

- koristio bi računalnu moć veću od svih superračunala zajedno

Jedna od špekulacija je da bi GPT-5 mogao zahtijevati 200 do 400 puta više računalne moći od GPT-3, koji je tijekom obuke koristio oko 3.14 exaflopa. To bi značilo da bi GPT-5 mogao koristiti do 1.26 zettaflopa (1 zettaflop = 1000 exaflopa) računalne moći, što je više od ukupne računalne snage svih superračunala na svijetu. Tu razinu računalne snage možemo pokušati shvatiti ako zamislimo da svaka osoba na Zemlji računa jednu matematičku operaciju svake sekunde. Uz tu brzinu, čovječanstvu bi trebalo oko 32 milijarde godina da obavi ono što u sekundi može jedno računalo snage 1 zettaflopa. Računalna snaga na razini exaflopa, a osobito zettaflopa omogućuje izvršavanje vrlo složenih i zahtjevnih zadataka, poput simulacija velikih sustava, analiza velikih skupova podataka, umjetne inteligencije i dubokog učenja na vrlo visokoj razini.

Međutim, ovdje je važno istaknuti da računala koja bi mogla dostići moć mjerenu u zettaflopima za sada još ne postoje. Predviđa se da bi se mogla razviti do 2025. godine. Takva računala zahtijevala bi veliku količinu energije, memorije i komunikacijske propusnosti, ali i nove tehnologije kao što su fotonička komunikacija i memristor memorija.

- mnogo dulje pamćenje i stvaranje odnosa

Nagađa se da bi GPT-5 mogao raditi s drugačijom arhitekturom, s mnogo većom memorijom i duljim kontekstom te biti obučen s drugačijom funkcijom gubitka od GPT-3. Primjerice, dugoročna memorija mogla bi omogućiti stvaranje AI likova i prijatelja koji pamte osobnost korisnika i imaju sjećanja koja mogu trajati godinama. Osim toga, u takve sustave mogle bi se učitati cijele biblioteke knjiga i tekstualnih dokumenata u jednom kontekstualnom prozoru.

- istinska multimodalnost - tekst, slike, video i sl.

Očekuje se da će GPT-5 biti istinski multimodalan, odnosno da će moći primati, analizirati i generirati ne samo jezik i slike već i video i audio sadržaje te, prema nekima, i podatke o temperaturi u konkretnom prostoru. Ova multimodalnost trebala bi mu omogućiti da bolje razumije kontekstualne veze između različitih vrsta podataka, što može biti korisno za zadatke poput opisivanja slika, generiranja opisa za videozapise, prevođenja govora u tekst ili kombiniranja različitih modaliteta za bolje razumijevanje konteksta.

Hoće li postati prva umjetna opća inteligencija?

Procjena kada će se razviti umjetna opća inteligencija (AGI) nije jednostavna. Neki smatraju da je ona daleka budućnost, odnosno SF. Drugi su mnogo optimističniji. Prema izvršnom direktoru Googleovog DeepMinda Demisu Hassabisu, umjetna opća inteligencija mogla bi se razviti već "u roku od jednog desetljeća", štoviše, smatra da nas od nje dijeli "samo nekoliko godina". Postoje nagađanja da bi GPT-5 mogao dosegnuti AGI, što znači razinu inteligencije kojom bi mogao izvršiti bilo koji zadatak koji može obaviti čovjek. Neki vjeruju da bi GPT-5 mogao proći Turingov test, koji je razvio britanski matematičar i informatičar Alan Turing za provjeru sposobnosti računala ili stroja da se ponaša na način koji se ne razlikuje od ljudskog, što bi impliciralo da stroj posjeduje "ljudsku inteligenciju".

U Turingovom testu AI ocjenjuju suci koji s njim komuniciraju tekstualnim porukama. Ako ih AI uspješno prevari i postigne da oni njegove odgovore smatraju ljudskima, može se reći da je sustav "prošao" Turingov test. No neki stručnjaci smatraju da je Turingov test zastario i da AI uz određene trikove može zavarati suce. Stoga smatraju da bi pravi test bio da se AI-ju postave neki zahtjevni ljudski zadaci koje bi sam riješio od početka do kraja – primjerice, da sam osmisli i pokrene uspješan posao.