Upoznajte “Groq”, AI čip koji ostavlja Grok Elona Muska u prašini

Groq, tvrtka za AI čipove, želi da svi zaborave na zlobnog chatbota Elona Muska s gotovo istim imenom, Grok. Munjevito brze demonstracije Groqa postale su viralne ovog vikenda, zbog čega trenutne verzije ChatGPT-a, Geminija, pa čak i Groka izgledaju tromo. Groq tvrdi da pruža “najbrže velike jezične modele na svijetu”, a testovi trećih strana govore da bi ta tvrdnja mogla biti opravdana.

U djeliću sekunde Groq proizvede stotine riječi u činjeničnom odgovoru, usput citirajući izvore, prema demonstraciji objavljenoj na X. U drugoj demonstraciji, osnivač i izvršni direktor Jonathon Ross dopustio je voditelju CNN-a da vodi verbalni razgovor u stvarnom vremenu s AI chatbotom na drugom kraju svijeta na televiziji uživo. Iako su ChatGPT, Gemini i drugi chatbotovi impresivni, Groq bi ih mogao učiniti munjevito brzima. Dovoljno brz za praktične slučajeve upotrebe u stvarnom svijetu.

Groqov AI čip ruši rekorde brzine

Groq stvara AI čipove nazvane jezične procesorske jedinice (LPU), za koje se tvrdi da su brže od Nvidijinih grafičkih procesorskih jedinica (GPU). Nvidijini GPU-ovi općenito se smatraju industrijskim standardom za pokretanje AI modela, ali prvi rezultati pokazuju da bi ih LPU-ovi mogli izbaciti iz vode.

Groq je “motor za zaključivanje”, a ne chatbot kao što su ChatGPT, Gemini ili Grow. Pomaže ovim chatbotovima da rade nevjerojatno brzo, ali ih ne zamjenjuje u potpunosti. Na Groqovoj web stranici možete testirati različite chatbotove i vidjeti koliko brzo rade pomoću Groqovih LPU-ova.

Groq proizvodi 247 tokena/sekundi u usporedbi s Microsoftovih 18 tokena/sekundi, prema testu treće strane Artificial Analysisa objavljenom prošli tjedan. To znači da bi ChatGPT mogao raditi više od 13 puta brže da radi na Groqovim čipovima.

AI chatbotovi kao što su ChatGPT, Gemini i Grok mogli bi biti znatno korisniji da su brži. Jedno trenutno ograničenje je da ti modeli ne mogu pratiti ljudski govor u stvarnom vremenu; neka kašnjenja čine razgovore robotskima. Google je nedavno lažirao svoj Gemini demo kako bi izgledao kao da Gemini može voditi multimodalni razgovor u stvarnom vremenu, iako to ne može. Ali s Groqovim povećanim brzinama, taj bi video mogao biti stvarnost.

Prije Groqa, Ross je bio suosnivač Googleovog odjela za AI čipove, koji je proizvodio vrhunske čipove za treniranje AI modela. S LPU-ima, Ross kaže da Groq zaobilazi dva LLM uska grla na kojima GPU-i i CPU-i zapinju: gustoću računanja i propusnost memorije.

Ime Groq dolazi od Stranger in a Strange Land, znanstvenofantastične knjige Roberta Heinleina iz 1961. Riječ znači “duboko i intuitivno razumjeti”. To je razlog zašto ga mnoge tvrtke s umjetnom inteligencijom koriste za opisivanje svojih proizvoda s umjetnom inteligencijom.

Ne samo da postoji Rossov Groq i Grok Elona Muska, već postoji i IT tvrtka Grok s omogućenom umjetnom inteligencijom. Grimes također ima igračku koju pokreće AI, Grok, navodno nazvanu po načinu na koji ona i Muskova djeca kažu “Grocket”. Međutim, Ross tvrdi da je njegov Groq bio prvi u 2016.

“Dobrodošao u Groqovu galaksiju, Elone”, stajalo je u postu na blogu Rossa u studenom, tri dana nakon što je Elon Musk objavio xAI-jevu verziju Groka. “Vidite, ja sam osnivač i izvršni direktor tvrtke koja se zove Groq”, rekao je Ross, pazeći da je Groq naziv zaštićenog znaka.

Iako Groq dobiva mnogo buke, ostaje za vidjeti imaju li njegovi AI čipovi istu skalabilnost kao Nvidijini GPU-ovi ili Googleovi TPU-ovi. AI čipovi ovih su dana glavni fokus izvršnog direktora OpenAI-ja Sama Altmana, koji čak razmišlja o njihovoj izradi. Groqove povećane brzine čipova mogle bi pokrenuti svijet umjetne inteligencije, stvarajući nove mogućnosti za komunikaciju u stvarnom vremenu s AI chatbotovima.