Kimi K3: otvoreni model sa 2,8 biliona parametara
Moonshot AI objavio je pondere modela Kimi K3 na Hugging Faceu. Reč je o najvećem modelu do sada čije se težine mogu slobodno preuzeti, a na nezavisnim rang-listama ulazi u sam vrh.
- Moonshot AI objavio je 27. jula pondere modela Kimi K3, sa 2,8 biliona ukupnih parametara najvećeg modela čije su težine javno dostupne.
- Arhitektura je Mixture-of-Experts: po tokenu se aktivira oko 104 milijarde parametara, odnosno 16 od 896 eksperata.
- Kontekst je milion tokena, ulaz je nativno tekst i slika, a repozitorijum na Hugging Faceu težak je oko 1,56 terabajta.
- Na indeksu Artificial Analysis model je treći, na Vals AI listi drugi, a prvi je u Frontend Code Areni.
Kineska kompanija Moonshot AI objavila je 27. jula na platformi Hugging Face pondere svog novog modela Kimi K3, dan posle nedelje za koju je objava bila najavljena. Sa 2,8 biliona ukupnih parametara, to je najveći model čije se težine mogu slobodno preuzeti, a na nezavisnim rang-listama nalazi se odmah iza najjačih zatvorenih sistema američkih kompanija.
Podatak koji ovu objavu čini zanimljivijom od same brojke jeste pozicija na listama. Na indeksu inteligencije koji vodi Artificial Analysis, Kimi K3 je treći, iza Anthropicovog modela Claude Fable 5 i OpenAI-jevog GPT-5.6 Sol Max. Na indeksu Vals AI je drugi, a u Frontend Code Areni, koja meri generisanje koda za korisnički interfejs, prvi. Do sada su otvoreni modeli po pravilu zaostajali za komercijalnim vrhom po nekoliko generacija.
Šta stoji iza brojke od 2,8 biliona
Ukupan broj parametara ovde ne znači da se svi koriste odjednom. Kimi K3 koristi arhitekturu Mixture-of-Experts, u kojoj se za obradu svakog tokena aktivira samo deo mreže: prema zvaničnoj model kartici, oko 104 milijarde parametara, odnosno 16 od ukupno 896 eksperata. Model prihvata kontekst od 1.048.576 tokena, dakle nešto preko milion, i nativno obrađuje tekst i slike, uz sopstveni vizuelni enkoder MoonViT-V2 od 401 milion parametara.
Za dugačak kontekst zaslužan je novi mehanizam pažnje Kimi Delta Attention, u kombinaciji sa varijantom latentne pažnje sa više glava. Kompanija tvrdi da nova arhitektura donosi oko 2,5 puta bolju ukupnu efikasnost skaliranja u odnosu na prethodni model Kimi K2. Ta tvrdnja dolazi od proizvođača i još nije nezavisno proverena.
Ponderi se objavljuju pod sopstvenom licencom kompanije, nazvanom Kimi K3 License. Podaci i kod za trening nisu objavljeni, pa je preciznije reći da je model otvorenih pondera, a ne otvorenog koda. Kroz platformu Kimi dostupan je i pristup preko interfejsa kompatibilnog sa OpenAI i Anthropic standardima, što praktično znači da postojeće integracije mogu da se prebace uz malo izmena.
Da li otvoreni modeli zaista sustižu zatvorene?
Analitičar Nathan Lambert ocenjuje da se razmak između otvorenih i zatvorenih modela, o kojem se do skoro govorilo kao o šest do devet meseci, sada sveo na tri do pet meseci. To je procena, ne merenje, i oslanja se na rang-liste koje mere uske skupove zadataka.
Ovde je važno reći i šta objava ne dokazuje. Rezultat na indeksu inteligencije nije dokaz da model bolje radi u konkretnoj proizvodnoj upotrebi, jer rang-liste mere ograničen skup zadataka i podložne su prilagođavanju. Prvo mesto u Frontend Code Areni govori o generisanju koda za interfejs, ne o pouzdanosti modela u pravnim, medicinskim ili finansijskim primenama. Nezavisne provere efikasnosti i kvaliteta tek predstoje.
Praktična granica je fizička. Repozitorijum na Hugging Faceu težak je oko 1,56 terabajta, a pokretanje modela ove veličine traži klaster grafičkih procesora kakav ima malo ko izvan velikih kompanija i istraživačkih centara. Slobodno preuzimanje ne znači i slobodno korišćenje na kućnom računaru. Ono što se menja jeste ko sme da testira, doradi i pokrene model bez posrednika, a to je razlika koja pogađa i pitanje suvereniteta nad podacima.
Da li otvoreni ponderi za vas znače stvarnu alternativu komercijalnim servisima, ili je razlika u ceni infrastrukture i dalje prevelika?
