CS EN
Napsat nám

MAXX2.0

Postaveno od nuly

Český jazykový model postavený od nuly. Tyká ti, počítá a dohledává fakta v české Wikipedii.

Vyzkoušet MAXX Chat
Zpět na všechny projekty

Jen čeština. Od nuly.

MAXX 2.0 je český jazykový model, který jsme postavili od nuly, ne úpravou cizího modelu. Má vlastní tokenizér, učil se jen z češtiny a v chatu vystupuje jako Maxx.

Čeština dovnitř. Maxx ven.

Český text ~20 mld. tokenů
Tokenizace cs32k
Trénink základu 156 h
Učení rozhovoru SFT · DPO · RL
MAXX 2.0 0,67 mld.

  • Povídá česky

    Jako Maxx ti tyká a odpovídá přirozenou češtinou.

  • Kalkulačka

    Sám si ji zavolá na výpočty, kalendářní data a převody jednotek.

  • Wikipedie

    Fakta si sám dohledá v české Wikipedii.

Základ se nejdřív naučil češtinu z ~20 mld. tokenů. Pak se učil povídat: z desítek tisíc českých rozhovorů, z porovnání lepších a horších odpovědí a z úloh, jejichž výsledek jde ověřit.

Splněná předpověď

Malý model. Celý v češtině.

Základ jsme natrénovali na jediné pronajaté grafické kartě. Na textech, které při tréninku neviděl, dosáhl 0,878 bitu na bajt, a splnil tak předpověď 0,881. Čím menší číslo, tím lépe model češtinu předvídá.

Miliardy parametrů
0,67

455 M v síti, která počítá, a ~0,21 mld. v tabulce, do které jen nahlíží.

Miliard českých tokenů
20

Zhruba tolik kousků českého textu prošlo tréninkem základu.

Hodin tréninku
156

Zhruba tolik se základ učil na jediné pronajaté kartě RTX 5090.

Jen čeština
CS

Vlastní český tokenizér a jen česká data.

Z čeho se učil.

Jen z českých textů: z webu, Wikipedie, Wikizdrojů a vzdělávacích PDF. Na konci tréninku dostaly nejvíc prostoru ty nejlépe hodnocené.

Český web

Texty z českých webů. Nejlépe hodnocená desetina dostala na konci nejvíc prostoru.

Wikipedie

Česká encyklopedie: fakta a výklad.

Wikizdroje

Hlavně starší česká literatura, v menším podílu.

Vzdělávací PDF

Výukové texty a dokumenty, které něco vysvětlují.

A jak si vede ve světě?

S nadsázkou: MAXX 2.0 v indexu Artificial Analysis není. Má 455 M parametrů a mluví jen česky.

  1. Gemini 4 Carbon59
  2. Claude Opus 5.558
  3. GPT-6 Astra57
  4. Muse Wonder Full50
  5. Kimi K3.1 Pro46
  6. Grok 4.735
  7. Qwen3.8 Max34
  8. DeepSeek V4.1 Flash32
  9. GLM-5.332
  10. Mistral Large 4 Preview25
  11. MAXX 2.00
Zdroj: Artificial Analysis Intelligence Index v5.0, říjen 2026. U každého modelu jeho nejlepší varianta.

Pro zvídavé.

Architektura, data a trénink podrobně
Architektura
Transformer typu decoder-only: 24 vrstev, šířka 1 280, 20 hlav pozornosti
Kontext
2 048 tokenů
Tokenizér
Vlastní český cs32k: 32 768 kousků slov
Parametry
455 M v transformeru a ~0,21 mld. v bigramové tabulce (paměť dvojic kousků slov), celkem ~0,67 mld.
Data
~20 mld. českých tokenů: web (FineWeb2 a jeho nejlépe hodnocených 10 %, FineWeb2-HQ), vzdělávací PDF (FinePDFs-edu), Wikipedie a Wikizdroje
Závěr tréninku
Posledních ~2,5 mld. tokenů: 72 % nejlépe hodnocený web, 18 % Wikipedie a Wikizdroje, 10 % vzdělávací PDF
Trénink základu
Jedna pronajatá RTX 5090, ~156 hodin, dokončeno 26. 10. 2026
Kvalita základu
0,878 bitu na bajt na textech mimo trénink (předpověď byla 0,881)
Učení rozhovoru
SFT na desítkách tisíc českých rozhovorů, které napsaly a zkontrolovaly učitelské modely a které prošly korekturou; pak DPO a RL na ověřitelných úlohách (slovní úlohy, pokyny, fakta z Wikipedie)

Ke kódu MAXX 2.0 píšeme českou učebnici, která vysvětluje každý jeho řádek.