Cum funcționează DeepSeek — Arhitectura care a zguduit industria AI

DeepSeek a demonstrat că se poate concura cu modelele de frontieră americane la o fracțiune din cost. Acest articol analizează arhitectura Multi-head Latent Attention, Mixture of Experts, strategia de antrenare și de ce DeepSeek e poate cea mai importantă inovație în AI din 2024-2025.

Avansat 22 min 06 July 2026
DeepSeek AI LLM MoE MLA atenție transformer open source R1

Context: Șocul DeepSeek

În decembrie 2024, DeepSeek a lansat DeepSeek-V3, un model de 671B parametri (37B activi per token) care egala sau depășea GPT-4 pe benchmark-uri standard. Partea șocantă: fusese antrenat cu doar ~$5.5M, de ~10× mai puțin decât estimările pentru GPT-4.

În ianuarie 2025, DeepSeek-R1 a demonstrat reasoning autonom (chain-of-thought fără supervizare umană) la nivelul OpenAI o1, fiind complet open-source.

Acest articol explică cum au reușit.

1. Arhitectura generală

Mixture of Experts (MoE)

DeepSeek nu e un model monolitic. E o colecție de sub-modele specializate (experți) dintre care doar un subset e activat pentru fiecare token.

Arhitectura:

Input token
    │
    ▼
┌─────────────────────────────────┐
│      Router (gating network)     │
│  Selectează top-k experți        │
└─────────────────────────────────┘
    │            │
    ▼            ▼
┌────────┐  ┌────────┐
│ Expert │  │ Expert │  ... (256 de experți în total)
│   #7   │  │  #42   │
└────────┘  └────────┘
    │            │
    └─────┬──────┘
          ▼
   Combinație ponderată
          │
          ▼
    Output token

Specificații MoE în DeepSeek-V3:

  • 256 de experți per strat FFN
  • Top-2 activi per token (doar 2 din 256)
  • 37B parametri activi din 671B totali
  • Router-ul e un model mic (~1M parametri) antrenat să învețe care experți sunt buni pentru care tip de token

De ce MoE? Un model dens de 671B ar fi de ~18× mai scump la inferență. Cu MoE, costul e proporțional cu parametrii activi (37B), nu cu cei totali.

Multi-head Latent Attention (MLA)

Aceasta e inovația cheie a DeepSeek. Atenția standard (MHA — Multi-Head Attention) are un cost de memorie mare la inferență din cauza KV cache-ului.

Problema KV cache în MHA standard:

La generare, fiecare token nou trebuie să „asculte" toți tokenii precedenți. Pentru asta, salvăm cheile (K) și valorile (V) ale fiecărui token în cache. La un model cu 80 de straturi, 32 de capete, dimensiune 128 per cap, avem:

$$KV_{cache} = 2 \cdot n_{layers} \cdot n_{heads} \cdot d_{head} \cdot n_{tokens} \cdot \text{bytes}$$

Pentru un context de 128K tokeni: ~2 TB de memorie. Inviabil.

Soluția DeepSeek (MLA):

În loc să salvăm K și V explicit, comprimăm fiecare cap într-un spațiu latent de dimensiune mult mai mică ($d_c \ll d_{head} \cdot n_{heads}$).

$$k_i = W_{UK} \cdot \text{RoPE}(W_{DK} \cdot h_i)$$ $$v_i = W_{UV} \cdot (W_{DV} \cdot h_i)$$

unde $W_{DK}, W_{DV}$ sunt matrici de down-projection (comprimare) și $W_{UK}, W_{UV}$ de up-projection (decomprimare).

Rezultat: KV cache se reduce cu ~75% față de MHA standard, cu pierdere neglijabilă de acuratețe.

DeepSeekMoE — îmbunătățiri față de MoE clasic

DeepSeek a modificat arhitectura MoE standard în două moduri:

  1. Fine-grained expert segmentation — în loc de 8-16 experți mari (cum avea Mixtral 8×7B), DeepSeek folosește 256 de experți mici. Asta permite o specializare mai fină și o combinație mai flexibilă.

  2. Shared experts — pe lângă experții specializați, există câțiva experți partajați care sunt activi întotdeauna. Aceștia captează cunoștințele generale comune, lăsând experții rămași să se specializeze pe domenii înguste.

2. Antrenamentul

Costul șocant de mic

| Model | Parametri | Cost antrenare | Hardware | |---|---|---|---| | GPT-4 (estimat) | ~1.8T (dens) | ~$100M+ | 25K GPU H100, ~90 zile | | Llama 3.1 405B | 405B (dens) | ~$60M | 30K GPU H100 | | DeepSeek-V3 | 671B (MoE, 37B activi) | ~$5.5M | 2K GPU H800, ~55 zile |

Cum au reușit?

a) FP8 mixed precision training

DeepSeek a fost unul din primele modele mari antrenate în FP8 (8-biți în virgulă flotantă) la scară. NVIDIA H800 suportă FP8 nativ, ceea ce dublează throughput-ul față de FP16.

Provocarea: antrenarea în FP8 introduce erori de rotunjire. DeepSeek a compensat cu:

  • Block-wise quantization — scale-uri diferite per bloc de parametri
  • Cumulative loss scaling — acumularea erorilor e monitorizată și corectată

b) Pipeline parallelism optimizat

DeepSeek a proiectat un pipeline scheduler custom (DualPipe) care elimină timpul mort din pipeline-ul clasic. În loc ca GPU-urile să aștepte în gol, ele încep pre-procesarea următorului microbatch imediat.

c) Multi-Token Prediction (MTP)

O inovație mai puțin cunoscută: în loc să prezică doar următorul token, DeepSeek antrenează capete auxiliare care prezic următorii N tokeni simultan.

$$L = L_{next} + \lambda \cdot \sum_{i=2}^{N} L_{i\text{-th}}$$

Asta forțează modelul să învețe reprezentări mai bogate — dacă vrei să prezici al 3-lea token de acum, trebuie să înțelegi structura mai profundă a frazei, nu doar cuvântul imediat următor.

3. DeepSeek-R1: Reasoning autonom

R1 e punctul în care DeepSeek a trecut de la „un model bun" la „un model care schimbă paradigma".

Tehnica: Reinforcement Learning fără SFT

Majoritatea modelelor de reasoning (OpenAI o1, o3) sunt antrenate în două faze:

  1. SFT (Supervised Fine-Tuning) — înveți modelul pe exemple de reasoning scrise de oameni
  2. RL (Reinforcement Learning) — optimizezi recompensa

DeepSeek-R1 a demonstrat că poți sări peste faza 1. Au antrenat modelul direct cu RL, recompensând răspunsurile corecte. Modelul a descoperit singur cum să raționeze:

  • A învățat să genereze lanțuri de gândire (chain-of-thought)
  • A învățat să-și verifice singur răspunsurile
  • A învățat să facă backtracking — când vede că o cale e greșită, revine și încearcă alta

Momentul „Aha!": În timpul antrenării, cercetătorii DeepSeek au observat că modelul începea să genereze tokeni de genul ... stai, asta nu e corect, să încerc altceva ... complet nesolicitat. Modelul își dezvoltase singur abilitatea de a-și critica propriul reasoning.

Distilarea către modele mici

DeepSeek a luat apoi modele mai mici (1.5B, 7B, 14B, 32B, 70B parametri) și le-a antrenat pe gândurile lui R1 (distilare). Rezultatul:

| Model | Dimensiune | Performanță pe MATH-500 | |---|---|---| | DeepSeek-R1-Distill-Qwen-1.5B | 1.5B | 83.2% | | DeepSeek-R1-Distill-Qwen-7B | 7B | 92.8% | | DeepSeek-R1-Distill-Llama-70B | 70B | 94.1% | | GPT-4o | ~dens | 76.6% | | OpenAI o1 | ~? | ~95% |

Un model de 1.5B parametri (rulează pe un telefon) distilat din R1 bate GPT-4o la matematică. Asta e extraordinar.

4. Ingineria inferenței

DeepSeek nu e doar eficient la antrenare, ci și la inferență.

Prefix caching

DeepSeek cache-uiește reprezentările intermediare ale prefixelor comune. Dacă 1.000 de utilizatori pun aceeași întrebare de bază, calculul pentru prefix se face o singură dată.

Speculative decoding

Pentru generație, DeepSeek folosește un model draft mic (de obicei o variantă distilată de 1.5B) care generează mai mulți tokeni rapid. Modelul mare verifică apoi în paralel dacă tokenii sunt corecți.

$$P(\text{acceptare draft}) \approx \min\left(1, \frac{p_{\text{large}}(x)}{p_{\text{draft}}(x)}\right)$$

În practică, draft-ul e acceptat în ~70-80% din cazuri, dând un speedup de ~2-3× la inferență.

Dynamic batching

DeepSeek agregă cererile în loturi dinamice, maximizând utilizarea GPU. Cererile scurte sunt grupate împreună, cererile lungă sunt procesate separat.

5. Impactul asupra industriei

5.1 „DeepSeek moment" (ianuarie 2025)

Când DeepSeek a anunțat costul de antrenare de $5.5M, acțiunile NVIDIA au scăzut cu ~17% într-o singură zi. Logica pieței: „dacă DeepSeek poate antrena un model de top cu 2K GPU-uri H800, poate nimeni nu mai are nevoie de 100K GPU-uri B200."

Realitatea e mai nuanțată:

  • DeepSeek a folosit H800 (versiunea cu lățime de bandă redusă pentru China)
  • Au optimizat fiecare aspect la limită — asta nu e trivial
  • Dar principiul rămâne: eficiența poate înlocui puterea brută

5.2 Deschiderea (open source)

DeepSeek a publicat:

  • Weight-urile modelelor (V3, R1, fiecare dimensiune)
  • Technical reports detaliate (arhitectură, antrenare, optimizări)
  • Tokenizatorul custom

Asta a permis comunității să ruleze modele de nivel GPT-4 local, pe hardware modest. Un DeepSeek-R1-Distill-Qwen-7B rulează pe un MacBook M3 cu ~20 tokeni/secundă.

5.3 Limitări și controverse

  1. Export controls: DeepSeek e o companie chineză, supusă restricțiilor SUA (H800 vs H100/B200)
  2. Cenzura: Modelele DeepSeek refuză să răspundă la întrebări despre anumite subiecte (Partidul Comunist Chinez, Tiananmen, etc.)
  3. Date de antrenare: Nu se știe exact ce date au folosit — există suspiciuni de „distilare" din API-urile GPT-4 (antrenarea unui model pe output-urile altuia)
  4. Verificabilitatea costurilor: $5.5M e costul raportat — e posibil să nu includă cercetarea fundamentală anterioară

6. Lecții pentru arhitectura modelelor

DeepSeek oferă câteva lecții valabile pentru orice arhitectură de model:

  1. MoE bine făcut bate dens — cu 256 de experți și shared experts, ai acoperire mai bună decât un model dens de aceeași dimensiune activă
  2. Atenția e bottleneck-ul — MLA va deveni standardul în următorii ani (DeepSeek, acum și alții, adoptă variante)
  3. FP8 e suficient — nu ai nevoie de FP16/32 pentru antrenare dacă gestionezi corect erorile
  4. RL > SFT pentru reasoning — modelul descoperă strategii mai bune decât poate furniza un om prin exemple
  5. Distilarea transferă abilități emergente — modele mici pot dobândi capabilități de reasoning pe care nu le-ar fi dezvoltat singure

Concluzie

DeepSeek nu e doar „încă un model". E o demonstrație că ingeniozitatea arhitecturală poate compensa resursele limitate. A redus costul de intrare în competiția AI de la sute de milioane la câteva milioane de dolari, a deschis totul, și a forțat întreaga industrie să-și reevalueze abordarea.

Pentru o înțelegere mai profundă a fundamentelor, vezi Mașina Turing, Viitorul AI, și Memory Wall.

Referințe

  • DeepSeek-V3 Technical Report (arXiv, dec 2024)
  • DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning (arXiv, ian 2025)
  • Multi-head Latent Attention — DeepSeek (2024)
  • DeepSeekMoE: Towards Ultimate Expert Specialization in MoE (2024)
  • https://deepseek.com