Ce e "edge"-ul?
Edge (marginea) e orice dispozitiv care nu e un server central. În arhitectura cloud clasică:
Cloud (datacenter)
↑↓
Internet
↑↓
┌──────────────┴──────────────┐
↓ ↓ ↓
Laptop Telefon Senzor IoT
(edge) (edge) (edge)
Edge = orice procesare care se întâmplă aproape de sursa datelor, nu într-un datacenter îndepărtat.
Exemple de edge
| Dispozitiv | Edge? | CPU/RAM tipic | |---|---|---| | Telefon mobil | ✅ | 8 nuclee, 8 GB | | Laptop | ✅ | 16 nuclee, 32 GB | | Raspberry Pi | ✅ | 4 nuclee, 8 GB | | Router Wi-Fi | ✅ | 2 nuclee, 512 MB | | Senzor industrial | ✅ | 1 nucleu, 256 KB | | Server AWS | ❌ | 128 nuclee, 1 TB |
Edge AI — inteligență pe dispozitiv
Edge AI = rulezi un model de machine learning direct pe dispozitiv, fără să trimiți datele în cloud.
De ce Edge AI în loc de cloud
| Motiv | Cloud AI | Edge AI | |---|---|---| | Latență | 50-500 ms (rețea) | < 1 ms (local) | | Confidențialitate | Datele pleacă de pe dispozitiv | Datele nu pleacă | | Disponibilitate | Depinde de internet | Funcționează offline | | Cost | Plătești per inferență | Un cost fix (hardware) | | Actualizări | Ușor (modelul e în cloud) | Greu (trebuie distribuit) |
Aplicații reale
| Aplicație | De ce Edge | Model tipic | |---|---|---| | Keyboard predictiv | Latența trebuie să fie sub 10 ms | Transformer mic (~10M parametri) | | Fațial recognition pe telefon | Datele biomedice nu pleacă | MobileNet, FaceNet | | Comandă vocală ("Hey Siri") | Funcționează și offline | CNN pe spectrogramă | | Drone care evită obstacole | Latența sub 1 ms decisivă | YOLO tiny (~5M) | | Senzor industrial | Nu are internet | Model de 100 KB | | Airbag | Reacție în 5 ms | Arbore de decizie, nu rețea |
Cum rulează modelele pe edge
Tool-urile principale în 2026:
| Tool | Ce face | Hardware | |---|---|---| | llama.cpp | Rulează LLM-uri locale (cu sau fără GPU) | CPU, GPU, NPU | | Ollama | Wrapper peste llama.cpp, ușor de folosit | CPU, GPU, NPU | | Apple MLX | Optimizat pentru Apple Silicon (M1-M4) | Apple GPU, ANE | | TensorFlow Lite | Modele mici pe Android/iOS | CPU, GPU, DSP | | CoreML | Modele pe iOS | Apple Neural Engine | | ONNX Runtime | Cross-platform, orice model | CPU, GPU, NPU | | ExecuTorch | Modele PyTorch pe dispozitiv | CPU, GPU, NPU |
Exemplu practic — Ollama pe un laptop
# Instalezi Ollama, descarci un model, rulezi local
ollama pull llama3.2:1b
ollama run llama3.2:1b "Explică edge AI în 3 propoziții"
Toate datele rămân pe laptop. Zero cloud, zero latență rețea, zero cost per inferență.
Limitări Edge AI
- Memorie: Un model de 7B parametri în fp16 ocupă ~14 GB RAM — nu încape pe un telefon
- Baterie: O inferență消耗 multă energie — poți face doar câteva sute pe o baterie de telefon
- Actualizări: Dacă modelul se îmbunătățește, trebuie distribuită o nouă versiune — nu e instant ca în cloud
- Precizie: Modelele edge sunt mai mici, deci mai puțin precise decât cele mari din cloud
AWS Lambda — serverless computing
AWS Lambda e un serviciu care rulează codul tău fără să ai servere. Nu aloci mașini, nu plătești idle — doar per execuție.
Cum funcționează
# Lambda function în Python
import json
def lambda_handler(event, context):
# event = datele trimise de aplicație
text = event['text']
# Procesare serverless
result = do_something(text)
return {
'statusCode': 200,
'body': json.dumps(result)
}
Nu știi unde rulează, nu știi pe ce mașină, nu știi câte instanțe sunt — AWS se ocupă de toate.
Lambda pentru AI
Lambda nu e făcută pentru AI greu (GPU, modele mari), dar poate fi folosită pentru:
| Ce funcționează | Ce nu | |---|---| | Preprocesare date înainte de AI | Training modele (GPU needed) | | Inferență cu modele mici (< 100 MB) | Modele mari (7B+ nu încape în 10 GB RAM) | | Orchestrare între servicii AI | Inferență în timp real (< 50 ms) | | API proxy pentru modele cloud | Stare persistentă |
Arhitectură mixtă — Edge + Lambda + Cloud
Arhitectura tipică a unei aplicații AI moderne:
┌──────────────────────┐
│ Cloud (GPU masiv) │
│ Training modele, │
│ RAG + embeddings │
└──────┬───────────────┘
│ API
┌──────▼───────────────┐
│ AWS Lambda │
│ Preprocesare, │
│ caching, rutare │
└──────┬───────────────┘
│ HTTP
┌──────────────┼──────────────┐
↓ ↓ ↓
┌───────────┐ ┌───────────┐ ┌──────────┐
│ Telefon │ │ Laptop │ │ IoT │
│ Edge AI │ │ Edge AI │ │ Edge AI │
│ (fața) │ │ (Ollama) │ │ (senzor) │
└───────────┘ └───────────┘ └──────────┘
Flow-ul real:
- Edge face inferența rapidă (milisecunde), local, fără internet
- Dacă edge nu poate (model prea complex, nu știe răspunsul) → trimite la Lambda
- Lambda face preprocesare, caching, rutare → dacă e necesar, trimite la Cloud GPU
- Cloud face inferența grea (model mare, RAG pe baza de date vectorială)
Costuri
| Opțiune | Cost per inferență | Latență | Confidențialitate | |---|---|---|---| | Edge AI (local) | ~$0 (doar hardware) | < 1 ms | ✅ Datele nu pleacă | | AWS Lambda | $0.000002 per execuție | 10-100 ms | ✅ Poate cripta | | Cloud GPU (SageMaker) | $0.01-0.50 per inferență | 200-2000 ms | ❌ Datele merg în cloud |
Edge AI în contextul tău
Biblioteca ta rulează deja pe Cloud Run (echivalentul Google al Lambda-ului). Când un utilizator face o căutare semantică:
- Browser → Cloud Run — cererea ajunge la server
- Cloud Run → Ollama — serverul cere embedding-ul
- Cloud Run → pgvector — caută articolul similar
- Cloud Run → Browser — răspunsul
Dacă ai muta căutarea pe edge:
- Modelul de embedding ar rula în browser (WebAssembly + ONNX)
- Căutarea ar fi instantă, fără rețea
- Dar ai descărca ~100 MB de model în browser — compromis
Concluzie
Edge AI și serverless (Lambda) sunt complementare, nu concurente:
- Edge = viteză, confidențialitate, offline — pentru decizii rapide și locale
- Lambda/Cloud Run = elasticitate, putere de calcul — pentru procesare grea și caching
- Cloud GPU = inteligență maximă — pentru ce nu poate face edge-ul
Alegerea între ele depinde de: câtă latență accept, cât de sensitivă e datele, și cât pot plăti per inferență.