Spatii vectoriale in ML
Un spatiu vectorial e o multime de vectori inchisa la adunare si inmultire cu scalari. In ML, fiecare vector reprezinta un exemplu, iar fiecare dimensiune e o caracteristica.
Dimensiunea spatiului = numarul de caracteristici. Un dataset cu 100 de exemple a cate 20 de caracteristici traieste intr-un spatiu de dimensiune 20.
Norme si distante
- Norma L1 (Manhattan): ||x||1 = Σ|xi|
- Norma L2 (Euclidiana): ||x||2 = √Σxi²
- Distanta cosinus: cos(θ) = x·y / (||x||·||y||)
Norma L1 induce regularizare rara (Lasso), norma L2 regularizare neteda (Ridge).
Descompunerea in valori singulare (SVD)
Orice matrice A (m×n) poate fi descompusa: A = U·Σ·V^T
Aplicatii in ML:
- PCA: Σ contine varianta, U contine directiile principale
- Compresie: pastrezi doar primele k valori singulare
- Sisteme de recomandare: SVD pe matricea utilizatori × itemi (Netflix Prize)
Propagarea in retele neuronale
Inmultirea matriceala e operatia fundamentala: y = W·x + b
Pentru un batch de n exemple: Y = X·W^T + b, unde X e o matrice n×d. O singura inmultire de matrici proceseaza toate exemplele simultan.
Valori si vectori proprii
A·v = λ·v. Aplicatii: PCA (vectorii proprii ai matricei de covarianta), PageRank (vectorul propriu al matricei de adiacenta), spectral clustering.