Fogalomtár – Neurális hálózatok és mélytanulás

A terület megértéséhez szükséges fogalmak definíciói és magyarázatai, ábécé rendben és tematikus bontásban.

Alapfogalmak

Mesterséges neuron (perceptron)

A neurális hálózatok alapegysége. Bemenő értékeket fogad (x₁, x₂ ... xₙ), megszorozza a megfelelő súlyokkal (w₁, w₂ ... wₙ), összeadja az eredményeket (+ bias), majd átbocsátja egy aktivációs függvényen.

output = f(w₁x₁ + w₂x₂ + ... + wₙxₙ + b)

Aktivációs függvény

Nemlineáris transzformáció a neuron kimenetére, amely lehetővé teszi, hogy a hálózat komplex összefüggéseket is megtanuljon. Leggyakoribb típusok:

ReLU – Rectified Linear Unit: max(0, x). Gyors és egyszerű.
Sigmoid – (0,1) intervallumba szorítja a kimenetet. Bináris osztályozásnál.
Softmax – Valószínűség-eloszlást állít elő. Többosztályos kimenetnél.
Tanh – (-1,1) intervallum, szimmetrikus. RNN-eknél elterjedt.

Rétegek (layers)

Bemeneti réteg (input layer): A nyers adatokat fogadja. Nincs tanulható paraméter.
Rejtett réteg (hidden layer): Közbülső feldolgozás. A mélység itt mérhető.
Kimeneti réteg (output layer): A végső predikciót adja.

Tanulással kapcsolatos fogalmak

Veszteségfüggvény (loss function)

A modell predikciójának és a valós értéknek a különbségét méri. A tanulás célja ennek minimalizálása. Tipikus példák:

MSE (Mean Squared Error): Regressziós feladatoknál.
Cross-entropy loss: Osztályozási feladatoknál.

Gradiens süllyedés (gradient descent)

Az optimalizálási algoritmus, amely a veszteségfüggvény gradiensével ellentétes irányban módosítja a súlyokat. Variánsai:

SGD (Stochastic): Egy mintán számítja a gradienst.
Mini-batch: Kis kötegnyi mintán.
Adam: Adaptív tanulási rátával, elterjedt modern architektúrákban.

Backpropagation (visszaterjesztés)

A lánc-szabályt (chain rule) alkalmazva kiszámolja, mennyit kell módosítani minden súlyon, hogy a veszteség csökkenjen. A forward pass (előre terjedés) adja a kimenetet, a backward pass a gradienseket.

Epoch, batch, iteráció

Epoch: A teljes tanítóhalmaz egyszeri feldolgozása.
Batch: Egyszerre feldolgozott minták halmaza.
Iteráció: Egy batch feldolgozása és a súlyok egy frissítése.

Regularizáció és generalizáció

Overfitting (túlillesztés)

A modell "memorizálja" a tanítóadatot, de új adatokon rosszul teljesít. Ellensége: Dropout, regularizáció (L1/L2), korai megállás (early stopping), adatbővítés (augmentation).

Dropout

Tanítás közbeni véletlenszerű neuron-kikapcsolás, ami megakadályozza, hogy a hálózat egyetlen útvonalon "támaszkodjon" – erősíti a generalizációt.

Mi az a batch normalization?

Rétegek közé helyezett normalizáció, amely a mini-batch statisztikái alapján normalizálja az aktivációkat. Stabilizálja a tanulást, lehetővé teszi nagyobb tanulási rátákat.