#1 27. 01. 2025 11:42
Sigmoid neuronové siete
Dobrý deň,
študoval som neurónové siete a všade som narazil na sigmoid funkciu:
Code:
def sigmoid(x):
return 1/(1+np.exp(-x))a jeho deriváciu:
Code:
def sigmoid_derivative(x):
return sigmoid(x)*(1-sigmoid(x))Znamená to, že sigmoid funkcia a jej derivácia sú pri všetkých neurónových sieťach rovnaké?
Ďakujem za odpoveď.
Offline
#2 27. 01. 2025 14:42
- check_drummer
- Příspěvky: 5578
- Reputace: 106
Re: Sigmoid neuronové siete
↑ fmfiain:
Sigmoid funkce je pevně daná funkce jako třeba sinus, takže ta nemůže být v různáých modelech jiná. Otázka samozřejmě je, jestli se v jiném modelu nepoužívá jiná funkce než sigmoid.
"Máte úhel beta." "No to nemám."
Offline
#3 27. 01. 2025 16:28 — Editoval fmfiain (27. 01. 2025 16:45)
Re: Sigmoid neuronové siete
Dobrý deň ↑ check_drummer:,
podľa mojich učebných materiálov sa sigmoid používa v každej doprednej neurónovej sieti so spätným šírením chyby.
https://www.youtube.com/watch?v=r4kf3tf … mp;index=6
na časomiere videa: 27:59.
Lenže tých typov sietí je trochu viac, preto sa pýtam.
Ďakujem za odpoveď.
Offline
#4 27. 01. 2025 17:44
Re: Sigmoid neuronové siete
Z principu neuronových sítí by byla nejlepší funkce, která dává nulu pro x<0 a jedničku pro x>0.
Jenže kvůli těm trénovacím algoritmům (abychom mohli neuronovou síť učit) potřebujeme spojitou a hladkou funkci. Proč se používá zrovna tato, to já přesně nevím, a podle mě na tom zas tak moc nezáleží, jestli má takovýto tvar nebo nějaký trochu jiný. Budou v tom nejspíš nějaké důvody v detailech těch výpočtů.
Ona je podobná otázka, proč se všude používá Gaussovo normální rozdělení, když existují myriády jiných. A četl jsem na to legrační odpověď, že "matematikové si myslí, že fyzikové dokázali univerzálnost Gaussova rozložení experimentálně, a fyzikové zase věří tomu, že to matematici dokázali teoreticky".
Offline