Matematické Fórum

↑ fmfiain:
Sigmoid funkce je pevně daná funkce jako třeba sinus, takže ta nemůže být v různáých modelech jiná. Otázka samozřejmě je, jestli se v jiném modelu nepoužívá jiná funkce než sigmoid.

Z principu neuronových sítí by byla nejlepší funkce, která dává nulu pro x<0 a jedničku pro x>0.
Jenže kvůli těm trénovacím algoritmům (abychom mohli neuronovou síť učit) potřebujeme spojitou a hladkou funkci. Proč se používá zrovna tato, to já přesně nevím, a podle mě na tom zas tak moc nezáleží, jestli má takovýto tvar nebo nějaký trochu jiný. Budou v tom nejspíš nějaké důvody v detailech těch výpočtů.

Ona je podobná otázka, proč se všude používá Gaussovo normální rozdělení, když existují  myriády jiných. A četl jsem na to legrační odpověď, že "matematikové si myslí, že fyzikové dokázali univerzálnost Gaussova rozložení experimentálně, a fyzikové zase věří tomu, že to matematici dokázali teoreticky".