Matematické Fórum

Bati napsal(a):

↑ lordcong:
Pokud [mathjax]\nabla f=0[/mathjax] (na nejake souvisle mnozine), pak [mathjax]f[/mathjax] musi byt konstantni (v te mnozine). Je to stejne jako v 1D. Nevim, jestli ti to je jasne, nebo potrebujes formalni dukaz, kdyztak si rekni.

Step function maji sice derivaci nulovou skoro vsude (teda zalezi jeste na mnozine), akorat ze ta derivace neexistuje v bodech skoku, resp. tam je to Diracova distribuce.

Otazky 3) a 4) jsou ted asi jasne...

No úplně tomu nerozumím. Položil jsem související dotaz v sekci Algoritmy a programování

Bati napsal(a):

Cetl jsem si ten dotaz, ale porad neni moc jasne k cemu to chces. Je jasne, ze numerikou se k Diracove distribuci nikdy nedopocitas. Muzes akorat aproximovat, napr. vylepsit ten sigmoid: [mathjax]\frac1{1+e^{-\frac{x}{\varepsilon}}}[/mathjax] s tim, ze [mathjax]\varepsilon>0[/mathjax] zvolis tak male, jak to pujde. Pokud bys chtel pracovat presne se step function, musel bys nejak rucne detekovat mnozinu kde to skace.

Chci najít globální maximum funkce s mnoha proměnnými (500+) - a ta funkce je nejspíš step function. V podstatě je to ta MyFunc, ale s dalšími výpočty navíc a mnoha proměnnými. Jestli to chápu správně, tak globální optimum se dá hledat přes gradient descent. Jenže to v tomto případě nejde, když je gradient nula. Tak se to nějak snažím obejít, aby ten gradient nebyl nula a šlo udělat ten gradient descent.

Aha. No tak to distribuce opravdu nepotrebujes a pocitat gradient primo z toho taky samozrejme nedava smysl. Muzes tu funkci ale nejdriv zhladit, tj. udelat konvoluci s necim hladkym, co se blizi Diracove delta. Konkretne, pokud tva funkce je [mathjax]f[/mathjax], tak si nejdriv spoctes
[mathjax]f_{\delta}(x)=(f\ast\eta_{\delta})(x)=\int_{\mathbb{R}^n}f(x-y)\eta_{\delta}(y)\,\mathrm{d}y[/mathjax],
kde
[mathjax]\eta_{\delta}(y)=\frac1{\delta}\exp(\frac1{\frac{|y|^2}{\delta^2}-1})[/mathjax], pokud [mathjax]|y|<\delta[/mathjax], jinak [mathjax]\eta_{\delta}=0[/mathjax]. Pak si najdes body podezrele z extremu pomoci [mathjax]\nabla f_{\delta}=0[/mathjax], a v tech bodech si pak spoctes hodnoty puvodni funkce [mathjax]f[/mathjax] a porovnas je. Parametr [mathjax]\delta>0[/mathjax] musis zvolit mensi nez je velikost nejmensi mnoziny, na ktere je [mathjax]f[/mathjax] konstantni (abys ty mnoziny neprehledl), ale zase ne moc maly, aby ti to nenaslo falesne extremy kvuli numerickym chybam.

To je spise matematicke reseni. Mozna by ale taky fungovalo nejake sikovne prohledavani, kdyz to je jen step function...

Bati napsal(a):

Aha. No tak to distribuce opravdu nepotrebujes a pocitat gradient primo z toho taky samozrejme nedava smysl. Muzes tu funkci ale nejdriv zhladit, tj. udelat konvoluci s necim hladkym, co se blizi Diracove delta. Konkretne, pokud tva funkce je [mathjax]f[/mathjax], tak si nejdriv spoctes
[mathjax]f_{\delta}(x)=(f\ast\eta_{\delta})(x)=\int_{\mathbb{R}^n}f(x-y)\eta_{\delta}(y)\,\mathrm{d}y[/mathjax],
kde
[mathjax]\eta_{\delta}(y)=\frac1{\delta}\exp(\frac1{\frac{|y|^2}{\delta^2}-1})[/mathjax], pokud [mathjax]|y|<\delta[/mathjax], jinak [mathjax]\eta_{\delta}=0[/mathjax]. Pak si najdes body podezrele z extremu pomoci [mathjax]\nabla f_{\delta}=0[/mathjax], a v tech bodech si pak spoctes hodnoty puvodni funkce [mathjax]f[/mathjax] a porovnas je. Parametr [mathjax]\delta>0[/mathjax] musis zvolit mensi nez je velikost nejmensi mnoziny, na ktere je [mathjax]f[/mathjax] konstantni (abys ty mnoziny neprehledl), ale zase ne moc maly, aby ti to nenaslo falesne extremy kvuli numerickym chybam.

To je spise matematicke reseni. Mozna by ale taky fungovalo nejake sikovne prohledavani, kdyz to je jen step function...

Má to být nějak takhle?

from math import exp

def konvoluce(y):
    delta = 5
    
    if abs(y) < delta:
        return y * 1/delta * exp( 1 / ((y**2/delta**2) - 1))
    else:
        return y

def MyFunc(coefs):
   a = coefs[0]
   b = coefs[1]
   c = coefs[2]
   
   if a > b:
      return konvoluce(30.0)
   elif b > c:
      return konvoluce(20.0)
   else:
      return konvoluce(10.0)

Bati napsal(a):

↑ lordcong:
To jsi jen definoval to zhlazovaci jadro [mathjax]\eta[/mathjax]. Ted ho musis vynasobit tou funkci a zintegrovat pres prostor promennych. Promenna [mathjax]y[/mathjax] neni cislo, ale bod v tom tvem prostoru promennych, tj. 500-souradnicovy vektor. Znacil jsem zkracene [mathjax]|y|=\sqrt{\sum_{i=1}^{500}y_i^2}[/mathjax]. Pak je potreba nejak udelat ten integral (opet v [mathjax]\mathbb{R}^{500}[/mathjax]), tam bude stacit nejaka jednoducha numericka kvadratura.

Mozna bude lepsi, nez se do toho uplne hned vrhnout timhle obecnym zpusobem, jeste trochu zagooglit. Rikam si, ze podobne veci se musi resit napr. pri vyhlazovani obrazku. Soubor pixelu je taky vlastne step function... Kdysi jsem neco takoveho programoval a myslim, ze to slo bez integrovani, ale uz je to davno. Treba jeste nekdo neco poradi.

Mozna by taky pomohlo, kdybys napsal presne, jake mas zadani a jakym zpusobem je ta funkce definovana, tj. jestli to je opravdu jen nejaky black-box, nebo naopak, jestli by to treba neslo reprezentovat jen nejakou matici.

No, začínám tomu míň a míň rozumět :) Zadání je přibližně takový:
1) Mám funkci MyFunc (klidně jí zveřejním, pokud to pomůže) - funkce vrátí číslo v intervalu asi -150000000 až +300000000 v závislosti na tom, jaký se jí pošle list 532 proměnných, přičemž ty hodnoty jsou v celých desítkách, tzn. třeba 1154350, 1154360, 1154370
2) pak mám nějaký list výchozích proměnných - můžu začít třeba s randomStart = np.random.sample(532) - ty proměnný mohou mít jakoukoli hodnotu, můžou být i negativní

Cílem je najít takovou kombinaci těch 532 parametrů, aby funkce MyFunc vrátila nejvyšší možnou hodnotu (přičemž ta hodnota pravděpodobně bude někde uprostřed, téměř jistě nebude poblíž -150000000 ani +300000000)

Jak přesně tedy vypadají kroky toho tvého algoritmu?

Integraci mohu provést třeba pomocí funkce numpy.trapz.