Matematické Fórum

lordcong napsal(a):

Mám data vygenerovaný určitým algoritmem z určitých dat.

Vzdycky je lepsi vedet, kde se data vzaly a co znamenaji.

Zkusil bych logistickou regresi.

Jinak asi je to téma do kategorie statistiky a pravděpdoobnosti.

↑ lordcong:
Máme tedy 5 faktorů.

Jsem schopen pro libovolné konkrétní koeficienty, např. [2,2,2,2,2], spočítat úspěšnost predikce (byť bych musel projít všech 150tis. případů)? Pokud toho schopen jsem, jak takový výpočet proběhne? Je u každého zápasu dáno jaké faktory soupeři měli a kdo nakonec vyhrál?

Pokud budu měnit jen jeden koeficient (budu ho chápat jako proměnnou x), např. [x, 3, 3, 1, 3] bude funkce závislosti úspěšnosti predikce na x rosoucí/klesající? Pokud ne, může mít tato funkce více (lokálních) extrémů?

Zatím se mi to jeví jako optimalizační úloha v R5 z jisté funkce, kterou není zcela snadné (rychlé) vyčíslit. Zkoušel bych asi metodu gradientu. Ale neznám tolik metod, asi poradí někdo povolanější.

check_drummer napsal(a):

↑ lordcong:
Máme tedy 5 faktorů.

Jsem schopen pro libovolné konkrétní koeficienty, např. [2,2,2,2,2], spočítat úspěšnost predikce (byť bych musel projít všech 150tis. případů)? Pokud toho schopen jsem, jak takový výpočet proběhne? Je u každého zápasu dáno jaké faktory soupeři měli a kdo nakonec vyhrál?

Pokud budu měnit jen jeden koeficient (budu ho chápat jako proměnnou x), např. [x, 3, 3, 1, 3] bude funkce závislosti úspěšnosti predikce na x rosoucí/klesající? Pokud ne, může mít tato funkce více (lokálních) extrémů?

Zatím se mi to jeví jako optimalizační úloha v R5 z jisté funkce, kterou není zcela snadné (rychlé) vyčíslit. Zkoušel bych asi metodu gradientu. Ale neznám tolik metod, asi poradí někdo povolanější.

Mám data v databázi a pro tyto potřeby jsem si to vyexportoval, zatím to mám v JSONu, celý bych to měl asi udělat líp, protože tam jsou zbytečný duplikáty a měl bych to dát do np.array, no - ale to je na jinou diskuzi :)

Každopádně data jednoho zápasu pro tyto potřeby v tuto chvíli vypadají takto:

{"odds_home": 2.5, "odds_away": 1.54, "scores_home": 3, "scores_away": 4, "h1": [false, false, false, false, false], "h3": [false, false, false, false, false], "h4": [false, false, false, false, false], "h5": [false, false, false, true, false], "h6": [false, false, false, false, false], "h7": [true, true, false, false, false], "h9": [false, false, false, false, false], "h10": [false, false, false, false, false], "h11": [false, false, true, false, true], "h12": [false, false, false, false, false] }

Asi je jasný, že jsou 2 týmy, jeden je home a druhej away. Favorit je ten, kterej má nižší kurz, kdo je vítěz je jasný.

V každým tom listu je to [A, B, C, D, E] a každej index má vždycky jen jednou true. Jak je vidět, tak A je true pod h7, B taky pod h7, C pod h11, D pod h5, E pod h11.

Favorit má h1, h3, h6, h10 a h11, outsider má h7, h9, h12, h4 a h5. Takže favorit by měl C a E a outsider A, B a D.

V případě [2,2,2,2,2] by měl tedy favorit 2+2 body a outsider 2+2+2 body, čili predikce by byla vyhraje outsider. Ale jak je vidět, tak zápas vyhrál host a host byl favorit, takže v tomto případě predikce nebyla úspěšná. Pro jiný data, třeba [2, 2, 5, 2, 5] by predikce úspěšná byla.

Toto je zhruba jak probíhá vypočet predikce jednoho zápasu a ano, je potřeba to zhruba 150tisíckrát zopakovat, aby se dospělo k tomu výsledku ve formě [62819, 42.41231475542653, [1, 3, 3, 1, 3]]

Na ty zbývající otázky nedokážu bohužel zodpovědět. Umím sice základy programování, ale jinak jsem orientovanej spíš na humanitní předměty a co se týče matiky - no, jak to říct. Na gymplu nejsem více než 10 let, většinu věcí sem zapomněl a toto jsme se stejně ani myslím neučili :D

To by mě docela zajímalo co to je za výpočet, že to z pěti čísel počítá výsledek vteřinu. Protože to na dnešním počítači je nějaká miliarda operací, nebo kolik.

Pokud je to opravdu takto, bude se extrém hledat blbě.

Další věc je, jestli je tak funkce aspoň trochu spojitá, tj že když změníš ty vstupní čísla jen trochu, změní se výsledek taky jen trochu. Pokud né, tak to jinak než hrubou silou asi nepůjde.

Pokud ano - už tu někdo navrhoval gradientní metodu. Což znamená, že spočítáš hodnotu funkce v nějakém bodu X, a potom v jeho okolí v každém z těch pěti "směrů" a zjistíš, který směr vykazuje nejvyšší přírustek (nemusí to být přímo směr některé z proměnných, může to být obecný směr). A v tom směru posuneš o vhodný kousek svoje X. A tak pořád dokola. Trochu problém je určit, o jaký kousek se to má posouvat.

Nicméně pokud ti výpočet trvá vteřinu, stejně to bude neúnosně dlouhé, takže první krok by měl být zoptimalizování toho výpočtu...nějak to jít musí.

Jak už bylo řečeno - k urychlení výpočtudojde dát to do vhodné paměťové struktury a odstranit případné duplicity.

Ještě mám otázku: Asi je možné, že pro stejné faktory mohl jednou zápas vyhrát domácí a podruhé host, že?

Tedy faktorů je 5 a každý může nabývat hodnoty řekněme -1,0,1?
A jsou ty faktory vypovídající? Podstatné je přece hlavně kdo proti komu hraje a ne, zda se to hraje třeba na domácím hřišti. Když budu mít nějaký tým z první ligy a tým z okresníhio přeboru, tak i kdyby všechny faktory hrály pro tým z okresního přeboru, tak bych si tipl, že vyhraje tým z první ligy.

A taky třeba v první lize může nějaký faktor mít významnější roli než v okresním přeboru, takže pro každou soutěž může být dobré volit jinou sadu těch koeficientů.

Jestli jsem tuhle stránku pochopil správně - zatím jsem to nezkoušel a nezkoumal, jak to prakticky implementovat - https://www.datasklr.com/logistic-regre … regression

tak v podstatě by stačilo mít data pro těch 150 tisíc zápasů ve formě 6 proměnných [FavoritVyhralNeboNe , A, B, C, D, E]

první proměnná by byla 0/1 a A, B, C, D, E by bylo -1, 0 nebo 1... kdy -1 by bylo faktor nemá žádný z týmů, 0 má ho favorit, 1 má ho outsider

Pak to narvat do modelu LogisticRegression a ono by mi to spočítalo nejvyšší možnou míru accuracy a ty koeficienty, přičemž tedy ta accuracy by v podstatě byla nejvyšší možná dosažitelná míra úspěšnosti predikce a ty koeficienty to, co se pokouším najít?

Nějak se mi nezdá, že by to v podstatě bylo tak jednoduchý, když člověk ví, jak na to :D

Stýv napsal(a):

↑ lordcong: Je to vcelku standardni uloha, takze existuji nastroje, jak ji jednoduse vyresit. Akorat bacha na ty faktory. Tak, jak jsi to napsal, by to znamenalo priblizne to, ze je nejaka zakladni pst. kdyz ma faktor favorit, a pokud faktor nema zadny z tymu, tak je ta pst. o x nizsi a pokud ho ma outsider, tak je o x vyssi. Pokud uz dava smysl to nejak radit, tak spis outsider-nikdo-favorit. Nebo jeste lepe nechovat se k tomu jako k ciselnym hodnotam a definovat pro kazdy faktor dva 0/1 sloupce (nema/ma ho outsider, nema/ma ho favorit). Mela by na to jit pouzit funkce pandas.get_dummies().

OK, tak sem to zkusil, jestli byste se na to někdo chtěl mrknout, zajímalo by mě, kde to mám špatně... nebo jestli to celý špatně chápu?

Ukazuje mi to Accuracy Score 0.6093332442544094 - to jako je 60,9%? To by pro mě bylo skvělý číslo.

Jenže když s těma koeficientama, co to vypočítalo, pak zkusím spočítat úspěšnost tý metody, tak mi to ukazuje jen 47.57 %...

Zde je celej kód včetně odkazu na data: https://colab.research.google.com/drive … sp=sharing

Stýv napsal(a):

↑ lordcong: Parametry jednoho modelu samozrejme nemuzes pouzit v uplne jinym modelu. Na tu svoji puvodni metodu proste zapomen.

Nevím, jestli jsem to pochopil správně, ale přijde mi, že ta logická regrese teda vlastně jen dospěla k tomu, že nejúspěšnější metoda je vždy předpovídat, že vyhraje favorit... což je samozřejmě pravda, ale na takový "geniální" objev nepotřebuju logickou regresi :D

Asi bych se měl vrátit k původní otázce a to se prej typově jmenuje klasifikace hypercube.

Stýv napsal(a):

1) Je to logisticka regrese.
2) Zrejme jsou ty tvoje faktory vyrazne slabsi, nez to, kdo je favorit.

Jo, logistická, a to sem to psal asi 10x do googlu :D

Jinak ty parametry, který sem hledal, aby to dávalo stejný číslo jako Accuracy Score tý logistický regrese, mi spočítala funkce scipy.optimize.minimize za použití method='Powell' a to poměrně hodně rychle, až se tomu sám divím. Dokonce i když sem to rozšířil na 24 parametrů, tak to trvalo jen asi minutu.

check_drummer napsal(a):

↑ lordcong:
150 tisíc záznamů není ve statistice zas tolik. :-)

Jako je to zajímavý. Těch 5 parametrů rozdělených na 2 podle rady Stýva teda v součtu mělo nižší míru úspěšnosti než 60% (což je číslo, kdy ve všech sportech dohromady vyhraje favorit).

Ale když sem vzal asi třetinu parametrů ze své databáze, rozdělil je do různejch podkategorií, takže mi to dalo asi 400 parametrů 0/1.. a takhle to narval do modelu.. tak už mi to najednou ukazuje úspěšnost asi 86,9% což je naprosto mega hustý.. musím to samozřejmě ověřit, protože sem možná někde udělal chybu.. ale kdyby to fungovalo, no tak sem myslím doopravdy génus a sázením podle této metody si vydělám hodně peněz :D :D :D