Matematické Fórum

stereo-total-music · 12. 04. 2014 14:30

Mám skutečnou lineární závislost dvou veličin, z nichž jednu znám přesně a druhou měřím s nějakou odchylkou.
Potom lineární aproximace metody nejmenších čtverců, která aproximuje naměřené hodnoty CELKOVĚ nejlépe, prý VŽDY poměrně s největší pravděpodobností vystihuje skutečnou lineární závislost (tedy od dvou a více naměřených hodnot). Hledám důkaz, který toto potvrzuje.

Potom jsem empiricky přišel ještě na to, že čím větší je počet naměřených hodnot, tím větší je asi pravděpodobnost, že metoda nejmenších čtverců vystihuje skutečnou lineární závislost.
Tedy při dvou naměřených hodnotách MNČ s poměrně největší pravděpodobností vystihuje skutečnou LZ, přímky "kolem ní" mají však pravděpodobnost výstihu jenom o málo menší.
Při velkém počtu naměřených hodnot MNČ s poměrně největší pravděpodobností vystihuje skutečnou LZ, a přímky "kolem ní" mají pravděpodobnost výstihu už o hodně menší.
Je to pravda?

Eratosthenes · 12. 04. 2014 14:41

↑ stereo-total-music:

Ahoj,

záleží na tom, co se myslí slovy "aproximuje naměřené hodnoty CELKOVĚ nejlépe". Má-li se najít přímka, která má nejmenší možný součet odchylek od naměřených hodnot, není co dokazovat, protože metoda nejmenších čtverců právě toto najde.

stereo-total-music · 12. 04. 2014 14:50

↑ Eratosthenes:

Má-li se najít přímka, která má nejmenší možný součet odchylek od naměřených hodnot, není co dokazovat, protože metoda nejmenších čtverců právě toto najde.

Ale jaký by to mělo praktický význam? Chci dokázat nebo vyvrátit, že MNČ vždy vystihuje skutečnou LZ poměrně s největší pravděpodobností.

Eratosthenes · 12. 04. 2014 15:16

↑ stereo-total-music:

Ale něco takového nikdy dokázat nemůžeš. Když budeš mít hodnoty naměřené špatně seřízeným měřákem, tak "skutečnou" lineární závislost s největší pravděpodobností zjistíš možná akorát tak losováním z klobouku.

stereo-total-music

Když budu mít špatně seřízený měřák, tedy například první naměřená hodnota má |malou| odchylku a druhá naměřená hodnota má mnohem |větší| odchylku, tak má skutečná lineární závislost menší pravděpodobnost vyjádřením MNČ. Pravděpodobnost přímky MNČ je tedy větší (je největší, při platnosti téhle teze), obecně však asi bude větší jen o něco málo. Myslím, že |maximální| odchylka měřáku (charakteristika odchylky měřáku je jeho |maximální| odchylka) určitě vztahuje průběh pravděpodobností přímek okolo přímky MNČ.
Takže myslím, že nemáš pravdu.

stereo-total-music

↑ Eratosthenes:

"skutečnou" lineární závislost s největší pravděpodobností zjistíš...

Nechci zjistit skutečnou lineární závislost, chci zjistit přímku s největší pravděpodobností skutečné LZ.

Eratosthenes · 12. 04. 2014 15:38

↑ stereo-total-music:

No, myslet si to můžeš. Tak jinak:

Chceš-li dokázat nebo vyvrátit větu

"MNČ vždy vystihuje skutečnou LZ poměrně s největší pravděpodobností"

musíš používat jasné pojmy. Takže mi definuj, co znamená "vystihovat skutečnou LZ". Tomu totiž nerozumím.

Metoda nejmenších čtverců má definováno, že "vystihovat skutečnou LZ" znamená "mít nejmenší součet čtverců reziduí". Myslím, že je to definice docela dobrá a není co dokazovat, protože definice se nedokazují.

Eratosthenes · 12. 04. 2014 15:41

↑ stereo-total-music:

"chci zjistit přímku s největší pravděpodobností skutečné LZ"

A jak máš definovanou tu pravděpodobnost? Přímek, které budou jakž takž "vystihovat" závislost je nekonečně mnoho, takže každá jednotlivá z nich (včetně MNČ) má pravděpodobnost nula. TAkže největší pravděpodobnost neexistuje...

stereo-total-music

↑ Eratosthenes:

A jak máš definovanou tu pravděpodobnost? Přímek, které budou jakž takž "vystihovat" závislost je nekonečně mnoho, takže každá jednotlivá z nich (včetně MNČ) má pravděpodobnost nula. TAkže největší pravděpodobnost neexistuje...

Tak tady bych asi skončil. Říká ti něco pojem kvalita proměnné (první) derivace (nekonečně malé pravděpodobnosti, vůči sobě však reálně velké)? Proč by nemohl existovat graf:

kde (a) je směrnice přímky?

Eratosthenes · 12. 04. 2014 16:06

↑ stereo-total-music:

Nejrůznější grafy jistě existovat mohou. Ale pojem "kvalita proměnné (první) derivace (nekonečně malé pravděpodobnosti, vůči sobě však reálně velké)" mi opravdu nic neříká. Když mi ho objasníš, tak končit nemusíme. Pokud ne, nic jiného nám asi nezbude.

stereo-total-music

nekonečně malé pravděpodobnosti, vůči sobě však reálně velké

Toto je objasnění pojmu první derivace. Žádné lepší objasnění se mi teď nechce vymýšlet. Pokud to chceš objasnit, tak se musíš zeptat co nejkonkrétněji na to, čemu z toho výroku nerozumíš.
Doplním, že pravděpodobnosti jsou nekonečně malé k reálné hodnotě jedna (jako celkové pravděpodobnosti). Hodnota jedna je tedy první integrace pravděpodobností spojité veličiny. Hodnota jedna je nekonečně velká vůči reálným pravděpodobnostem spojité veličiny.

Eratosthenes · 12. 04. 2014 18:59

↑ stereo-total-music:

Jestliže tě nenapadá lepší objasnění první derivace než to, co jsi napsal, no tak to tedy končím já.

stereo-total-music · 12. 04. 2014 19:55

↑ Eratosthenes:
Ale.
Neber to tak osobně, a neútoč.

pietro · 13. 04. 2014 15:00

ahojte, skusim z ineho konca...metoda najm.stvorcov je povedzme to iste ako vypocet taziska nameranych hodnot. brutalne a bez kompromisov nam vyrata zvolenu krivku tak aby mala minimalny sucet kvadratov odchyliek. z celeho mraku hodnot nam urci akesi optimum, co povazujeme opravnene za najpravdepodobnejsie.
mam ten pocit ale ho neviem kvantifikovat. .... hodnoty x,y maju pravdepodobnost pri nameranom mraku= p(x,y)=? ako vypocitam tuto pravdepodobnost?...to mal asi kolega stereo... na mysli. a ked nie tak by ma to zaujimalo ak by niekto vedel stanovit pravdepodobnost pri metode najm.stvorcov. dakujem.

stereo-total-music

↑ pietro:
Vycházím z intuitivního pocitu, že to tak asi musí být. Že jediný možný význam MNČ musí být nepravděpodobnější skutečná lineární závislost.

Ve skriptech jsem k tomu našel jedinou stručnou poznámku:
//forum.matweb.cz/upload3/img/2014-04/97171_obr.jpg

Creatives · 13. 04. 2014 19:46

↑ stereo-total-music:
Co takhle index determinace?

pietro · 13. 04. 2014 23:23

↑ stereo-total-music: Ahoj, tu som preložil MNŠ priamku a počítal početnosti(=pravdepodobnosť) v jednotlivých pruhoch.
Nejaví sa to veru (priamka) ako najpravdepodobnejšie :-(. To asi nebude správna cesta.

//forum.matweb.cz/upload3/img/2014-04/24119_pravdw.GIF

Bati · 14. 04. 2014 01:18

Ahoj ↑ stereo-total-music:,
Ta poznámka ze skript, kterou uvádíš je podle mě zavádějící. Problém jsou ty slova lépe vystihovat. To si překládám jako minimalizovat nějaký funkcionál. Ale jaký? Např. MNČ říká sečíst čtverce, ale to je jen jedna z mnoha možností jak ho zvolit. To co v té poznámce je v závorce má tuto volbu objasnit, bohužel toto objasnění je dost vágní a překládám si ho takto: Pokud se měřená veličina chová "pěkně", tak matematická statistka nám dá definici výrazu "nejlépe vystihovat". Stejně ale nemáme nikde zaručeno, že takovou definici zrovna chceme. Z toho a z tvé hlášky

Vycházím z intuitivního pocitu, že to tak asi musí být. Že jediný možný význam MNČ musí být nepravděpodobnější skutečná lineární závislost.

bych učinil závěr, že bez pořádný matematický definice jsou nějaký intuitivní pocity a "chytrý" poznámky ve skriptech na nic. Když někomu řeknu, že MNČ dává nejlepší aproximaci a někdo se zeptá v jakým smyslu chápu to "nejlepší", tak řeknu, že $\text{argmin}\sum_i(x_i-y_i)^2$ a není se o čem dál bavit.

Z tvých témat je vidět, že se často spoléháš na intuici, vytváříš si vlastní definice, jako třeba tady, a automaticky předpokládáš, že ostatní tyto definice chápou stejně. To si vykládám buď jako tvou neuvědomělost, nebo aroganci. Nediv se pak, že ostatní nemají chuť s tebou diskutovat - viz. Eratosthenes a množství tvých jiných témat. Zapoj trochu ohleduplnosti - jak k lidem tady, tak k obecně známým definicím.

Rumburak

↑ stereo-total-music:

Domnívám se , že u MNČ jde o následující:

Mám (konečnou) posloupnost

(1) $(r_k)_{k=1}^n$

reálných čísel a připadá mi, že tato čísla vykazují zákonitost, která by se dala vyjádřit nějakou nepříliš složitou spojitou
funkcí $f$ definovanou na intervalu $\langle 1, n\rangle$ a rád bych tuto zákonitost vyjádřil konkretněji. Může mi například připadat,
že body $[k, r_k] , k = 1, 2, ... , n$ přibližně vykazují logaritmickou závislost $r_k$ na $k$ , tj. jsou rozmístěny "okolo"
nějaké zatím neznámé logaritmické křivky a tuto křivku chci určit blíže. Položím tedy $f(k) := a \ln k + b$ a ZVOLÍM SI
kriterium, podle kterého budu čísla $a, b$ hledat. Tímto kriteriem může být podmínka

$\sum_{k = 1}^n $f(k) - r_k$^2 \to \min$

z metody nejmenších čtverců, a nebo třeba i nějaká podmínka jiná, například

(2) $\sum_{k = 1}^n |f(k) - r_k| \to \min$ , $\max_{k = 1, 2, ..., n} |f(k) - r_k| \to \min$ , ...

Každá z těchto metod dá poněkud jiný výsledek, ale vždy to bude výsledek takového druhu, jaký jsme hledali. Který z nich
je objektivně "lepší" než ty ostatní, se nedá dosti dobře říci. Metoda nejmenších čtverců se používá, myslím, hlavně proto,
že vede k soustavě lineárních rovnic a pracuje se s ní snáze než by se pracovalo například s metodami z (2).

stereo-total-music · 14. 04. 2014 12:46

↑ Bati:↑ Bati:
Myslíš, že pojem `nejlépe vystihovat` ve statistice neznamená `vystihovat s největší pravděpodobnosti`?

A k druhé části příspěvku: nic z toho nepopírám. Těším se však, až mi podobných komentářů napíšeš v budoucnu ještě mraky. Protože tak na mě od začátku působíš. Doporučil bych to opět nebrat tak osobně, ale to je bez významu u někoho, kdo takto evidentně činí nikoliv v afektu, ale disciplinovaně, s rozmyslem, s jasným vědomým cílem. Tak uvidíme, jak se k tomu vyjádříš. Ulevilo by se mi, kdyby tvoje příspěvky byly tématického rázu / nebyly.

Každopádně opět děkuju za přispění do tématu.

Brano · 14. 04. 2014 13:43

Podla mna to co sa snazi OP zistit je kedy metoda najmensich stvorcov (least squares) zodpoveda presne metode maximalnej vierohodnosti (maximum likelihood) - co napr. pre standardny pripad ked sa uvazuju normalne rozdelene chyby plati - teda aspon to tvrdi wiki, ja som si to nejak sam nedokazoval

http://en.wikipedia.org/wiki/Least_squares

Bati · 14. 04. 2014 16:41

↑ stereo-total-music:
Ani jeden z těch pojmů není sám o sobě dobře definovaný, což jsem se snažil v tom příspěvku vysvětlit. Proto bez dalších upřesnění nelze říct, jestli ty pojmy znamenají to samé, nebo ne.

Nevím z čeho usuzuješ, že podobných komentářů ti budu psát mraky. Snažil jsem se ti vysvětlit, v čem je problém s tvou komunikací a udělal jsem to jen z přesvědčení, že by ti to pomohlo. Protože jsi ale v podstatě napsal, že záměrně jednáš tak jak jednáš, tak vidím, že to ode mě bylo naivní. K naší oboustranné spokojenosti tě můžu ujistit, že ode mě víc neuslyšíš (resp. nepřečteš).

stereo-total-music

Zkouším teď ještě něco s MNČ, a zasekl jsem se u funkce (a,b) součtu absolutních hodnot:
$f(a,b)=\sum_{i=1}^{n}|ax_{i}+b-y_{i}|$

Předpokládám, že pro funkci platí také jedno lokální minimum při dvou a více hodnotách, nevím však, jak to mám dokázat (chci dokázat opět regulární matici soustavy dvou rovnic - nulových parciálních derivací). Nevím, jak vyjádřit sumy derivací:
$\frac{\partial f}{\partial a}=\sum_{i=1}^{n}\begin{matrix} x_{i} & ax_{i}+b-y_{i}\ge 0\\ -x_{i} & ax_{i}+b-y_{i}< 0 \end{matrix}$
$\frac{\partial f}{\partial b}=\sum_{i=1}^{n}\begin{matrix} 1 & ax_{i}+b-y_{i}\ge 0\\ -1 & ax_{i}+b-y_{i}< 0 \end{matrix}$

Jediný tvar, který mě napadá, je:
$\frac{\partial f}{\partial a}=\sum_{i=1}^{n}\frac{ax_{i}+b-y_{i}}{|ax_{i}+b-y_{i}|}x_{i}$ a analogicky podle (b).
Neumím však z funkcí vyjádřit proměnné a, b (jediná definice funkcí a ~ b je implicitní).
Přitom řešení zjevně musí existovat.

stereo-total-music · 19. 04. 2014 23:13

↑ pietro:
Já už to pro MNČ dokázal, teď se snažím dokázat to samé i pro MNAH (metodu nejmenších absolutních hodnot).

Matematické Fórum

#1 12. 04. 2014 14:30

Důkaz významu metody nejmenších čtverců

#2 12. 04. 2014 14:41

Re: Důkaz významu metody nejmenších čtverců

#3 12. 04. 2014 14:50

Re: Důkaz významu metody nejmenších čtverců

#4 12. 04. 2014 15:16

Re: Důkaz významu metody nejmenších čtverců

#5 12. 04. 2014 15:27 — Editoval stereo-total-music (12. 04. 2014 15:34)

Re: Důkaz významu metody nejmenších čtverců

#6 12. 04. 2014 15:37 — Editoval stereo-total-music (12. 04. 2014 15:37)

Re: Důkaz významu metody nejmenších čtverců

#7 12. 04. 2014 15:38

Re: Důkaz významu metody nejmenších čtverců

#8 12. 04. 2014 15:41

Re: Důkaz významu metody nejmenších čtverců

#9 12. 04. 2014 15:49 — Editoval stereo-total-music (12. 04. 2014 15:53)

Re: Důkaz významu metody nejmenších čtverců

#10 12. 04. 2014 16:06

Re: Důkaz významu metody nejmenších čtverců

#11 12. 04. 2014 16:13 — Editoval stereo-total-music (12. 04. 2014 16:15)

Re: Důkaz významu metody nejmenších čtverců

#12 12. 04. 2014 18:59

Re: Důkaz významu metody nejmenších čtverců

#13 12. 04. 2014 19:55

Re: Důkaz významu metody nejmenších čtverců

#14 13. 04. 2014 15:00

Re: Důkaz významu metody nejmenších čtverců

#15 13. 04. 2014 15:54 — Editoval stereo-total-music (13. 04. 2014 15:55)

Re: Důkaz významu metody nejmenších čtverců

#16 13. 04. 2014 19:46

Re: Důkaz významu metody nejmenších čtverců

#17 13. 04. 2014 23:23

Re: Důkaz významu metody nejmenších čtverců

#18 14. 04. 2014 01:18

Re: Důkaz významu metody nejmenších čtverců

#19 14. 04. 2014 10:29 — Editoval Rumburak (14. 04. 2014 10:40)

Re: Důkaz významu metody nejmenších čtverců

#20 14. 04. 2014 12:46

Re: Důkaz významu metody nejmenších čtverců

#21 14. 04. 2014 13:43

Re: Důkaz významu metody nejmenších čtverců

#22 14. 04. 2014 16:41

Re: Důkaz významu metody nejmenších čtverců

#23 19. 04. 2014 20:56 — Editoval stereo-total-music (20. 04. 2014 12:52)

Re: Důkaz významu metody nejmenších čtverců

#24 19. 04. 2014 22:57 Příspěvek uživatele pietro byl skryt uživatelem pietro. Důvod: nepravda

#25 19. 04. 2014 23:13

Re: Důkaz významu metody nejmenších čtverců

Zápatí