Matematické Fórum

↑ check_drummer:

Ahoj,

1. ako vidíš v tej procke, tak tam zadávam "maxclusters=1000". Tým nariaďujem, aby mi pôvodné pozorovania o veľkosti 701 844 kusov rozdelilo do 1000 clustrov. Ono to aj spraví, lenže potom keď sa pozriem na distribúciu, tak napr. cluster no. 999 obsahuje v sebe 450 000 pozorovaní, čo je nežiadúci stav a deje sa to iba pri premennej SCORE1. Ak tam dám SCORE2 alebo SCORE3, tak tá clustrová analýza tie pôvodné pozorovania pekne rozdistribuuje spôsobom, že najviac zastúpený cluster má menej než 1% všetkých pozorovaní.

2. "The FASTCLUS procedure performs a disjoint cluster analysis on the basis of distances computed from one or more quantitative variables. The observations are divided into clusters such that every observation belongs to one and only one cluster" + "By default, the FASTCLUS procedure uses Euclidean distances, so the cluster centers are based on least squares estimation. This kind of clustering method is often called a k-means model, since the cluster centers are the means of the observations assigned to each cluster when the algorithm is run to complete convergence."

3. no klustruje sa predsa hodnoty skóre. Klient č. 1 so skóre 100 bude zrejme v inom klustri ako klient č. 700 so skóre 8900. SKÓRE je to, podľa čoho vytvoríme klustre. Predstav si tabuľku so 701 844 pozorovaniami a dvoma stĺpcami, kde prvý stĺpec je ID klienta a druhý stĺpec je jeho skóre. (PS, ja tu spomínam 3 druhý skóre, alebo to preto, lebo SCORE1 je finálne a SCORE2 a SCORE3 sú "pred-finálne" ešte nezahŕňajúce úplne všetky informácie. Avšak keď sa pozrieš na tabuľku, tak vidíš, že distribúciamia sú si veľmi podobné, tak nechápem prečo na SCORE1 klustrova analyza tak zle vychádza, ale na SCORE2 a SCORE3 pekne vychádza)

Kdysi, když jsem se ještě věnoval počítačovému zpracování obrazu, se dělalo něco podobného (možná úplně stejného) a říkalo se tomu shluková analýza.

Vlastně jde o to, že jde o body v n-rozměrném prostoru (v tomhle případě by šlo o 3-rozměrný), které tvoří nějaké skupiny, a algoritmus má najít ty zkupiny, tedy vyrobit rozhodovací funkci, která body bude zařazovat do příslušných skupin. Třeba neuronovou síť, to už je jedno. Trik je v tom, že se mu dopředu neřekne, který bod je v jaké skupině, má si skupiny najít sám. Jenže aby to mohlo aspoň trochu fungovat, musí ty body také nějaké skupiny tvořit. Když je třeba polovina bodů v levé části prostoru a polovina v pravé a mezi nimi nic, tak se to dělá hezky. Ale pokud jsou body plus minus náhodně rozmístěné, je dost utopie si myslet, že počítač najde nějaký rozumný způsob, jak je rozdělit do skupin.

Já samozřejmě netuším, co zmíněná procedura dělá a co je to za data, a zdali je to vůbec podobný problém, ale lehce mi to připadá podobné. Tak jsem si jen vzpoměl na ono "do skupin se to dá rozdělit jen když to skupiny tvoří". Jako algoritmus to vždycky nějak rozdělí, ale když to skupiny samo netvoří, tak z toho není žádný užitek.