Hem › Flersprålkigt arkiv Index › K-hjälpmedel algoritm

K-hjälpmedel algoritm

K-hjälpmedel algoritm är en algoritm till samla i en klunga n anmärker baserat på attribut in i K delningar, K < n. Det är liknande till förväntan-maximization algoritm för blandningar av Gaussians däri centrerar de som är båda försök att finna, av naturligt samla i en klunga i datan. Det antar att anmärkaattributen bildar a vektorutrymme. Mål är det försök att uppnå att minimera slutsumma intra-samla i en klunga variance, eller, fungerar det kvadrerade felet

var det finns K samla i en klunga S_i, I = 1, 2,…, K, och µ_i är centroid eller medlet pekar pekar allra x_j ∈ S_i.

Den mest allmänningen bildar av algoritmbruket ett heuristic bekant för iterativ förfining som Lloyds algoritm. Lloyds algoritmstarter, genom att dela mata in, pekar in i initiala uppsättningar för K, endera slumpvis eller genom att använda några heuristic data. Det beräknar därefter medlet pekar, eller centroiden, av varje uppsättning. Det tankeskapelser som en ny delning, genom att förbinda varje, pekar med den mest nära centroiden. Därefter räknas om centroidsna för det nytt samla i en klunga, och algoritmen upprepad av omväxlande applikation av dessa två kliver till konvergens, som erhålls, när pekar kopplar ej längre samla i en klunga (eller centroids ej längre ändras alternativt).

Lloyds algoritm och K-hjälpmedel används ofta synonymously, men i verkligheten Lloyds är algoritm ett heuristic för lösning av dethjälpmedel problemet^[1], men med bestämda kombinationer av startpunkter och centroids, Lloyds konvergerar algoritmcanen i faktum till det fla svaret (ie ett olikt och optimalt svar till minimizationen fungerar finns över.),

Andra variationer finns^[2], bara Lloyds algoritm har återstått populär, därför att den konvergerar extremt snabbt i praktiken. I faktum har många observerat, att numrera av upprepningar är typisk mycket mindre, än numrera av pekar. För en tid sedan emellertid, visade David Arthur och Sergei Vassilvitskii att det finns bestämt pekar uppsättningar som K-hjälpmedlet tar på superpolynomial tid: 2^{Ω (√n)} att konvergera.^[3]

Ungefärliga K-hjälpmedel algoritmer har planlagts som gör bruk av coresets: lilla underdelar av de original- datan.

I benämner av kapacitet som algoritmen inte garanteras för att gå en global optimal tillbaka. Det kvalitets- av finallösningen beror på den initiala uppsättningen av samla i en klunga i hög grad och kan, i praktiken, vara mycket mer fattig än den globala optimaln.^{[stämningen behövde]} Fasta, sedan algoritmen är extremt, är en allmänningmetod att köra algoritmen flera tider och att gå funnit bäst samla i en klunga tillbaka.

En nackdel av denhjälpmedel algoritmen är att numrera av samla i en klunga K är en mata inparameter. Ett olämpligt primat av K kan fattiga resultat för avkastning. Algoritmen antar också att variance är en anslå mäter av samla i en klunga scatteren.

Demonstration av algoritmen

Avbildar efter visar K-hjälpmedlet som samla i en klunga algoritm i handling, för det tvådimensionella fallet. Det initialt centrerar frambrings på måfå för att visa arrangerar i mer specificerar.

Applikationer av algoritmen

Avbilda Segmentation

K-hjälpmedlet som samla i en klunga algoritm, används gemensamt in datorvision som en bilda av avbilda segmentation. Resultaten av segmentationen är van vid bistår gränsa upptäckt och anmärka erkännande. I detta sammanhang det standart euclidean distansera är vanligt otillräckligt, i att bilda, samla i en klunga. I stället distanserar ett ensidigt mäter att använda PIXEL koordinater, RGB PIXELet färgar och/eller styrka och avbildar texturerar används gemensamt.^[4]

Förhållande till PCA

Det har visats för en tid sedan^[5][6] att den avkopplade lösningen av K-hjälpmedel som samla i en klunga som specificeras av samla i en klungaindikatorerna, ges av PCAEN (främsta del- analys) är främsta delar och PCA-subspacen som spännas över av de främsta riktningarna, identiska till den centroid subspacen för samla i en klunga som specificeras av denklassificera scattermatrisen.

Förbättringar

I 2006 som ett nytt av att välja det initialt centrerar långt, var föreslaget ^[1], dubbat ”k-means++”. Idén är att välja centrerar i långt ett det dem är redan stort antal av pekar initialt nästan. Författarebruket L² normen, i att välja, centrerar, bara generalen Lⁿ kan vara van vid trimmar aggressivenessen av kärna ur.

Denna kärna ur metod ger ut betydliga förbättringar i finalfelet av K-hjälpmedel. Även om det initiala valet i algoritmen tar betydlig tid, konvergerar K-hjälpmedlet sig själv fastar mycket efter detta som kärnar ur, och thus fäller ned kärna ur faktiskt uträkningtiden för. Författarna testade deras metod med verkliga och syntetmaterialdatasets och erhållande veck typisk 2 till 10 veckförbättringar, i rusat och med säkerhet, datasets nästan 1000 veckförbättringar i fel. Deras testar visade nästan alltid den nya metoden för att vara åtminstone så bra som vaniljK-hjälpmedel, i både rusat och felet.

Dessutom beräknar författarna ett närhetförhållande för deras algoritm. Detta är något som inte har gjorts med vaniljK-hjälpmedel (även om med flera variationer av den). K--means++garantierna att ha närhetförhållande Nolla(logga (K)) var K är numrera av samla i en klunga använt.

Variationer

Uppsättningen av kvadrerat minimera för fel samla i en klunga fungerar inkluderar också K- medoids algoritmen en att närma sig, som tvingar centrera, pekar av varje samla i en klunga för att vara en av de faktiska pekar.

Hänvisar till

• J. B. MacQueen (1967): ”Några metoder för klassifikation och analys av multivariats- observationer”, förfaranden av den Berkeley för th 5 symposiumen på matematisk statistik och probabilityen, Berkeley, universitetar av den Kalifornien pressen, 1:281 - 297

• J. A. Hartigan (1975) ”som samla i en klunga algoritmer”. Wiley.

• J. A. Hartigan och M. A. Wong (1979). ”K-Hjälpmedel som samla i en klunga algoritm”. Applied statistik 28 (1): 100–108. doi:10.2307/2346830. 

Utsidan anknyter

• Numeriskt exempel av K-hjälpmedel att samla i en klunga
• Applikationexemplet, som använder K-hjälpmedel som samla i en klunga för att förminska numrera av, färgar avbildar in
• Växelverkande demo av K-hjälpmedel-algoritmen (appleten)
• Ett exempel av multithreaded applikationen som använder K-hjälpmedel i Java
• K-hjälpmedel applikation i php
• En annan animering av K-hjälpmedel-algoritmen
• Ett fastagenomförande av denhjälpmedel algoritmen som använder triangelojämlikheten för att rusa upp uträkning

Se också

• Samla i en klunga för data
• Linde-Buzo-Gråna algoritmen