Hem › Flersprålkigt arkiv Index › Entropiencoding

Entropiencoding

I informationsteori entropiencoding är ett lossless datakompression schemalägga som är vilden av de specifika kännetecknen av medlet.

En av de huvudsakliga typerna av att kodifiera för entropi tilldelar kodifierar till symboler, för att matcha kodifiera längder med probabilities av symbolerna. Typisk dessa entropi kodare är van vid kompressdata, genom att byta ut symboler som föreställs av jämlike-längd, kodifierar med symboler som by föreställs, kodifierar var längden av varje codeword är proportionellt till negationen logaritm av probabilityen. Därför använder de mest allmänningsymbolerna det kortast kodifierar.

Enligt Shannons källa som kodifierar theorem, kodifierar det optimalt längden för ett symbol är −log_bP, var b är numrera av van vid symboler gör tillverkat kodifierar och P är probabilityen av mata insymbolet.

Två av de mest kodande teknikerna för allmänningentropi är Huffman kodifiera och arithmetic kodifiera. Om de ungefärliga entropikännetecknen av data strömmer är bekant i förskott (speciellt för signalera kompression) kodifierar en enklare statisk elektricitet kan vara användbar. Dessa kodifierar statisk elektricitet inkluderar universalen kodifierar (liksom Kodifiera för Elias gamma eller Fibonacci kodifiera) och Golomb kodifierar (liksom unary kodifiera eller Kodifiera för Rice).

Entropi som en mäta av likhet

Förutom att använda entropiencoding som a långt till digitala data för kompressen (och losslessly återställ), kan en entropikodare också vara van vid mäter beloppet av likhet between strömmer av data. Detta göras, genom att frambringa en entropicoder/kompressor för varje, klassificerar av data; okända data klassificeras därefter, genom att mata de uncompressed datan till varje kompressor och att se vilka kompressoravkastningar den högsta kompressionen. Coderen med den bäst kompressionen är antagligen coderen som utbildas på datan som var mest liknande till de okända datan.

Utsidan anknyter

• On-line lärobok: Informationsteori, slutsats och lärande algoritmer, by David MacKay - ger en tillgänglig inledning till Shannon teori- och datakompression, däribland Huffman kodifiera och arithmetic kodifiera.
• Spam som filtrerar genom att använda statistisk datakompression, modellerar vid Andrej Bratko, Gordon V. Cormack Bogdan Filipic, Thomas R. Lynam och Blaz Zupan, förar journal över av bearbetar med maskin lärande forskning, Vol 7 (Dec), 2006.

En tidigare (öppet nöjt) version av den ovannämnda artikeln postades på PlanetMath.