Hem › Flersprålkigt arkiv Index › Klassa-distorsion teori

Klassa-distorsion teori

Klassa-distorsion teori är en ha som huvudämne förgrena sig av informationsteori vilket ger de teoretiska fundamenten för lossy-datakompression; det tilltalar problemet av att bestämma det minsta beloppet av entropi (eller information) R det bör meddelas över en kanalisera, så att källan (mata in signalerar), kan ungefärligt rekonstrueras på den tillverkade mottagaren (signalera), utan att överskrida en given distorsion D.

Inledning

dendistorsion teorin ger teoretisk hejd för, hur mycket kompression kan uppnås genom att använda lossy-kompressionsmetoder. Många av den existerande ljudsignalen, anförande, avbildar, och videopp kompressionstekniker har omformar, quantization, och bit-rate tilldelningstillvägagångssätt, som kapitaliserar på generalen, formar av klassa-distorsion fungerar.

dendistorsion teorin skapades by Claude Shannon i hans foundational arbete på informationsteori.

I dendistorsion teorin klassa förstås vanligt som numrera av bitar per data ta prov för att lagras eller överföras. Aningen av distorsion är en betvinga av den on-going diskussionen. I det enklaste fallet (som används faktiskt ofta), definieras distorsionen som variancen av skillnaden between mata in och tillverkat signalera (dvs., medel kvadrerat fel av skillnaden). Emellertid, sedan vi vet det mest lossy-kompression tekniker fungerar på data som ska märkas av människakonsumenter (lyssna till musik och att hålla ögonen på föreställer och videoen) som distorsionen mäter bör helst modelleras på människa föreställning och kanske estetik: mycket något liknande bruket av probability i lossless kompression, mäter distorsion kan ultimately identifieras med förlust fungerar som använt i Bayesian anseende och beslutsteori. I perceptuell ljudsignalkompression modellerar, och därför mäter är perceptuell distorsion, förhållandevis väl framkallat och rutinmässigt använt i kompressionstekniker liksom MP3 eller Vorbis, men var ofta inte lätt att inkludera i klassa-distorsion teori. I avbilda och video kompression, modellerar människaföreställningen är mindre framkallad brunn, och medräknandet begränsas mestadels till JPEG och MPEG att väga (quantization, normalization) matris.

Klassa-distorsion fungerar

Fungerar som förbinder klassa, och distorsion finnas som lösningen av efter minimizationproblemet:

Här Q_{Y | X}(y | x) ibland kallat en testa kanalisera, är villkorligt probabilitytäthet fungerar Av kommunikationen kanalisera tillverkat (PDF) (komprimerat signalera), Y för given mata in (original signalerar), X, och I_Q(Y ; X) är ömsesidig information mellan Y och X definierat som

I(Y;X) = H(Y) - H(Y | X)

var H(Y) och H(Y | X) är entropin av tillverkad signalerar Y och villkorlig entropi av tillverkad signalera givet mata in signalerar, respektive:

Problemet kan också formuleras som Distorsion-Klassar fungerar, var vi finner supremumen över uppnåeliga distorsioner för givet klassar tvång. Det relevant uttryckt är:

De två bly- utformningarna fungerar som är omvändningar av varje annan.

Den ömsesidiga informationen kan förstås som en mäta för föregående osäkerhet som mottagaren har om avsändaren signalerar (H (Y)) minskat av osäkerheten som lämnas, efter information om häleri om avsändaren har signalerat (H(Y | X)). Naturligtvis är minskningen i osäkerhet tack vare det meddelade beloppet av information, som är I(Y; X).

Som ett exempel i fall att finns det nr. kommunikation alls, därefter H(Y |X) = H(Y) och I(Y; X) = 0. Alternativt om kommunikationen kanaliserar, är görar perfekt, och mottagna signalerar Y är identiskt till signalera X på avsändaren därefter H(Y | X) = 0 och I(Y; X) = H(Y) = H(X).

I definitionen av klassa-distorsionen fungera, D_Q och D^* är distorsionen between X och Y för given Q_{Y | X}(y | x) och det ordinerade maximat distorsion, respektive. När vi använder medel kvadrerat fel som distorsion mäter, har vi (för amplitud-fortlöpande signalerar):

Som de ovannämnda likställandena visar, beräkna fungerar endistorsion kräver den stochastic beskrivningen av mata in X i benämner av PDFEN P_X(x) och därefter syften på att finna den villkorliga PDFEN Q_{Y | X}(y | x) som minimerar klassar för en given distorsion D^*. Dessa definitioner kan formuleras mäter-teoretiskt för att redogöra för åtskilda och blandade slumpmässiga variabler som väl.

En analytisk lösning till detta minimizationproblem är ofta svår att erhålla undantar i något anföra som exempel för vilket vi erbjuder därefter två av de bäst bekant exemplen. Klassa-distorsionen fungerar av någon källa är bekant att lyda flera grundrekvisita, viktigast som är att det är a fortlöpande, monotonically minska konvext (U) fungera och thus är forma för fungera i exemplen typisk (även mätt klassa-distorsion fungerar i verkliga livet ansar för att ha mycket liknande bildar).

Även om analytiskt lösningar till detta problem är knappa, där är övre, och den lägre hejd till dessa fungerar däribland den destinerade berömda Shannonen lower (SLB), som i fallet av det kvadrerade felet och memoryless källor, påstår det för godtyckliga källor med finite differentiell entropi,

var H (D) är entropin av en Gaussian slumpmässig variabel med variancen D. Detta lägre destinerat är extensible till källor med minne, och annan distorsion mäter. Ett viktigt särdrag av SLBEN är att det är åtsittande i kickdistorsionsstyret för en sned boll klassificerar asymptotically av källor och i något orsakar, det sammanträffar faktiskt med klassa-distorsionen fungerar. Shannon kan den lägre hejd allmänt finnas, om distorsionen mellan några två numrerar kan uttryckas som en fungera av skillnaden mellan värdera av dessa två numrerar.

Blahut- Den Arimoto algoritmen är en elegant iterativ teknik för numeriskt att erhålla klassa-distorsion fungerar av godtyckliga finite inmatnings/utmatningsalfabetkällor, och mycket arbete har gjorts för att fördjupa den till allmänare problem anföra som exempel.

Memoryless (oberoende) Gaussian källa

Om vi antar det P_X(x) är Gaussian med variance σ², och, om vi antar som på varandra följande tar prov av signalera X var stochastically vilde (eller, om din något liknande, källan är memoryless, eller signalera är uncorrelated) finner vi efter analytiskt uttryck för klassa-distorsionen fungera:

Figurera visar efter vad denna fungerar looksnågot liknande:

dendistorsion teorin berättar oss det inget kompressionssystem finns som utför utanför grå färgområdet. Mer nära ett praktiskt kompressionssystem är till det röda (lägre), destinerat, det bättre det utför. Som en general härska, denna destinerade can endast nås fram till av ökande den kodifiera kvarterlängdparametern. Ändå även på enheten kan blocklengths en ofta finna bra (scalar) quantizers som fungera på distanserar från klassa-distorsionen fungerar, som är praktiskt relevant.

Denna klassa-distorsion fungerar håll endast för Gaussian memoryless källor. Det är bekant att den Gaussian källan är den mest ”svåra” källan som ska kodas: för ett givet medel - kvadrera felet, det kräver det mest stor numrerar av bitar. Kapaciteten av ett praktiskt kompressionssystemarbete på-något att säga-avbildar, kan välla fram är nedanför R (D) fäll ned visat destinerat.

Se också

• Kodifiera för källa
• Decorrelation
• Whitening

Utsidan anknyter

• VcDemo avbildar, och videopn lära för kompression bearbetar