Página principal › Índice multilingüe del archivo › Codificación de la entropía

Codificación de la entropía

En teoría de información codificación de la entropía es un lossless compresión de datos proyecte que es independiente de las características específicas del medio.

Uno de los tipos principales de codificación de la entropía asigna códigos a los símbolos para emparejar longitudes del código con probabilidades de los símbolos. Típicamente, éstos entropía los codificadores son utilizados para comprimir datos substituyendo los símbolos representados por códigos de la igual-longitud por los símbolos representados por códigos donde está la longitud de cada codeword proporcional a la negativa logaritmo de la probabilidad. Por lo tanto, los símbolos mas comunes utilizan los códigos más cortos.

Según Shannon teorema de la codificación de fuente, la longitud óptima del código para un símbolo es −log_bP, donde b es el número de los símbolos usados para hacer códigos de salida y P es la probabilidad del símbolo de la entrada.

Dos de las técnicas de codificación de la entropía más común son Codificación de Huffman y codificación aritmética. Si las características aproximadas de la entropía de una secuencia de datos se saben por adelantado (especialmente para compresión de la señal), un código estático más simple puede ser útil. Estos códigos estáticos incluyen códigos universales (por ejemplo Codificación gamma de Elias o Codificación de Fibonacci) y Códigos de Golomb (por ejemplo codificación singular o Codificación del arroz).

Entropía como medida de semejanza

Además de usar la codificación de la entropía como manera de comprimir (y losslessly recuperarse) datos digitales, un codificador de la entropía se puede también utilizar para medir la cantidad de semejanza entre las corrientes de datos. Esto es hecha generando un codificador/un compresor de la entropía para cada clase de datos; los datos desconocidos entonces son clasificados alimentando los datos sin comprimir a cada compresor y considerando qué compresor rinde la compresión más alta. El codificador con la mejor compresión es probablemente el codificador entrenado en los datos que eran los más similares a los datos desconocidos.

Acoplamientos externos

• Libro de textos en línea: Teoría de información, inferencia, y algoritmos que aprenden, cerca David MacKay - da una introducción accesible a la compresión de la teoría y de datos de Shannon, incluyendo Codificación de Huffman y codificación aritmética.
• Spam que se filtra con modelos estadísticos de la compresión de datos por Andrej Bratko, Gordon V. Cormack, Bogdan Filipic, Thomas R. Lynam y Blaz Zupan, diario de la investigación el aprender de máquina, vol. 7 (DEC), 2006.

Una versión anterior (del contenido abierto) del artículo antedicho fue fijada encendido PlanetMath.