首頁 › 多語言檔案 Index › 熵內碼

熵內碼

在 信息理論 熵內碼 是lossless 數據壓縮 策劃是媒介的具體特徵獨立。

其中一個熵編制程序的主要類型分配代碼到標誌以便匹配代碼長度以 可能性 標誌。 一般，這些 熵 編碼器通過替換相等長度代碼代表的標誌用於壓縮數據用代碼代表的標誌，每codeword的長度 比例 對陰性 對數 可能性。 所以，最共同的標誌使用最短的代碼。

根據 Shannon的 信源編碼定理優選的代碼長度為標誌是−log_bP的地方 b 是用於的標誌的數量做產品代碼和 P 是輸入標誌的可能性。

二最共同的熵內碼技術是 Huffman編制程序 并且 算術編制程序. 如果數據流的近似熵特徵事先被知道(特別是為 信號壓縮)，一個更加簡單的靜態代碼也許是有用的。 這些靜態代碼包括 普遍代碼 (例如 伊萊亞斯伽瑪編制程序 或 斐波那奇編制程序)和 Golomb代碼 (例如 一元的編制程序 或 米編制程序).

熵作為相似性措施

除使用熵內碼以外作為方式壓縮(和losslessly恢復)數字資料，熵編碼器可能也用於測量相當數量相似性在數據流之間。 這由引起熵編碼人或壓縮機完成為數據每類; 未知的數據然後是通過哺養未壓縮的數據到每臺壓縮機和看見哪臺分類的壓縮機產生最高的壓縮。 編碼人以最佳的壓縮大概是在於未知的數據是最相似的數據訓練的編碼人。

外部鏈接

• 網上課本： 信息理論、推斷和學習算法 大衛MacKay -給容易接近的介紹Shannon理論和數據壓縮，包括 Huffman編制程序 并且 算術編制程序.
• 過濾使用統計數據壓縮模型的發送同樣的消息到多個新聞組 由Andrej Bratko， Gordon v。 Cormack， Bogdan Filipic，托馬斯R。 Lynam和Blaz Zupan，機器學習研究，第7捲(2006年12月)學報。

上述文章的一個更早的(開放內容)版本被張貼了 PlanetMath.