Pragmatic entropy for finitely additive probabilities

Abstract

Si estende la definizione di entropia a distribuzioni di probabilità numerabili finitamente additive. L’impostazione scelta è pragmatica (fa uso di teoremi di codifica). L’entropia di una distribuzione di probabilità finitamente additiva in senso stretto viene posta pari a + infinto, poiché la corrispondente sorgen¬te stazionaria senza memoria non è comprimibile mediante codici-blocco; in effetti, a parte casi banali, le sorgenti finitamente additive in senso stretto non sono mai comprimibili mediante codici-blocco.

The definition of entropy is extended to countable fini¬tely additive probability distributions. The approach taken is pragmatic (makes use of coding theorems). The entropy of a properly finitely additive probability distribution is set equal to + infinite, because the corresponding stationary memoryless source is non-compressible through block-coding; as a matter of fact, apart from trivial cases, properly finitely additive sources are never compressible through block-coding.