• Istituto
    • Chi Siamo
    • La nostra storia
  • Magazine
    • Agenda
    • Atlante
    • Il Faro
    • Il Chiasmo
    • Diritto
    • Il Tascabile
    • Le Parole Valgono
    • Lingua italiana
    • WebTv
  • Catalogo
    • Le Opere
    • Bottega Treccani
    • Gli Ebook
    • Le Nostre Sedi
  • Scuola e Formazione
    • Portale Treccani Scuola
    • Formazione Digitale
    • Formazione Master
    • Scuola del Tascabile
  • Libri
    • Vai al portale
  • Arte
    • Vai al portale
  • Treccani Cultura
    • Chi Siamo
    • Come Aderire
    • Progetti
    • Iniziative Cultura
    • Eventi Sala Igea
  • ACQUISTA SU EMPORIUM
    • Arte
    • Cartoleria
    • Design & Alto Artigianato
    • Editoria
    • Idee
    • Marchi e Selezioni
  • Accedi
    • Modifica Profilo
    • Treccani X

entropia

Enciclopedia della Matematica (2013)
  • Condividi

entropia


entropia termine mutuato dalla fisica e utilizzato con significato leggermente diverso sia in teoria dell’informazione, dove fu introdotto da C. Shannon nel 1949, sia in probabilità e statistica.

☐ In teoria dell’informazione, indice che misura la quantità di informazione prodotta da una sorgente. L’indice è funzione della distribuzione di probabilità dei segnali che può emettere la sorgente stessa. Se la sorgente è di tipo binario, come di fatto lo sono quelle digitali, può emettere soltanto una successione di bit, indicati convenzionalmente con 0 o 1. In tale caso, la quantità di informazione è tanto maggiore quanto più imprevedibile è tale successione di bit: in altre parole, se il segnale emette sequenze predeterminate a bassa probabilità, per esempio di tutti 0 o tutti 1, l’informazione è nulla; l’informazione è invece massima quando la sorgente emette una particolare sequenza tra altre di uguale probabilità. A partire da queste considerazioni, si costruisce una funzione della variabile aleatoria X, detta entropia, che dipende dalle probabilità dei due eventi disgiunti P(X = 0) = p e P(X = 0) = 1 − p, e che assume il valore 0 quando p = 0 o p = 1 e il valore massimo 1 quando p = 1/2.

Tale funzione è E(X) = −plog2(p) − (1 − p)log2(1 − p), il cui valore, tenendo conto che

formula

si pone uguale a 0 quando p = 0 o p = 1. Generalizzando, se la sorgente è una variabile aleatoria con n possibili valori x1, …, xn, l’entropia di tale variabile è

formula

che può anche scriversi come

formula

avendo indicato con p(xi) la probabilità P(X = xi) che X assuma la modalità xi.

☐ In statistica, indice che misura l’eterogeneità di una → distribuzione statistica. Un collettivo statistico è detto assolutamente omogeneo relativamente a un carattere se tutte le unità presentano un’unica modalità di quel carattere, cioè se una delle frequenze relative è uguale a 1 e tutte le altre sono nulle; si dice, invece, assolutamente eterogeneo se tutte le unità del collettivo sono ripartite in classi di modalità con uguale frequenza, se cioè sono equidistribuite: se k ≥ 2 è il numero delle modalità, in caso di assoluta eterogeneità le frequenze relative saranno allora: ƒ1 = ƒ2 = ... = ƒ k = 1/k.

L’entropia del carattere X, con k distinte modalità, è allora così definita

formula

dove In indica il logaritmo naturale. Anche in questo caso, tenendo conto che

formula

si pone 0ln(0) = 0 e l’espressione risulta così definita anche nel caso di modalità con frequenza nulla. L’indice varia da 0, nel caso di assoluta omogeneità, a ln(k), nel caso di massima eterogeneità.

Una misura relativa di tale indice, in modo tale che il suo massimo non dipenda dal numero k delle classi, è

formula

che varia da 0 a 1. Si può notare come, identificando frequenza e probabilità, la formalizzazione matematica dell’entropia sia di fatto la medesima in teoria dell’informazione e in statistica. L’indice è prevalentemente utilizzato nel caso di caratteri qualitativi, ma può essere esteso a ogni tipo di carattere. Nel caso di caratteri quantitativi, esso dà un’indicazione sulla → concentrazione, cioè sul modo in cui è ripartito un totale tra più unità e fornisce valori molto simili al relativo indice di Gini.

ENTROPIA

Vedi anche
Claude Elwood Shannon Matematico statunitense (Gaylord, Michigan, 1916 - Medford 2001); dapprima ricercatore nei laboratorî della Soc. Bell Telephone, quindi (1958-78) prof. al Massachusetts institute of technology. Fu uno dei fondatori della moderna teoria dell'informazione, che elaborò in vista delle applicazioni alle comunicazioni ... informazione Notizia, dato o elemento che consente di avere conoscenza più o meno esatta di fatti, situazioni, modi di essere. In senso più generale, anche la trasmissione dei dati e l’insieme delle strutture che la consentono. L’espressione tecnologia delle i. è la traduzione italiana di information technology, ... entropia Grandezza che interviene nello studio fisico-chimico delle trasformazioni di un sistema materiale e che dipende unicamente dallo stato del sistema. In termini matematici, si può dire che l’e. è funzione delle sole variabili prescelte a caratterizzare tale stato, la forma della dipendenza essendo diversa ... ergodicità In meccanica statistica e nel calcolo delle probabilità, proprietà che caratterizza i sistemi e i processi ergodici, sistemi meccanici complessi dotati della proprietà di assumere, nel corso della loro evoluzione spontanea, ogni stato dinamico microscopico (ossia ogni insieme di valori istantanei di ...
Tag
  • COLLETTIVO STATISTICO
  • VARIABILE ALEATORIA
  • LOGARITMO NATURALE
  • TIPO DI CARATTERE
  • MATEMATICA
Altri risultati per entropia
  • entropia della sorgente
    Enciclopedia della Scienza e della Tecnica (2008)
    Mauro Cappelli Denotata con il simbolo H(X), rappresenta la quantità media di informazione associata a una sorgente discreta che genera N simboli indipendenti Xι con probabilità pι (i=1,…,N) e può essere definita come dove il logaritmo si intende in base 2 per sorgenti binarie (in tal caso H si misura ...
Vocabolario
entropìa
entropia entropìa s. f. [dal ted. Entropie, comp. del gr. ἐν «dentro» e -tropie «-tropia»]. – 1. In termodinamica, funzione di stato (v. funzione, n. 7) di un sistema la cui variazione nel passaggio del sistema da uno stato a un altro può...
entròpico
entropico entròpico agg. [der. di entropia] (pl. m. -ci). – Relativo all’entropia. In termodinamica, diagramma e., diagramma avente in ascissa l’entropia, in ordinata la temperatura assoluta.
  • Istituto
    • Chi Siamo
    • La nostra storia
  • Magazine
    • Agenda
    • Atlante
    • Il Faro
    • Il Chiasmo
    • Diritto
    • Il Tascabile
    • Le Parole Valgono
    • Lingua italiana
    • WebTv
  • Catalogo
    • Le Opere
    • Bottega Treccani
    • Gli Ebook
    • Le Nostre Sedi
  • Scuola e Formazione
    • Portale Treccani Scuola
    • Formazione Digitale
    • Formazione Master
    • Scuola del Tascabile
  • Libri
    • Vai al portale
  • Arte
    • Vai al portale
  • Treccani Cultura
    • Chi Siamo
    • Come Aderire
    • Progetti
    • Iniziative Cultura
    • Eventi Sala Igea
  • ACQUISTA SU EMPORIUM
    • Arte
    • Cartoleria
    • Design & Alto Artigianato
    • Editoria
    • Idee
    • Marchi e Selezioni
  • Accedi
    • Modifica Profilo
    • Treccani X
  • Ricerca
    • Enciclopedia
    • Vocabolario
    • Sinonimi
    • Biografico
    • Indice Alfabetico

Istituto della Enciclopedia Italiana fondata da Giovanni Treccani S.p.A. © Tutti i diritti riservati

Partita Iva 00892411000

  • facebook
  • twitter
  • youtube
  • instagram
  • Contatti
  • Redazione
  • Termini e Condizioni generali
  • Condizioni di utilizzo dei Servizi
  • Informazioni sui Cookie
  • Trattamento dei dati personali