(1.3)

Так в случае двух бросаний кости с шестью гранями имеем: Х=62=36. Фактически каждый исход Х есть некоторая пара (Х1;Х2), где Х1 и Х2 – соответственно исходы первого и второго бросаний (общее число таких пар – Х).

Ситуацию с бросанием М раз кости можно рассматривать как некоторую сложную систему, состоящую из независимых друг от друга подсистем – «однократных бросаний кости». Энтропия такой системы в М раз больше, чем энтропия одной системы (так называемый «принцип дитивности энтропии»):

f(6m) = M*f(6)

Данную формулу можно распространить и на случай любого N:

f(Nm) = M*f(N) (1.4)

Прологарифмируем левую и правую части формулы (1.3): lnX=M*lnN, M=lnX/lnN.

Подставляем полученное для М значение в формулу (1.4):

f(X) = lnX/lnM*f(N)

Обозначив через К положительную константу, получим: f(x) = k*lnX, или, с учетом (1.1), H = k*lnX. Обычно принимают k=1/ln2. Таким образом

H =log2N

Это – формула Хартли.

Важным при введении какой – либо величины является вопрос о том, что принимать за единицу ее измерения. Очевидно, Н будет равно единице при N=2. Иначе говоря, в качестве единицы принимается количество информации, связанное с проведением опыта, состоящего в получении одного из двух равновероятных исходов (примером такого опыта может служить бросание монеты, при котором возможны 2 исхода «орел», «решка»). Такая единица количества информации называется «бит».

Все N исходов рассмотренного выше опыта являются равновероятными и поэтому можно считать, что на «долю» каждого исхода приходится одна N-я часть общей неопределенности опыта: (log2N)/N. При этом вероятность 1-го исхода Pi является, очевидно, 1/N.

Таким образом;

H=∑*Pi*log2 (1/Pi)

(1.6)

Так же формула (1.6) принимается за меру энтропии в случае, когда вероятности различных исходов опыта неравновероятны (т.е. Pi могут быть различны). Формула (1.6) называется формулой Шеннона.

В качестве примера определим количество информации, связанное с появлением каждого символа в сообщениях, записанных на русском языке. Будем считать, что русский алфавит состоит из 33 букв и знака «пробел» для разделения слов. По формуле (1.5)

H = log234 ≈ 5 бит

Однако, в словах русского языка (равно как и в словах других языков) различные буквы встречаются неодинаково часто. Ниже приведена таблица 1.1 вероятностей частоты употребления различных знаков русского алфавита, полученная на основе анализа очень больших по объему текстов.

Воспользуемся для подсчета Н формулой (1.6): Н ≈ 4,72 бит. Полученное значение Н, как и можно было предположить, меньше вычисленного ранее. Величина Н, вычисляемая по формуле (1.5), является максимальным количеством информации, которое могло бы приходиться на один знак.