Композиционное пространство имеет вид:

j1=1, ., m1; j2=1, ., m2; jn=1, ., mn;

Общая структура независимых событий в композиционном пространстве имеет вид:

Рассмотрим два вероятностных пространства.

Очевидно, что неопределенность испытания до испытания в первом вероятностном пространстве выше, чем во втором. Действительно, до испытания в I нельзя ни одному из событий отдать предпочтения, а во II событие E3 происходит чаще.

Энтропия - мера неопределенности исхода испытания (до испытания).

Первым, кто функционально задал выражение для энтропии был Шеннон.

,

Для вероятностного пространства:

Энтропия задается выражением: . Если P1=0, то Pi×logPi­=0.

Самим показать, что:

1. Если вероятностное пространство не имеет определенности, т.е. какое-то из Pi=1, а остальные равны 0, то энтропия равна нулю.

2. Если элементарный исход равновероятен, т.е. , то энтропия принимает максимальное значение.

0£Pi£1,

1)

,

т.о. вероятности p1, p2, ., ps обращаются в ноль, например pi, которая равна 1. Но log1=0. Остальные числа также обращаются в 0, т.к. .

2) Докажем, что энтропия системы с конечным числом состояний достигае максимума, когда все состояния равновероятны. Для этого рассмотрим энтропию системы как функцию вероятностей p1, p2, ., ps и найдем условный экстремум этой функции, при условии, что .

Пользуясь методом неопределенных множителей Лагранжа, будем искать экстремум функции: .

Дифференцируя по p1, p2, ., ps и приравнивая производные нулю получим систему:

i=1, ., s

Откуда видно, что экстремум достигается при равных между собой p1.

Т.к. , то p1= p2=, ., = ps= 1/s.

Еденицей измерения энтропии является энтропия вероятностного пространства вида:

, которая называется 1 бит.

Неопределенность исхода испытания до испытания автоматически определяет информативность исхода испытания после испытания. Поэтому в битах также измеряется информативность исхода.

Рассмотрим два вероятностных пространства:

Проводим композицию двух испытаний. Композиционное пространство имеет вид:

i=1, ., s1 j=1, ., s2

С точки зрения качественного анализа максимальная энтропия композиционного вероятностного пространства достигается тогда, когда испытания независимы. Найдем энтропию композиционного пространства для случая независимых испытаний.

Биномиальное распределение.

n испытаний называются системой испытаний Бернулли, если испытания независимы, в каждом из них происходит событие , либо с вероятностью наступления P(A) = p;

Найдем вероятность того, что в результате проведенных n испытаний событие А произошло m раз:

Рассмотрим композицию n независимых испытаний и построим композиционное пространство элементарных событий.

Общий вид элемента этого пространства следующий:

При этом вероятность наступления такого события равна:

(умножение при независимых событиях)

Найдем вероятность наступления любого элементарного события из композиционного пространства:

Рассмотрим в композиционном вероятностном пространстве событие: в n испытаниях событие A произошло m раз.

Событие A состоит из - общее кол-во элементарных событий, в которое входит событие А. А произошло m раз, - n-m раз. Вероятность каждого из этих элементарных событий одинакова и равна:

Следовательно, на основании III аксиомы теории вероятности результат равняется:

(сложение вероятностей)

Случайная величина

Пусть имеется вероятностное пространство вида .