Каждое сообщение переносит некоторую информацию, однако одни сообщения переносят больше информации, чем другие Вероятность появления события тесно связана с количеством информации. В сообщении о событии большой вероятности содержится меньше информации, чем в сообщении с маловероятным событием. Фактор неожиданности или неопределенности события пропорционален количеству информации. В самом деле, если сообщение несет достоверное событие, т. е. его вероятность равна 1, то оно не несет никакой информации и нет смысла передавать его по каналу связи. Неожиданность событий является результатом неопределенности и чем она больше, тем больше информации содержит сообщение. Вероятность события является мерой его неожиданности и определяет информационную содержательность события.

Предположим, что требуется передать любое из двух равновероятных сообщений (а или б) с применением двоичных импульсов, причем отсутствие импульса (0) соответствует сообщению а, а наличие (1) - сообщению б. Для передачи любого из двух равновероятных сообщений требуется как минимум один двоичный импульс. Информация в любом из них определяется как одна двоичная единица, принятая за единицу измерений. Для передачи четырех равновероятных сообщений двоичными импульсами требуется группа из двух двоичных импульсов (0,0, 0,1; 1,0 и 1,1). Следовательно, сообщение из двух импульсов содержит в 2 раза больше информации, т. е. две двоичные единицы информации Аналогично комбинацией из трех импульсов можно передать любое из восьми равновероятных сообщений, и каждое из них будет содержать три двоичные единицы информации. Б общем случае любое из п равновероятных сообщений содержит ^2« двоичных единиц информации.

Вероятность появления любого из этих событий Р- 1/п, поэтому количество информации в двоичных единицах (бит)

(2 1)

Выражение (2.1) может быть обобщено и на случай, когда имеется конечное множество возможных сообщений с различными вероятностями Рассмотрим ансамбль возможных сообщений, который описывается конечной схемой вида А:

т. е. вероятность появления сообщения а) равна Р(а1), а сообщения <22 - Р(а2) и т. д. Предполагаем, что все сообщения независимы и несовместимы.

Тогда информация в сообщении а, (бит)

1(а,)= (2 2)

Из выражения (2 2) видно, что в конечном ансамбле А разные сообщения несут различное количество информации. Среднее количество информации, приходящееся на одно сообщение, равно математическому ожиданию величины I (а,), т. е. Н (а,) = М \1 (а,)\ или с учетом выражения (14.3) в бит на элемент

Н(а,)= - 2 Р(а,) \og2Pia,)

Величину Н(а) называют энтропией источника сообщения, она характеризует меру неопределенности совокупности сообщений, составляющих конечную схему А. До сих пор мы количественно оценивали информацию применительно к дискретным сигналам. Однако любая подлежащая передаче информация может быть всегда представлена в двоичной форме.

Согласно теореме Котельникова содержащуюся в непрерывном сигнале с ограниченным спектром информацию можно представить дискретным отсчетом в секунду, а эти отсчеты - кодом, в котором используются двоичные импульсы.

Если для передачи информации применяют не двоичные, а например, четверичные импульсы, высота которых может принимать четыре значения (например 0, 1, 2 и Зв), то любое из четырех сообщений можно передать одним импульсом. Таким образом, один четверичный импульс может передать информацию, содержащуюся в двух двоичных импульсах, следовательно, он содержит две двоичные единицы информации. Аналогично для передачи любого из восьми возможных сообщений требуется группа из трех двоичных импульсов на каждый символ или один восьмеричный импульс, который может принимать восемь значений. Он будет переносить три двоичные единицы информации. Импульс, который может принимать М различных уровней, переносит 1од2/И двоичных единиц информации.

Следовательно, любое количество информации возможно передавать единственным импульсом, который может принимать бесконечное число различных уровней. Однако при бесконечном числе состояний различие по уровню между ними становится бесконечно малым. Так как в любом реальном канале присутствует шум, невозможно различать уровни, отличающиеся менее чем на амплитуду шума, поэтому уровни сигнала должны отличаться, по крайней мере, на значения амплитуды шума.

Если сигнал смешан с шумом, то амплитуду сигнала можно измерить лишь с точностью до эффективного значения напряжения шума. Обозначим средние мощности сигнала и шума соответственно Рс и N. Если сопротивление нагрузки принять равным 1 Ом, то напряжение сигнала с шумом будет определяться выражением -\JPc-\-N, а напряжение_шума - -у/N. Так как изменение входного сигнала меньше, чем VЫ, приемник не различает, то число уровней, которое может быть различимо без ошибок, М- л/Рс+ N/^/N =

= У1+^с/М .

Следовательно, наибольшее количество информации, бит, переносимое каждым импульсом, имеющим у/1 + Рс/М различных уровней, составит I-\og2лJ\-}-Pc/N= 0,51о?2 (1 + Дс/^).

Емкостью канала называют максимальное количество информации, которое может быть передано по каналу в секунду. Если канал пропускает максимум К импульсов в секунду, то его емкость бит в секунду, С=0,5/С1од2 (1 + Рс/Л0-

Известно, что по системе с полосой пропускания частот Д/^ можно передавать импульсы с максимальной скоростью 2Л/\, импульсов в секунду, поэтому С=А/г к1о?2 (1 + Рк/ЛО-

Ограничители уровня и устройства автоматической регулировки усиления | Автоматика, телемеханика и связь на железнодорожном транспорте | Общая классификация систем телемеханики, понятия и определения