...Левин, Основы теории информации...

Левин, Михаил Григорьевич.  Основы теории информации: учеб. пособие / М. Г. Левин, А. Г. Дружинина; М-во образования и науки Рос. Федерации, Федер. агентство по образованию, Костром. гос. технол. ун-т. - Кострома: Костром. гос. технол. ун-т, 2005. - 110 с.

Раскладывает общую структуру сообщения.  Описание канала связи - «совокупность технических устройств, которые обеспечивают независимую передачу сообщений от передатчика к приемнику по физической линии связи».  

При этом передача происходит во времени - поэтому в качестве носителей сообщений могут быть использованы только те физические величины, которые можно измерить во времени (электричество, свет, звук).  Сигнал - изменение некоторой физической величины во времени.  

Аналогии между видами информации и формами его представления - соответственно, топологическим представлением, абстрактным и лингвистическим: 

событие - точка - суждение - знак; 

величина - линия - понятие - буква; 

функция  - поверхность - образ - слово; 

комплекс - объем - система - предложение; 

поле - пространство - универсум - фон.  

Различные теории измерения информации. 

Аддитивная теория Хартли.  На примере орла и решки описывает разные формулы подсчета вероятности события.  При этом полную группу составляет совокупность всех вероятностей, одна из которых обязательно реализуется при совершении опыта (напр., одна из сторон кости).  Однако это чисто эмпирическая категория, в теории полной группы не существует, всегда возможен еще какой-то вариант.  

Статистическая теория.  

Энтропия.  Упорядоченное состояние системы - состояние, которое осуществляется относительно малым количеством способов.  Беспорядочное - большим количеством способов.  NB: определяется относительно друг друга, при этом не понятно почему порядок редок, а беспорядок част. Напр., при разном количестве молекул в разных частях сосуда, в той, где молекул больше, там более беспорядочное состояние.  

Второй закон термодинамики (Больцмана) строится на этой статистической конструкции - природа стремится к более вероятному состоянию, т.е. в направлении увеличения беспорядка (в материальном значении), если речь идет об изолированных системах.  

Энтропия в термодинамике - количественная мера неопределенности, мера вероятности осуществления какого-либо состояния системы (напр., увеличивается при кипении, уменьшается при конденсации).  

Энтропия у автора сигнала и получателя различная.  Разность между ними называется «нег-энтропией» (отрицательной энтропией), поскольку определяет уменьшение энтропии за счет передачи сообщения и служит мерой количества информации при передаче сообщения.  

Количество информации - числовая характеристика сигнала, позволяющая оценить исходную степень неопределенности , которая исчезает после выбора (получения)  сообщения в виде данного сигнала (26). 

Количество информации - мера уменьшения неопределенности ситуации (случайной величины) Х, возникающего в следствие того, что становятся известны исходы, другие ситуации (случайные величины) У, усредненная оп исходам Х и У. 

Дает расчет содержания информации. 

Теория кодирования.  Помехоустойчивое кодирование обеспечивается избыточностью.