ТЕОРИЯ ИНФОРМАЦИИ [information theory]

Теория информации - это, Что такое теория информации, Определение термина теория информации

Раздел Кибернетики, изучающий общие стороны процессов передачи, хранения, извлечения и классификации информации различной природы (в том числе биологической, технической, социальной и др.) в независимости от ее семантического (смыслового) содержания. Общим средством анализа, описания и количественной оценки исследуемых процессов теории информации является ее математический аппарат, представляющий собой основу разрабатываемых и используемых теорий и методов.
Важнейшей частью теории информации является Теория передачи информации [Theory of communication]. Ее основоположник —американский математик К. Шеннон. Основные понятия этого раздела теории: энтропия (коли™ чественная мера неопределенности ситуации) от греческого entropla — поворот, превращение и количество информации, измеряемое величиной изменения энтропии в условиях, связанных с получением информации. С использованием этих понятий выражается пропускная способность канала связи между источником информации и ее адресатом, равная максимально допустимой скорости передачи информации со сколь угодно малой вероятностью ошибки.
Составной частью теории информации является также Теория кодирования (или Теория оптимального кодирования), рассматривающая вероятностные аспекты проблем кодирования и декодирования информации. Большой вклад в разработку теории информации внесли отечественные ученые А. Н. Колмогоров, А. Я. Хинчин, Р. Л. Добрушин, В.А. Котельников, А.А. Харкевич и др. Возросшая необходимость не только количественного, но и содержательного анализа информационных процессов породила появление новой науки - Информатики.