История теории информации

• Европа погрузилась в тотальную войну в 1939 году.  

• США придерживались стратегии «ждать и смотреть».  

• Американские учёные и инженеры работали над идеями, которые могли изменить ход истории.  

• Клод Шеннон в Bell Labs искал способы зашифровать речь для сохранения тайны.  

• По ночам он работал над идеей, которая революционизировала подход к информации.  

• Основы теории Шеннона были заложены работами предшественников, включая Найквиста и Хартли.  

• В 1794 году две армии столкнулись близ города Русов.  

• Французская армия использовала воздушные шары для разведки и оптический семафор для быстрой связи.  

• Оптический семафор позволял передавать информацию практически мгновенно на огромные расстояния.  

• Клод Шаппер изобрёл семафор с 92 положениями, каждое из которых имело отдельную конфигурацию луча и бокового оружия.  

• Система позволяла кодировать сообщения в 8464 уникальных комбинации.  

• Кодовая книга использовалась для передачи важных команд, таких как атака или отступление.  

• В 1820 году Ханс Кристиан Эрстед обнаружил, что электрический ток может отклонять магнитную стрелку.  

• Открытие Эрстеда заложило основу для новой эры коммуникаций.  

• Сэмюэл Морзе вернулся в США в 1832 году и начал работу над телеграфной системой.  

• Вместе с Альфредом Вейлом они изобрели машину, передающую импульсы на электрические проводники.  

• Импульсы кодировали буквы и цифры с помощью точек и тире.  

• 24 мая 1844 года Морзе и Вейл провели демонстрацию телеграфа в зале Верховного суда США.  

• Система позволила передавать сообщения на большие расстояния с почти мгновенной скоростью.  

• К 1876 году система Морзе доминировала в мировой телеграфии, но была ручной и трудоёмкой.  

• Эмиль Бордо изобрёл бордосский код, который автоматизировал телеграфную связь.  

• Код Бордо присвоил каждой букве или цифре фиксированный пятибитный код.  

• В 1927 году Ральф Хартли представил доклад о количественной оценке информации.  

• Хартли определил информацию как группу физических символов, передающих определённое значение.  

• Он утверждал, что количество информации зависит от общего количества возможных сообщений, из которых мы выбираем.  

• Идея Хартли была простой, но глубокой: количество информации можно определить количественно с математической точностью.  

• Алфавит символов из трёх и двух последовательных выборок даёт 9 возможных сообщений.  

• Увеличение количества выборок увеличивает количество возможных сообщений.  

• Семафор Чаппы использовал 92 основных символа, что давало 92^2 возможных способа кодирования сообщения.  

• Телепринтер Bordeaux имеет 32 способа кодирования, и количество возможных вариантов увеличивается на 32^n при выборе n вариантов.  

• Хартли столкнулся с проблемой экспоненциального роста количества возможных последовательностей.  

• Вместо использования исходного числа возможных последовательностей Хартли предложил использовать логарифм этого числа.  

• Это позволило оценить информацию линейно, а не экспоненциально.  

• Найквист установил связь между дискретными символами и аналоговыми сигналами, изучая импульсы телеграфной системы.  

• Он показал, что при прохождении сигнала через канал более высокие частоты исчезают, что зависит от пропускной способности канала.  

• Пропускная способность канала ограничивает количество сигналов, которые могут быть переданы за секунду.  

• В 1937 году Клод Шеннон защитил магистерскую диссертацию, которая стала основой цифровой электроники.  

• Шеннон применил математическую алгебру Буля к электрическим цепям, что послужило основой для цифровой логики и компьютеров.  

• В 1948 году Шеннон предложил идеи, которые произвели революцию в восприятии информации.  

• Шеннон выделил пять компонентов коммуникационной системы: источник информации, передатчик, канал, приёмник и адресат.  

• Источник информации генерирует последовательность сообщений, а канал передаёт сигнал.  

• Шеннон подчеркнул, что канал сам по себе не передаёт информацию, а лишь является способом передачи информации из источника.  

• Шеннон показал, как рассчитать пропускную способность произвольного канала.  

• Пропускная способность зависит от количества последовательностей, которые можно построить из доступных символов.  

• Пример с телепринтером Bordeaux: пропускная способность составляет 5 бит на символ.  

• Шеннон заметил, что источник информации является статистическим процессом, а не случайным генератором символов.  

• Каждый новый сгенерированный символ зависит от предыдущих символов, что делает некоторые последовательности более вероятными, чем другие.  

• Подход Хартли учитывал все возможные последовательности, но Шеннон предложил новую перспективу, учитывающую вероятность появления различных последовательностей.