История теории информации

• Европа погрузилась в тотальную войну в 1939 году.  

• США придерживались стратегии «ждать и смотреть».  

• Американские учёные и инженеры работали над идеями, которые могли изменить ход истории.  

• Клод Шеннон в Bell Labs искал способы зашифровать речь для сохранения тайны.  

• По ночам он работал над идеей, которая революционизировала подход к информации.  

• Основы теории Шеннона были заложены работами предшественников, включая Найквиста и Хартли.  

• В 1794 году две армии столкнулись близ города Русов.  

• Французская армия использовала воздушные шары для разведки и оптический семафор для быстрой связи.  

• Оптический семафор позволял передавать информацию практически мгновенно на огромные расстояния.  

• Клод Шаппер изобрёл семафор с 92 положениями, каждое из которых имело отдельную конфигурацию луча и бокового оружия.  

• Система позволяла кодировать сообщения в 8464 уникальных комбинации.  

• Кодовая книга использовалась для передачи важных команд, таких как атака или отступление.  

• В 1820 году Ханс Кристиан Эрстед обнаружил, что электрический ток может отклонять магнитную стрелку.  

• Открытие Эрстеда заложило основу для новой эры коммуникаций.  

• Сэмюэл Морзе вернулся в США в 1832 году и начал работу над телеграфной системой.  

• Вместе с Альфредом Вейлом они изобрели машину, передающую импульсы на электрические проводники.  

• Импульсы кодировали буквы и цифры с помощью точек и тире.  

• 24 мая 1844 года Морзе и Вейл провели демонстрацию телеграфа в зале Верховного суда США.  

• Система позволила передавать сообщения на большие расстояния с почти мгновенной скоростью.  

• К 1876 году система Морзе доминировала в мировой телеграфии, но была ручной и трудоёмкой.  

• Эмиль Бордо изобрёл бордосский код, который автоматизировал телеграфную связь.  

• Код Бордо присвоил каждой букве или цифре фиксированный пятибитный код.  

• В 1927 году Ральф Хартли представил доклад о количественной оценке информации.  

• Хартли определил информацию как группу физических символов, передающих определённое значение.  

• Он утверждал, что количество информации зависит от общего количества возможных сообщений, из которых мы выбираем.  

• Идея Хартли была простой, но глубокой: количество информации можно определить количественно с математической точностью.  

• Алфавит символов из трёх и двух последовательных выборок даёт 9 возможных сообщений.  

• Увеличение количества выборок увеличивает количество возможных сообщений.  

• Семафор Чаппы использовал 92 основных символа, что давало 92^2 возможных способа кодирования сообщения.  

• Телепринтер Bordeaux имеет 32 способа кодирования, и количество возможных вариантов увеличивается на 32^n при выборе n вариантов.  

• Хартли столкнулся с проблемой экспоненциального роста количества возможных последовательностей.  

• Вместо использования исходного числа возможных последовательностей Хартли предложил использовать логарифм этого числа.  

• Это позволило оценить информацию линейно, а не экспоненциально.  

• Найквист установил связь между дискретными символами и аналоговыми сигналами, изучая импульсы телеграфной системы.  

• Он показал, что при прохождении сигнала через канал более высокие частоты исчезают, что зависит от пропускной способности канала.  

• Пропускная способность канала ограничивает количество сигналов, которые могут быть переданы за секунду.  

• В 1937 году Клод Шеннон защитил магистерскую диссертацию, которая стала основой цифровой электроники.  

• Шеннон применил математическую алгебру Буля к электрическим цепям, что послужило основой для цифровой логики и компьютеров.  

• В 1948 году Шеннон предложил идеи, которые произвели революцию в восприятии информации.  

• Шеннон выделил пять компонентов коммуникационной системы: источник информации, передатчик, канал, приёмник и адресат.  

• Источник информации генерирует последовательность сообщений, а канал передаёт сигнал.  

• Шеннон подчеркнул, что канал сам по себе не передаёт информацию, а лишь является способом передачи информации из источника.  

• Шеннон показал, как рассчитать пропускную способность произвольного канала.  

• Пропускная способность зависит от количества последовательностей, которые можно построить из доступных символов.  

• Пример с телепринтером Bordeaux: пропускная способность составляет 5 бит на символ.  

• Шеннон заметил, что источник информации является статистическим процессом, а не случайным генератором символов.  

• Каждый новый сгенерированный символ зависит от предыдущих символов, что делает некоторые последовательности более вероятными, чем другие.  

• Подход Хартли учитывал все возможные последовательности, но Шеннон предложил новую перспективу, учитывающую вероятность появления различных последовательностей.  

• Шеннон смоделировал источник информации как марковский процесс, где переход между состояниями происходит случайным образом, но в соответствии с установленными вероятностными правилами.  

• Любой источник информации имеет статистическое поведение, содержащее закономерности, повторения и избыточность.  

• Идея Шеннона стала фундаментальной основой теории информации, сжатия данных, криптографии, машинного обучения и других областей.  

• Шеннон ввёл понятие информационной энтропии как меры устранения неопределённости.  

• Энтропия максимизируется, когда вероятности исходов равны, и падает при искажении вероятностей.  

• Энтропия — это взвешенная сумма значений неожиданности для каждого возможного исхода, взвешенная по вероятности каждого исхода.  

• Энтропия устанавливает фундаментальную нижнюю границу эффективности представления информации.  

• Это позволяет наилучшим образом использовать канал для передачи информации.  

• Рассматривается источник информации с четырьмя цветами: красный 50%, синий 25%, белый и чёрный по 12,5%.  

• Необходимо присвоить код каждому цвету для передачи по каналу связи.  

• Вопрос: какой код присвоить каждому цвету для наиболее эффективной схемы кодирования?  

• Фиксированный код требует 2 бита на символ.  

• Код переменной длины позволяет использовать длину кода, соответствующую неожиданности символа.  

• Оптимальная схема кодирования достигается путём присвоения более коротких кодовых слов более часто встречающимся символам.  

• Кодер должен преобразовать выходные данные источника в поток битов, статистически близкий к наиболее эффективному использованию канала.  

• Шеннон показал, что можно сжать источник информации до уровня его энтропии, но снижение энтропии приведёт к потере информации.  

• Пример с английским языком показывает, что статистическая структура языка проявляется только при анализе больших фрагментов текста.  

• Буквы не являются независимыми, и некоторые комбинации более вероятны, чем другие.  

• Шеннон доказал, что любой источник можно сжать до уровня его энтропии, моделируя длинные последовательности.  

• При большом количестве выборок процентное соотношение цветов приближается к ожидаемому значению.  

• В пределе, когда количество выборок приближается к бесконечности, источник информации сводится к его энтропии.  

• На символ приходится менее h бит, и не каждая возможная последовательность может быть закодирована.  

• Шум в канале связи создаёт неопределённость, которая влияет на передачу информации.  

• Шеннон ввёл понятие условной энтропии для учёта недостающей информации из-за шума.  

• Пример с подбрасыванием монеты показывает, что из-за шума передаётся меньше информации, чем ожидалось.  

• Условная энтропия отражает недостающую информацию из-за шума.  

• На шумной вечеринке сообщение с 10 битами информации может быть сужено до 7 бит из-за шума.  

• Неопределённость из-за шума ограничивает количество передаваемой информации.  

• В зашумленных каналах получатель никогда не может быть уверен в точности переданного сообщения.  

• Система должна быть спроектирована должным образом, чтобы достичь максимальной пропускной способности и избежать ошибок.  

• Шеннон утверждал, что при правильном кодировании можно передавать данные на пропускной способности канала практически без ошибок.  

• Источник информации с энтропией h генерирует последовательности, количество которых растёт экспоненциально.  

• Распределение этих последовательностей по каналу увеличивает количество возможных выходных последовательностей.  

• В зашумлённом канале существует более одного правдоподобного входного сигнала, который может привести к заданному результату.  

• Шеннон предложил снизить скорость источника до r, где r меньше пропускной способности канала.  

• Это уменьшает количество последовательностей, генерируемых источником, по сравнению с количеством доступных выходных последовательностей канала.  

• Даже при небольшом уменьшении скорости источника соотношение между количеством последовательностей становится исчезающе малым.  

• Это обеспечивает достаточное количество последовательностей каналов для кодирования сообщений.  

• При достаточно большой длине блока вероятность интерпретации последовательности как более чем одного сообщения падает почти до нуля.  

• Шеннон распространил понятие энтропии на непрерывные сигналы и предложил способ вычисления пропускной способности непрерывных каналов.  

• Теорема Хартли-Шеннона объединяет идеи Найквиста, Хартли и Шеннона, определяя предельную скорость для надёжной связи.  

• Уравнение выражает пропускную способность канала, ограниченную мощностью и искажённую шумом.