[Основы ОС, практика] Устройство памяти 1: трансляция адресов

• Каждому процессу назначается свое адресное пространство.  

• В этом пространстве есть ядро, стек, куча, динамические библиотеки и другие регионы.  

• Процессы работают только с виртуальными адресами, а не с физическими.  

• Процессы не имеют доступа к физическим адресам.  

• Ядро системы управляет памятью и производит трансляцию виртуальных адресов в физические.  

• Это позволяет изолировать контексты процессов и поддерживать мультипроцессность.  

• Виртуальная память позволяет использовать больше памяти, чем доступно физически.  

• Можно настроить память для разных уровней доступа, например, только для ядра или для ядра и пользователя.  

• Это достигается благодаря механизму виртуальной памяти.  

• Виртуальная память отображает виртуальные адреса в физические.  

• Принцип локальности предполагает, что адреса в программе часто лежат последовательно или в небольшом сегменте памяти.  

• Это позволяет использовать кэш трансляций для ускорения работы с памятью.  

• Принцип локальности важен для эффективного управления памятью.  

• Он применим как в системном, так и в прикладном программировании.  

• Пока программы пишутся людьми, принцип локальности остается актуальным.  

• Железо выполняет трансляцию адресов, а операционная система подставляет данные для операций.  

• Память разбивается на страницы для удобства управления.  

• Размер страницы обычно составляет 4 килобайта, что удобно для работы с буферами.  

• Память разделена на страницы для отображения физического пространства.  

• В старых моделях памяти использовались динамические разделы, что ограничивало количество процессов в памяти.  

• Современные модели, такие как страничная модель, решают эти проблемы.  

• MS-DOS использовала однопроцессную систему с очередью процессов.  

• Память процесса подменялась при переключении между процессами.  

• Это была простая, но неэффективная схема.  

• Память разбивалась на фиксированные разделы по 64 килобайта.  

• Это устраняло необходимость перемещения всей памяти, но создавало проблемы с внутренней фрагментацией.  

• Программы могли вызывать функции только из своего раздела, что ограничивало их возможности.  

• Динамические разделы позволяют процессу выделять столько памяти, сколько нужно.  

• Это устраняет внутреннюю фрагментацию и позволяет выбирать стратегии размещения процессов.  

• Динамические разделы стали следующей ступенью в развитии моделей памяти.  

• Основная проблема - сложность оценки занимаемого процессом места в памяти.  

• Разработчики часто не могут или не хотят контролировать этот параметр.  

• Пример: браузер с множеством вкладок может занять много памяти.  

• Внешняя фрагментация - это фрагментация между сегментами памяти.  

• В долгосрочной перспективе это приводит к наличию "дырок" в памяти.  

• Решение: дефрагментация памяти, как с жесткими дисками.  

• Память хранится блоками, и хотелось бы иметь возможность их сдвигать.  

• Это требует накладных расходов.  

• Память адресуется внутри блоков с использованием базового адреса и смещения.  

• Введены сегменты для быстрого пересчета адресов внутри блоков.  

• Сегмент - это линейный диапазон адресов.  

• В старых процессорах использовались сегментные регистры для записи базового адреса сегмента.  

• Сегментная модель существовала долго, но было предложено более изящное решение.  

• Адрес - это физический адрес, который выставляется на адресную шину оперативной памяти.  

• Сегмент - это начало блока физической памяти, а сегментный регистр - это одна переменная.  

• Внутри сегмента есть адресация, а снаружи - виртуальная память.  

• Сегментная модель просуществовала долго, но была заменена более простой и универсальной моделью.  

• Логическая память и физическая память разбиваются на блоки одинакового размера.  

• Логические и физические блоки сопоставляются друг с другом для создания отображения.  

• Логические адреса сопоставляются с физическими адресами через отображение.  

• Можно строить гибкие сценарии отображения, включая отображение на устройства, такие как диски или флешки.  

• Логические и физические страницы называются кадрами.  

• Виртуальная память - это память, предоставленная процессу.  

• Логическая абстракция используется для перехода от виртуальных адресов к физическим.  

• В Linux используется страничная модель для трансляции логических адресов в физические.  

• Логические адреса выравниваются по размеру страницы.  

• Номер страницы задается 20 битами, а смещение внутри страницы - 12 битами.  

• Таблица отображения задает отображение логических адресов на физические.  

• Логические адреса выровнены по 32 битам, что позволяет использовать 12 бит для флагов.  

• Флаги могут указывать статус страницы, например, была ли она изменена или доступна для чтения/записи.  

• Это позволяет гибко настраивать память для ядра и пользователей.  

• Логический адрес разбивается на номер страницы и смещение внутри страницы.  

• Таблица отображения используется для нахождения физического адреса начала кадра.  

• Смещение внутри кадра добавляется к адресу начала кадра для получения физического адреса.  

• В страничной модели адрес разбивается на две части: номер страницы и смещение.  

• Таблица отображения используется для нахождения физического адреса.  

• Это обеспечивает кусочно-непрерывное отображение логических адресов в физические.  

• Страничная модель хранится в ядре.  

• Доступ к ней возможен через системный вызов или метаданные процесса.  

• Таблица страниц пейдж тейбл создается для каждого процесса.  

• Процесс может получить доступ к таблице страниц через указатель на мм тракт.  

• Ядро также имеет доступ к таблице страниц.  

• Ранее были уязвимости, но сейчас доступ ограничен.  

• Введена сегментно-страничная модель для обобщения страничной модели.  

• Теперь добавляется номер сегмента и специальная таблица для каждого сегмента.  

• Таблица сегментов содержит номер кадра и смещение относительно начала сегмента.  

• Если записи в таблице страниц нет, возникает ошибка сегментирования.  

• В Linux это не приводит к серьезным последствиям, в Windows процесс может умереть.  

• Минорный пейдж-фолт возникает при необходимости синхронизации страниц.  

• Мажорный пейдж-фолт происходит, если страница отсутствует и ее нужно подгрузить.  

• Это реализовано в страничном кэшировании.  

• На следующем занятии будет обсуждаться работа с памятью и динамическая память.  

• Таблица страниц хранится в трехуровневой структуре.  

• Включает мм тракт, пейдж глобал директорию и мидл-запись.  

• Для хранения больших массивов требуется больше одной страницы памяти.  

• Для хранения последовательного массива может потребоваться четыре страницы памяти.  

• Массив может быть разбит на несколько структур, каждая из которых указывает на другую.  

• Это создает иерархию таблиц, что увеличивает объем используемой памяти.  

• Логические сегменты транслируются в физические адреса.  

• После получения физического адреса начинается работа со страничной моделью.  

• Сегменты позволяют поддерживать несколько адресных пространств в одной программе.  

• Обсуждение переноса дедлайнов домашних заданий из-за праздников.  

• Решение перенести дедлайн на неделю.  

• Обсуждение контрольных работ и их сроков.  

• Динамическая память выделяется во время работы программы в куче.  

• Память в куче растет по возрастанию адресов и ограничена меткой брк.  

• Примеры из Linux показывают, как можно сдвигать метку брк для выделения больше памяти.  

• Юни стд отличается от сбрк тем, что сохраняет предыдущее положение программы.  

• Можно откатиться назад.  

• Написание программы для вывода информации о динамической памяти.  

• Использование юни стд и стд.  

• Работа с памятью поблочно, задавая размер блока.  

• Пример блока - страничка.  

• Задание диапазона адресов для выделения и освобождения памяти.  

• Шаг равен одному.  

• Написание цикла для выделения памяти.  

• Использование массива массивов для выделения памяти.  

• Вызов сбрк для проверки памяти.  

• Печать информации о памяти.  

• Исправление ошибок и опечаток.  

• Добавление ст либ и исправление ошибок.  

• Переполнение стека и исправление ошибок.  

• Проверка начального и конечного состояния программы.  

• Куча выделяет память по мере нахождения свободных блоков.  

• При высвобождении памяти могут оставаться свободные блоки.  

• Пример с выделением большой памяти.  

• Использование малок для выделения памяти.  

• Виртуальные адреса выводятся в программу, физические адреса доступны только из ядра.  

• Пример использования malloc для выделения памяти.  

• malloc возвращает NULL при неудаче.  

• Использование утилиты truss для отслеживания системных вызовов.  

• Процесс включает открытие библиотек, отображение памяти и настройку защиты.  

• malloc для больших объемов памяти реализован через emalloc.  

• Emalloc используется для выделения больших объемов памяти.  

• Emalloc заменяет malloc для больших объемов памяти.  

• Emalloc строит отображение памяти с помощью вызова mmap.  

• Память бывает приватной, разделяемой, анонимной и резидентной.  

• Приватная память принадлежит одному процессу.  

• Разделяемая память может быть использована несколькими процессами.  

• Анонимная память не связана с файловым бэкендом.  

• Резидентная память — это страницы, с которыми осуществляется работа в оперативной памяти.  

• Пример использования mmap для разделения памяти между процессами.  

• Пример прокачки файла через оперативную память.  

• Использование структур из файловых систем для настройки отображения памяти.  

• Открытие файла и настройка отображения памяти в разделяемом режиме.