Введение в Deep Learning | Григорий Сапунов (Intento)

• Лекция длится два часа, но материал на три.  

• Будут пропущены некоторые детали для начального ознакомления.  

• Много ссылок на дополнительные материалы для углубленного изучения.  

• Машинное обучение и глубокое обучение - разные области.  

• Глубокое обучение - частный случай машинного обучения.  

• Глубокое обучение не является альтернативой или конкурентом.  

• Первые нейросетевые модели появились в 1943 году.  

• Рекуррентные сети появились в 1973 году, сверточные - в 1979 году.  

• Многие методы глубокого обучения существуют давно, но стали актуальными недавно.  

• В классическом машинном обучении признаки извлекаются вручную.  

• В глубоком обучении признаки извлекаются автоматически.  

• Нейросети могут работать с различными типами данных и извлекать важные признаки.  

• Пример с AlphaGo: компьютер победил человека в го.  

• Нейросети находят решения, которые люди не могут увидеть.  

• Нейросети способны находить эффективные решения, которые люди не видят.  

• Глубокое обучение улучшило качество распознавания изображений.  

• Нейросети превосходят человеческие способности в распознавании изображений.  

• Пример с кошкой и собакой: нейросети теперь могут различать больше классов изображений.  

• Сложность сетей растет, увеличивается количество слоев.  

• Современные сети имеют сложную архитектуру с направленными графами.  

• Сети можно собирать из готовых блоков, как конструктор Лего.  

• Нейросети часто обсуждаются в контексте количества слоев или параметров.  

• Сложные сети требуют больше данных и могут переобучаться.  

• Важно понимать архитектурные усовершенствования и сложность сетей.  

• Размер кружка на графике показывает количество параметров.  

• Точность предсказания и количество операций для вычисления сети.  

• Сети усложняются не только количеством параметров, но и архитектурными решениями.  

• Сложные архитектурные решения могут значительно улучшить качество сети.  

• Сети с меньшим количеством параметров могут быть более точными.  

• Количество слоев и параметров не всегда линейно связано с точностью.  

• В 1998 году сверточная сеть распознавала рукописные символы.  

• За 14 лет процессоры стали в тысячу раз быстрее.  

• Ожидается, что через 10 лет процессоры будут еще быстрее.  

• Объем данных увеличился на семь порядков за 14 лет.  

• Это добавило возможностей для обучения нейросетей, но усложнило поиск ресурсов.  

• В биологии объемы данных еще больше, что открывает большие возможности для прорывов.  

• Процессоры уступают графическим картам в эффективности.  

• Графические карты лучше справляются с перемножением матриц.  

• Обучение нейросетей происходит на графических картах, что ускоряет процесс.  

• Новые графические карты имеют значительно большую производительность.  

• Анонсированы новые модели с еще большей мощностью.  

• Переход от программируемой логики к заказным микросхемам продолжается.  

• Обсуждение новых процессоров и их производительности.  

• Введение в нейронные сети и их работу.  

• Упрощенная модель нейрона и её применение в нейросетях.  

• Описание функций активации и их роли в нейросетях.  

• Примеры функций активации и их влияние на обучение.  

• Инженерный подход к созданию нейросетей и его отличия от математического.  

• Описание структуры нейросети: входной и выходной слои, скрытые слои.  

• Различие между глубокими и неглубокими нейросетями.  

• Применение дипленинга в нейросетях.  

• Пример классификации объектов на десять классов.  

• Описание работы нейросети и её выходных нейронов.  

• Интерпретация результатов классификации и выбор класса с максимальной активацией.  

• Описание мульти-лейбл классификации и её особенности.  

• Интерпретация результатов мульти-лейбл классификации.  

• Произвол в интерпретации результатов и его влияние на классификацию.  

• Сверточная нейросеть создает иерархию признаков.  

• Пример: сеть для классификации марок автомобилей.  

• Нейросеть выделяет признаки на первом слое и создает хитппы.  

• Нейросеть создает новые хитппы на основе первых.  

• Признаки комбинируются в более сложные элементы.  

• Пример с автомобилями: элементы кузовов и их комбинации.  

• Существует множество архитектур нейросетей.  

• Важные архитектуры будут рассмотрены.  

• Нейроны работают в двух режимах: обучение и эксплуатация.  

• Обучение: подбор весов для улучшения работы.  

• Эксплуатация: использование обученной нейросети.  

• Обучение требует много времени, эксплуатация - меньше.  

• Алгоритм прост и интуитивен.  

• Входы перемножаются с весами, затем через функцию активации.  

• В реальности используется матричное представление для эффективности.  

• Цель обучения - научиться решать задачу хорошо.  

• Используются метрики для оценки качества решения.  

• Пример: лосфункции для оценки точности классификации или регрессии.  

• Градиентный спуск минимизирует дифференцируемую функцию.  

• Алгоритм Беко-Пропаг основан на градиентном спуске.  

• Функции потерь играют важную роль в решении задач.  

• Для сложных задач можно использовать хитрые функции потерь.  

• Пример: перенос стиля, где функция потерь вычисляется через другую нейросеть.  

• Сити Коннекш Классифик позволяет решать задачи трансформации последовательностей.  

• Нейросети вытеснили скрытые марковские модели в распознавании речи и лингвистических моделях.  

• В биологии нейросети также могут заменить марковские модели.  

• В реальности функции потерь имеют множество локальных минимумов.  

• Мини-батч-градиентный спуск используется для обучения нейросетей.  

• Алгоритмы градиентного спуска решают проблемы с локальными минимумами.  

• Градиентный спуск зависит от начальной точки и может застревать в локальных минимумах.  

• Существуют модифицированные алгоритмы, такие как алгоритмы с моментом инерции.  

• Дефолтные оптимизаторы, такие как Адам и RMSProp, являются разумным выбором для старта.  

• Параметр рейта определяет, насколько сильно учитывать градиент в апдейтах.  

• Неправильное значение рейта может привести к неправильному обучению нейросети.  

• Важно правильно настроить алгоритм оптимизации для успешного обучения.  

• Алгоритм обучения влияет на успешность решения задачи.  

• Важно понимать, как меняется качество нейросети во времени.  

• Интуитивное понимание проблем обучения может помочь в их решении.  

• Алгоритм считает градиенты по каждому из весов.  

• Градиенты используются для изменения весов с помощью градиентного спуска.  

• Ошибки раскидываются по входам нейронов пропорционально весам.  

• Раньше программирование матричных операций выполнялось вручную.  

• Сейчас используются готовые фреймворки, которые автоматизируют процесс.  

• Символьное и автоматическое дифференцирование упрощают процесс.  

• Современные фреймворки ускоряют процесс создания нейросетей.  

• Рекомендуется использовать методы оптимизации, такие как Adam и RMSProp.  

• Ссылки на курсы и материалы для углубленного изучения.  

• Многослойные персептроны используются для классификации.  

• Полносвязные сети имеют проблемы с переобучением и затуханием градиентов.  

• Современные методы позволяют обучать глубокие нейросети.  

• Прямые связи в нейросетях позволяют сигналу проходить напрямую без весов.  

• Это помогает градиенту проходить от конца к началу и изменять нужные параметры.  

• Функции активации гарантируют, что нейросеть не схлопнется и не взорвется.  

• Методы регуляризации, такие как пропаут, помогают обучать глубокие нейросети.  

• Многослойные персептроны используются для построения классификаторов.  

• В биологии они помогают определять участки генома с сайтами.  

• Пример из Торонто показывает, как нейросети могут решать сложные задачи.  

• Мультитаск-сети решают несколько задач одновременно.  

• Они могут предсказывать пропасти, профили экспрессии и другие параметры.  

• Идея в том, что нейросеть учится признакам, общим для разных задач.  

• Мультитаск-сети могут решать задачи качественнее, чем однозадачные нейросети.  

• Добавление новых задач улучшает качество решения основной задачи.  

• Примеры из биологии и медицины показывают, что мультитаск-сети работают эффективно.  

• Google активно занимается дипленингом для биологии и медицины.  

• Добавление новых задач к нейросети улучшает качество решения.  

• Мультитаск-сети помогают решать задачи, используя общие признаки.  

• Автоэнкодер - это многослойный персептрон, который восстанавливает входной сигнал с высокой точностью.  

• Он создает низкоразмерный код, который описывает сигнал, что делает его полезным для машинного обучения.  

• Автоэнкодер можно использовать как фичи-генератор для других алгоритмов.  

• Автоэнкодер выделяет низкоразмерные признаки, которые можно использовать для классификации и интерпретации данных.  

• Он работает как продвинутый нелинейный метод главных компонент, выделяя сложные типы данных.  

• Пример использования: профили экспрессии для выявления тканей с похожими профилями.  

• Автоэнкодер позволяет предсказывать данные без разметки и целевой переменной.  

• Он находит структуру в данных и создает низкоразмерное представление.  

• Примеры медицинских применений: устранение шума из данных и изучение экспрессии генов.  

• Динозинг - это автоэнкодер, который устраняет шум из данных.  

• Он помогает извлекать содержательную информацию из данных с шумом.  

• Пример: изучение экспрессии генов для выявления рака.  

• FNN - это не вариация FNN, а стохастическая модель, похожая на автоэнкодер.  

• Она обучается восстанавливать данные статистически, что помогает генерировать данные с таким же распределением.  

• FNN может быть полезна для предобучения глубоких сетей и улучшения их эффективности.  

• Предобучение FNN позволяет начать обучение глубоких сетей с разумных весов.  

• Это улучшает сходимость и эффективность обучения.  

• Метод полезен для задач с ограниченным объемом данных или сложной структурой.  

• Сверточные нейросети активно используются для обработки изображений.  

• Основные задачи: классификация, детекция и семантическая сегментация.  

• Сверточные сети эффективны для задач, связанных с обработкой изображений.  

• Сверточная нейросеть состоит из многослойного персептрона и специальных блоков.  

• Сверточный блок использует операцию свертки для обработки изображений.  

• Операция свертки перемножает значения пикселей с весами и суммирует результаты.  

• Свертка берет два сигнала: изображение и фильтр, и генерирует третий сигнал.  

• Визуализация свертки показывает, как фильтр накладывается на изображение и генерирует новое изображение.  

• В реальности изображение является трехмерным объектом, а фильтр объемным.  

• Сверточный нейрон обрабатывает небольшую часть изображения, ловя локальные признаки.  

• Каждый нейрон строит свой условный хит-мэп, применяя фильтр к изображению.  

• Сверточный слой преобразует изображение в многомерный массив.  

• Пуллинг-слой уменьшает изображение, усредняя значения по квадратикам.  

• Макс-пулинг сохраняет максимальные значения активации, что делает его инвариантным к смещению.  

• Пуллинг уменьшает объем данных, сохраняя важные признаки.  

• Сверточный слой генерирует новые плоскости, обработанные фильтрами.  

• Пуллинг-слой уменьшает размер данных.  

• Полносвязный слой интерпретирует признаки для решения задачи.  

• Сверточная нейросеть создается в библиотеке Keras.  

• Модель состоит из слоев: сверточный, активация, пуллинг, полносвязный, активация, выходной полносвязный.  

• Модель обучается на данных и предсказывает результаты на новых данных.  

• Современные фреймворки позволяют создавать нейросети в несколько строк кода.  

• Фреймворки различаются по уровню сложности: от простых до глубоких.  

• Понимание работы нейросетей упрощает их создание и использование.  

• Сверточные сети обучаются локальным признакам в изображении.  

• Они устойчивы к базовым трансформациям изображения, таким как сдвиг и масштабирование.  

• Сверточные сети имеют меньше весов по сравнению с полносвязными сетями.  

• Современные архитектуры нейросетей включают сложные блоки и резидил-коннекшн.  

• Сверточные сети хорошо справляются с задачами классификации изображений и выделения объектов.  

• Пример: классификация кожных заболеваний с использованием трансферного обучения.  

• Трансферное обучение позволяет использовать готовые сети для решения новых задач.  

• Пример: использование обученной сети для классификации изображений и адаптация её под новую задачу.  

• Пример из медицины: применение наработок по распознаванию изображений для классификации заболеваний.  

• Сверточные сети можно применять не только на картинках, но и на звуке, одномерных сигналах и текстах.  

• Тексты можно рассматривать как матрицы чисел, на которые можно натравливать свертки.  

• Пример: применение сверток к последовательностям генома, превращенным в псевдокартинку.  

• Можно конвертировать любые данные в картинки и работать с ними как с изображениями.  

• Пример: конвертация геномных данных в картинку для предсказания.  

• Обработка звука как временных последовательностей или спектрограмм.  

• Полносвязанные слои ограничивают сеть фиксированным форматом изображения.  

• Можно конвертировать полносвязные слои в сверточные, что позволяет работать с изображениями произвольного размера.  

• Сверточные сети без полносвязных слоев могут генерировать фичи произвольного размера.  

• Сверточные сети могут трансформировать одну картинку в другую.  

• Это позволяет решать задачи сегментации, если есть датасет с разметкой.  

• Пример: генерация изображений на основе векторов и категорий.  

• Можно оставить только правую часть сети для генерации изображений.  

• Пример: генерация стульев на основе векторов и категорий.  

• Все определяется качеством датасета и возможностью его сбора.  

• Обсуждение методов детекции, таких как YOLOv3, который является лучшим на текущий момент.  

• Перенос стиля: идея заключается в создании новой картинки, перерисованной в стиле образца.  

• Использование сверточных сетей для выделения признаков контента и стиля.  

• Введение лог-функций для оценки соответствия контента и стиля.  

• Использование готовой нейросети для вычисления лог-функций.  

• Генерация картинки с помощью градиентного спуска, минимизирующего лог-функции.  

• Дженерейшн Нетворкс: две нейросети, одна из которых генерирует картинки, а другая их распознает.  

• Цель генератора — обмануть дискриминатор, чтобы он не мог отличить настоящие и сгенерированные картинки.  

• Применение генеративных сетей для генерации молекул-кандидатов в фармацевтике.  

• Рекуррентные сети работают с последовательностями данных, сохраняя память о предыдущих элементах.  

• Важность рекуррентных сетей для работы с данными, где порядок элементов важен.  

• Примеры использования рекуррентных сетей для генерации молекул и текста.  

• Нейросеть начинает с генерации случайных последовательностей, но со временем начинает генерировать валидные последовательности.  

• Пример работы: использование хитрого автокодера для построения скрытого пространства молекул.  

• Рекуррентная сеть переводит молекулы в хитрое пространство и обратно, что позволяет генерировать новые молекулы с нужными свойствами.  

• Рекуррентные нейросети обладают памятью и могут выполнять вычислимые функции.  

• Они могут обучаться и выполнять сложные задачи, такие как сортировка и сложение чисел.  

• Рекуррентные сети имеют встроенную работу с последовательностями и временную зависимость.  

• Рекуррентные сети можно развернуть на произвольное количество шагов, что делает их похожими на обычные глубокие сети.  

• Проблема затухающего градиента решается заменой нейронов на хитрые ячейки с элементами памяти и управляющими гейтами.  

• Эти ячейки обучаются управлять процессом работы сети для эффективного решения задач.  

• Рекуррентные сети используются в различных задачах, таких как обработка естественного языка и генерация изображений.  

• Гейты управляют процессом работы сети, позволяя ей сохранять и обрабатывать информацию.  

• Рекомендуется ознакомиться с статьей Криса Олуха для более глубокого понимания работы рекуррентных сетей.  

• Обычные рекуррентные сети работают с последовательностью в одном направлении.  

• Двунаправленные сети позволяют подавать данные в обоих направлениях.  

• Это улучшает качество классификации, особенно для естественных языков.  

• Двунаправленные сети объединяют слои, работающие в обоих направлениях.  

• Они более эффективны, чем однонаправленные сети.  

• Добавление параметров к сети может быть оправдано улучшением качества.  

• Сети могут работать с многомерными данными, такими как изображения.  

• Пример: сеть RENET, которая сегментирует изображения без сверточных слоев.  

• Сети могут генерировать тексты на основе изображений.  

• Сети могут обрабатывать данные разных типов, например, изображения и тексты.  

• Пример: сеть, генерирующая текст на основе видео.  

• Это позволяет объединять семантику из разных модальностей.  

• В биологии также есть разные модальности, такие как сиквенсы и метилирование.  

• Пример: обучение векторов для слов, которые переводят их в семантическое пространство.  

• Это позволяет создавать сложные структуры и отношения между словами.  

• Сети могут генерировать изображения на основе текста.  

• Пример: сеть, создающая изображения на заданную тему.  

• Это демонстрирует, как сети могут работать с разными модальностями.  

• Пример: мультимодальная сеть для предсказания статуса метилирования ДНК.  

• Сеть обрабатывает сиквелы ДНК и информацию о метилировании.  

• Это демонстрирует возможности мультимодальных сетей.  

• Рекуррентные сети позволяют решать новые классы задач.  

• Пример: описание картинки текстом и машинный перевод.  

• Эти задачи требуют работы с последовательностями данных.  

• Использование рекуррентных сетей и сити может улучшить качество задач.  

• Это позволяет упростить разметку данных и сэкономить время.  

• Сети работают по принципу инкодер-декодер, где одна сеть перекодирует данные, а другая декодирует их.  

• Важность внимания в инкодер-декодерах.  

• Вектор внимания помогает декодеру фокусироваться на конкретных состояниях.  

• Пример с генерацией текста из изображений показывает, как сеть выбирает значимые пиксели.  

• Сети не понимают семантику, но их поведение говорит о многом.  

• Рекомендации по фреймворкам: Keras и TensorFlow.  

• Курсы и материалы для углубленного изучения сверточных сетей и обработки текста.  

• Книга по диплингу как фундаментальный труд.  

• Практические книги по использованию библиотек.  

• Полезные ссылки и люди для слежения.  

• Возможность создания архиватора с использованием нейросетей.  

• Нейросети могут улучшать выборку, но классические методы пока лучше.  

• Будущее за нейросетями, обучающими другие нейросети и генерирующими архитектуры.