Основы глубокого обучения: Введение и обзор

• Приветствие и обсуждение холодов.  

• Программа углубленного обучения 6094 для самоуправляемых автомобилей.  

• Курс по глубокому обучению, доступный на сайте mit.edu.  

• Задания для студентов будут отправлены по электронной почте.  

• Глубокое обучение извлекает полезные закономерности из данных.  

• Оптимизация нейронных сетей и использование библиотек Python, таких как TensorFlow.  

• Важность правильных вопросов и достоверных данных.  

• Оцифровка данных и доступ к ним.  

• Аппаратное обеспечение и вычислительная техника.  

• Сообщество и взаимодействие через GitHub и другие платформы.  

• Распознавание лиц, понимание сцен, классификация изображений.  

• Обработка естественного языка, транскрипция, перевод.  

• Применение в медицине, автономных транспортных средствах, рекламе и играх.  

• Начало с 1940-х годов и развитие до 2000-х.  

• Появление сверточных нейронных сетей и набора данных MNIST.  

• Возрождение глубокого обучения в 2006 году с набором данных ImageNet.  

• Генеративные состязательные сети GAN.  

• Прорывы в компьютерном зрении и обработке естественного языка.  

• Успехи в играх AlphaGo и AlphaZero.  

• История создания инструментов, начиная с 1960-х годов.  

• Современные экосистемы, такие как PyTorch и TensorFlow.  

• Возможности и простота использования этих инструментов.  

• Пример кода для обучения нейронной сети на наборе данных MNIST.  

• Пошаговое создание и обучение модели.  

• Оценка модели и развертывание.  

• TensorFlow как библиотека глубокого обучения.  

• Различные уровни API и возможности запуска в браузере, на телефоне и в облаке.  

• Оптимизированное оборудование и модели, доступные через TensorFlow Hub.  

• Глубокое обучение как способность формировать абстракции в данных.  

• Важность понимания шаблонов и данных для решения задач.  

• Представления данных важны для их интерпретации.  

• Примеры: кошка против собаки, синяя точка против зеленого треугольника.  

• Глубокое обучение формирует представления, которые упрощают работу с данными.  

• История науки - это прогресс в сжатии сложных идей.  

• Глубокое обучение автоматизирует извлечение информации из данных.  

• Это позволяет работать с большими наборами данных без участия человека.  

• Глубокое обучение имеет свои пределы и требует баланса между восторгом и разочарованием.  

• В области самоуправляемых автомобилей и глубокого обучения еще не достигнуты вершины.  

• Важно продолжать работать над улучшением технологий.  

• В гуманоидной робототехнике и автономных транспортных средствах машинное обучение пока не используется широко.  

• Примеры с Boston Dynamics и Boston with Amazing Humanoid Robotics показывают, что машинное обучение применяется только для восприятия.  

• Использование рекуррентных нейронных сетей для предсказания будущего становится более распространенным.  

• Алгоритмы глубокого обучения могут иметь неожиданные последствия.  

• Пример с игрой Coast Runners показывает, что оптимизация целевой функции может привести к нежелательным результатам.  

• Важно обеспечить безопасность ИИ для человека в цикле машинного обучения.  

• Задача алгоритмов глубокого обучения - задавать правильные вопросы и понимать ответы.  

• Классификация изображений не всегда требует глубокого понимания сцены.  

• Решение проблем, связанных с вариациями освещения и межклассовыми вариациями, остается сложной задачей.  

• Визуальное восприятие сложно на всех уровнях.  

• Добавление шума может сильно исказить системы классификации изображений.  

• Разрыв между классификацией изображений в искусственных наборах данных и восприятием реального мира необходимо устранить.  

• Макс Тегмарк изображает растущее море человеческих компетенций.  

• Существует общий человеческий интеллект, позволяющий обобщать проблемы.  

• Машинное обучение, основанное на данных, фокусируется на специализированном интеллекте.  

• Современные системы глубокого обучения успешны при наличии достоверных данных.  

• Обучение с подкреплением позволяет системам обучаться без контроля человека.  

• Это шаг к искусственному интеллекту общего назначения, но пока в смоделированных условиях.  

• Обучение под руководством человека, обучение под наблюдением, обучение с подкреплением и без присмотра.  

• Увеличение объема данных помогает минимизировать количество вводимых данных от человека.  

• Люди учатся эффективно, используя несколько примеров, в отличие от машин, которым нужны тысячи примеров.  

• Входные данные, обучающая система и выходные данные.  

• На этапе подготовки используется основная истина для обучения системы.  

• На этапе тестирования система должна обобщить новые данные.  

• Регрессия и классификация: непрерывная и категориальная.  

• Классификация может быть мультиклассной или мультиэтикетной.  

• Входные и выходные данные могут быть последовательностью.  

• Искусственные нейроны имеют входные данные, веса, смещение и функцию активации.  

• Биологические нейронные сети имеют больше синапсов и асинхронную топологию.  

• Искусственные нейронные сети обучаются на основе обратного распространения, в отличие от биологических сетей.  

• Нейрон принимает несколько входных данных и выдает выход.  

• Объединение нейронов формирует базу знаний.  

• Нейронные сети с одним скрытым слоем могут аппроксимировать любую функцию.  

• Нейронные сети позволяют распараллеливать вычисления.  

• Функции активации оптимизируют функцию потерь.  

• Для регрессии используется среднеквадратичная ошибка, для классификации - потеря перекрестной энтропии.  

• Использование функции потерь, весов, смещения и функций активации.  

• Алгоритм распространения трещин регулирует веса для улучшения результатов.  

• Прямой проход вычисляет ошибку, обратный проход вычисляет градиенты.  

• Задача оптимизации включает градиенты и обратный поток по сети.  

• Различные алгоритмы оптимизации решают проблемы редко используемых градиентов и исчезающих градиентов.  

• Размер мини-партии влияет на скорость вычислений и обобщение.  

• Проблема переобучения решается упорядочением данных.  

• Пример с синусоидальной кривой и полиномом 9-й степени.  

• Компромисс между уменьшением ошибки на тренировочном наборе и обобщением на тестовом наборе.  

• Использование набора для проверки для оценки производительности.  

• Преждевременная остановка при ухудшении результатов на наборе для проверки.  

• Автоматизированный способ определения момента остановки.  

• Нормализация входных данных для устранения влияния освещения и других факторов.  

• Пакетная нормализация для улучшения результатов обучения.  

• Нормализация на всех уровнях абстракции для улучшения логического вывода.  

• Сверточные фильтры для классификации изображений.  

• Пространственная инвариантность визуальной информации.  

• Примеры AlexNet и Google Net с модулем Inception.  

• Классификация изображений и локализация объектов.  

• Методы, основанные на регионах, и их применение.  

• Методы одиночного выстрела и их компромиссы.  

• Сегментация на пиксельном уровне для классификации объектов.  

• Создание сети классификации изображений и ее отсечение.  

• Этап кодирования и декодирования для увеличения дискретизации.  

• Использование предварительно обученных нейронных сетей, таких как ResNet, для создания детекторов.  

• Отключение слоев и переподготовка сети на специализированных наборах данных.  

• Эффективность в компьютерном зрении, аудиозаписи, речи и НЛП.  

• Формирование представлений данных для регрессионного прогноза.  

• Использование автокодировщиков для сжатия данных и устранения шума.  

• Необходимость контролируемого обучения для формирования эффективных представлений.  

• Создание двух сетей: генератора и распознавателя.  

• Генератор генерирует реалистичные изображения, распознаватель их различает.  

• Примеры генерации реалистичных лиц и видео.  

• Формирование представлений слов с помощью skipgrams.  

• Превращение текста в задачу контролируемого обучения.  

• Использование скрытого слоя для создания семантически связанных слов.  

• Изучение временной динамики данных о последовательности.  

• Использование LSTM и GRU для фиксации долговременной зависимости.  

• Архитектура кодера-декодера для машинного перевода.  

• Автоматизация определения параметров нейронной сети.  

• Использование поиска по нейронной архитектуре для создания эффективных моделей.  

• Решение проблем реального мира с помощью данных и правильных вопросов.  

• Обучение с подкреплением позволяет агентам действовать в мире на основе наблюдений и вознаграждений.  

• Агенты учатся на скудных данных, таких как выигрыши или проигрыши в играх или успешное выполнение заданий в робототехнике.  

• Пример: изучение связи колокольчика с едой кошками и роботизированные манипуляции и навигация в моделируемых средах.  

• Призыв к участию в конкурсе без контроля знаний и человеческого надзора.  

• Использование редких вознаграждений от симуляций или самоигровых конструкций для успешного управления в мире.  

• Обработка естественного языка для создания состязательных сетей, генерирующих данные с высоким разрешением.  

• Глубокое обучение с подкреплением позволяет агентам действовать в мире с минимальным человеческим надзором.  

• Появление новых идей, таких как трансферное обучение, метаобучение и поиск архитектуры гиперпараметров.  

• Эти методы максимально отстраняют человека от выполнения задач, оставляя ему роль в понимании фундаментальных вопросов и этических принципов.  

• Работа инженеров направлена на решение проблем и движение вперед.  

• Благодарность за возможность получить видео, код и другие материалы в режиме онлайн на сайте MIT.