Kaggle Quick, Draw! Doodle Recognition: классификация рукописных рисунков — Роман Власов

• Ром Власов рассказывает о соревновании "Квик Дроу Дулкогнишин Челлендж".  

• Команда состояла из пяти человек, включая Рома, который присоединился перед дедлайном.  

• Команда заняла четвертое место, несмотря на шикап.  

• Евгений получил грандмастера, Иван - мастера, Роман Соловьев остался грандмастером.  

• Алекс и Ром стали мастерами, а Ром также получил мастера за протеин.  

• Сервис от Google популяризирует искусственный интеллект.  

• Пользователи рисуют зигзаги за 20 секунд, и сеть распознает их.  

• Собрано почти 50 миллионов картинок, которые использовались для обучения и тестирования.  

• Данные включают верт, кантрико, таймс с темп, лейбл рекогнайзит и дроинг.  

• Данные представлены в двух форматах: с таймингами и без.  

• Использовался алгоритм Дугласа-Пикера для аппроксимации точек.  

• Данные распределены равномерно, но есть выбросы.  

• Участники использовали сетки для рисования ргб-картинок.  

• Ром использовал палитру цветов для интерполяции.  

• Метрика - мин пресижен, где учитывается порядок правильного предсказания.  

• Если все три предсказания неверны, результат равен нулю.  

• Использовались архитектуры: пена нет, ларч, с нет, реснеты и дэнснеты.  

• Модели обучались с весами, обученными на ImageNet.  

• Техники обучения: фарме старс, редюс он плацу, дон сайз.  

• Использовались оптимизаторы: SGD и Адам.  

• Ассамблирование моделей позволило достичь скорости 0.954 на паблик лидерборде.  

• Техника костям старс и стахасе градиент де старс для улучшения результатов.  

• Обсуждение количества классов в тесте и их сбалансированности.  

• Введение метрики прокси-кора, коррелирующей с лидер-бордом.  

• Использование метрики для локальной валидации и подбора коэффициентов ансамблей.  

• Разные подходы к балансировке классов.  

• Простая балансировка: сортировка предсказаний по топ-1, топ-2 и топ-3.  

• Итеративный подход: уменьшение вероятностей для популярных классов до достижения баланса.  

• Обсуждение различных подходов к предобработке данных.  

• Алексей Ноздрин предложил использовать обучаемые модули для предобработки.  

• Применение сверток для создания матрицы 64xN и её нормализация для подачи в сеть.  

• Вопросы о локальных минимумах и усреднении логитов.  

• Обсуждение использования RNN для имбедингов.  

• Взаимодействие в команде и агрегирование вероятностей.  

• Реализация увеличения batch size и её влияние на обучение.