5 секретов векторизации данных в ML, которые используют эксперты

• Викторизация данных — это преобразование данных в удобочитаемый вид для компьютера.  

• Данные — фундамент машинного обучения, без них модели не будут работать.  

• Викторизация позволяет компьютеру понимать окружающий мир через числа.  

• Викторизация помогает компьютеру находить закономерности и создавать модели, такие как ChatGPT.  

• Компьютер учится понимать мир глубже, чем человек, благодаря хорошему признаковому описанию данных.  

• Пример: компьютер лучше человека играет в шахматы, оценивая позицию на доске.  

• Числовые признаки: рост, вес, зарплата. Нормализация важна для линейных моделей.  

• Дата и время: добавление категориальных признаков сезонности и дополнительных статистик. Пример: время суток в сервисах такси.  

• Бэк-оф-ворс: словарь слов с признаками «слово — это слово».  

• Тиф-идеф: учёт частоты слова в документе и во всех документах. Пример: слово «корабль» в статье имеет большой вес.  

• Word2Vec: нейронные сети предсказывают слова по контексту, создавая эмбеддинги.  

• Энграммы разбивают слова на часто встречающиеся пары букв.  

• Пример: энграмма «ко» связана со словами «кот» и «кошка».  

• Энграммы помогают работать с опечатками и генерировать текст.  

• Геоданные влияют на работу алгоритмов приложений, например, YouTube и TikTok.  

• Геохэши разбивают Землю на полоски различных размеров и считают статистику для каждого геохэша.  

• Пример статистики: количество входов в приложение в определённом геохэше за последний месяц.  

• Пиксели содержат цвета RGB.  

• Компьютер понимает изображения через анализ пикселей.  

• Пример: распознавание объектов на фотографиях.  

• Изображения представляются в виде тензоров, где каждый элемент — это количество пикселей в ширину и длину, умноженное на три для учёта трёх цветов.  

• Свертки позволяют анализировать изображения, разбивая их на кубы размером 3x3x3.  

• Нелинейность в нейронных сетях позволяет увеличивать размер окна свертки, например, до 5x5x3, что позволяет лучше анализировать формы и очертания.  

• Нелинейность помогает нейронным сетям выделять формы и очертания, например, линии или формы животных.  

• Глубокие слои сети могут распознавать формы, такие как кот или собака.  

• Временные ряды, особенно в финансах, часто обрабатываются с помощью различных статистик, например, по скользящим окнам.  

• Статистики помогают анализировать изменения цен акций, валют и других показателей.  

• Такие типы данных, как графы и аудио, также имеют свои способы викторизации.  

• Викторизация данных позволяет лучше представить информацию и улучшить модели.  

• Нелинейные преобразования признаков, такие как возведение в квадрат или логарифмирование, помогают добавить нелинейную зависимость в линейные модели.  

• Сбалансированное добавление новых признаков может улучшить работу модели без использования нейронных сетей.  

• Благодарность зрителям за просмотр и призыв подписаться на канал.