Карьера в DATA SCIENCE: TOP-50 Вопросов на собеседовании // PART 2

• Анастасия, работающая в сфере Data Science более трех лет, представляет вторую часть топ-50 вопросов для собеседования.  

• Базовые вопросы важны для всех сфер, включая банковскую и NLP.  

• Ответы на базовые вопросы показывают высокий уровень профессиональной подготовки.  

• Используется для задач классификации и выводится из функции правдоподобия.  

• Параметр "эль" усредняет метрику по нескольким классам.  

• Сильно штрафует за неправильные ответы.  

• Измеряет точность по подмножествам выборки.  

• Применяется для сравнения подмножеств и оценки их эффективности.  

• Строится на васях фолс позити фрейд и тру позити фрейд.  

• График стремится к точке 0.1, что означает 100% точность.  

• Площадь под кривой стремится к единице, что указывает на хорошую работу алгоритма.  

• Связана с метрикой ROC-AUC.  

• Полезна при несбалансированности классов.  

• Пример использования в задачах кредитного скоринга.  

• Классификация предсказывает класс объекта, регрессия - значение.  

• Алгоритмы регрессии могут применяться для классификации.  

• Примеры: логистическая регрессия и другие алгоритмы.  

• Некоторые алгоритмы применимы для обеих задач.  

• Вопросы по кластеризации зависят от специфики компании.  

• Основные линейные модели и метод опорных векторов.  

• Формула для получения значений вероятности.  

• Сигмоидальная функция и параметр "зет".  

• Методы подбора весов: метод максимального правдоподобия и метод наименьших квадратов.  

• Методы регуляризации: L1 и L2.  

• L1 помогает занулить веса, L2 - выбрать признаки.  

• Параметр лямбда и его нахождение через кросс-валидацию.  

• Решающие деревья используются для классификации и регрессии.  

• В задачах классификации листья содержат вероятности принадлежности к классу.  

• В задачах регрессии листья содержат значения.  

• Критерий информативности помогает выбрать оптимальное разбиение дерева.  

• В задачах регрессии используется дисперсия.  

• Существуют различные критерии информативности, такие как кросс-энтропия.  

• Параметры подбираются с помощью кросс-валидации.  

• Глубокие деревья могут переобучаться, что снижает их обобщающую способность.  

• Градиентный бустинг использует ошибку предыдущего дерева для построения текущего.  

• Эк бустинг позволяет распараллеливать процессы и использовать кросс-валидацию.  

• Градиентный бустинг строится горизонтально, а решающие деревья вертикально.  

• Случайные леса состоят из множества базовых алгоритмов.  

• Используется бустрап для обучения, что позволяет распараллелить процесс.  

• Ошибка алгоритма складывается из шума, смещения и разброса.  

• Переобучение можно уменьшить с помощью регуляризации и отложенной выборки.  

• Кросс-валидация помогает уменьшить ошибку, разбивая данные на блоки.  

• Гиперпараметры, такие как лямбда и критерии информативности, подбираются с помощью перекрестной проверки.  

• Видео охватывает топ-50 вопросов по теме.  

• Призыв подписаться на канал и задавать вопросы в комментариях.