Дмитрий Пензар. Нейронные сети для оценки эффектов мутаций ДНК

• Дмитрий Дмитриевич Пенза, преподаватель ВБ МГУ и аспирант Института общей генетики имени Вавилова, рассказывает о своём опыте работы с машинным обучением в биологии.  

• Тема лекции: машинное обучение для предсказания эффектов мутаций в геноме.  

• Предсказание мутаций важно для понимания генетических причин заболеваний.  

• Мутации могут влиять на склонность к заболеваниям и даже на образ жизни.  

• Идеальный мир машинного обучения предполагает автоматизацию анализа генома, но сейчас это невозможно из-за недостатка данных.  

• Планируется использование нескольких моделей машинного обучения для работы с геномом.  

• Предсказания моделей будут агрегироваться и предоставляться специалистам.  

• Рассматриваются методы, работающие с точечными мутациями.  

• Мутации делятся на кодирующие и регуляторные.  

• Кодирующие мутации изменяют аминокислоту в белке, что может привести к нарушению его структуры или активности.  

• Регуляторные мутации влияют на доступность хроматина, сплайсинг и другие процессы.  

• Мало данных о влиянии мутаций на белки.  

• Данные содержат много шума и имеют низкую корреляцию между репликами.  

• Плохая переносимость моделей между разными данными.  

• Кодирующие мутации могут приводить к крупным перестройкам белка.  

• Пример белка с одной мутацией, которая полностью меняет его архитектуру.  

• AlphaFold предсказывает частичную структуру белка по его последовательности.  

• Метод значительно улучшает предсказания по сравнению с предыдущими подходами.  

• Однако модель может запоминать данные, которые видела в обучении, что приводит к ошибкам при предсказании новых структур.  

• AlphaFold плохо ловит одиночные мутации.  

• Корреляция между предсказаниями AlphaFold и реальностью низкая.  

• Решения, основанные на AlphaFold, не всегда эффективны.  

• Предлагается проецировать природные последовательности белков в пространство высокой размерности с помощью нейронной сети.  

• Этот подход может помочь лучше понять влияние мутаций на белки.  

• Автокодировщики используются для анализа последовательностей белков из UniProt.  

• Последовательности белков в UniProt не случайны, они отражают эволюционные изменения в белках живых организмов.  

• Последовательности, не похожие на природные, с большей вероятностью являются вредными.  

• Расстояние между последовательностями в пространстве автокодировщика коррелирует с их вредоносностью.  

• Статья, подтверждающая эту корреляцию, опубликована в журнале Nature.  

• Нейронные сети обучаются на структурах белков и предсказывают эффекты мутаций.  

• Метод сначала тестируется на синтетических данных, затем проверяется на реальных данных.  

• Архитектура три де-конволюции оказывается эффективной для предсказания аминокислотных мутаций.  

• Появились новые данные о влиянии одиночных мутаций на стабильность белков.  

• Массовое тестирование мутаций позволяет обучать модели на чистых данных.  

• Несмотря на появление новых данных, их всё ещё недостаточно для полного обучения моделей.  

• Мутации могут влиять на сплайсинг, но прямых данных для этого мало.  

• Нейронные сети обучаются предсказывать участие позиций в сплайсинге по последовательности.  

• Профили мутаций позволяют оценить их влияние на сплайсинг.  

• Регуляторные мутации влияют на связывание транскрипционных факторов и открытость хроматина.  

• Прямые данные о влиянии мутаций на доступность хроматина редки и шумны.  

• Экспериментальные данные часто требуют валидации из-за своих ограничений.  

• Для предсказания эффекта мутации используется модель, которая предсказывает доступность хроматина для двух последовательностей.  

• Модель обучается на данных референсного генома и предсказывает доступность хроматина для мутированного генома.  

• Этот подход позволяет оценить влияние мутации на экспрессию генов без проведения дополнительных экспериментов.  

• Модель предсказывает доступность хроматина для одной последовательности, а затем используется для предсказания эффекта мутации в другой последовательности.  

• Это пример z-shot обучения: модель обучается на одних данных и применяется к другой задаче без предварительного просмотра примеров.  

• JKM DeltaVM предсказывает численную доступность хроматина или вероятность его открытия или закрытия.  

• Разница между предсказаниями для последовательности с заменой и без неё позволяет оценить изменение доступности хроматина.  

• Метод хорошо предсказывает экспрессию соседних генов, но имеет ограничения по объёму данных — не более 100 тысяч последовательностей.  

• Multi-target подход позволяет предсказывать несколько связанных параметров одновременно, например, растворимость и токсичность химического вещества.  

• В геномных данных это означает использование информации из разных клеточных линий и методов оценки доступности хроматина.  

• DIPSY использует нейронную сеть для предсказания результатов 919 экспериментов одновременно.  

• Для каждой клеточной линии предсказывается, будет ли участок хроматина открытым или закрытым, будет ли происходить связывание чипсека или нет, будет ли гионовая метка.  

• Проблема подхода — необходимость обработки большого количества значений для оценки влияния мутации.  

• Для обработки большого количества значений предлагается использовать дополнительную модель, которая учится предсказывать экспрессию белков на основе предсказанной доступности хроматина.  

• Проблема модели — сложность обучения на маленьких датасетах, что увеличивает вероятность неудачного предсказания.  

• Informer предсказывает численную доступность хроматина без значительной предобработки.  

• Используется более 7000 экспериментов, включая данные для человека и мыши.  

• Длина последовательности увеличена до 100 000 нуклеотидов для учёта дальних взаимодействий, что стало возможным благодаря развитию видеокарт.  

• Использование схемы из дипси для предсказаний.  

• Применение данных экспрессии для обучения модели.  

• Усреднение данных по клеточным линиям, похожим на кровь.  

• Концепция зира шот работает, но есть нюансы.  

• Дип майн не смог решить все проблемы.  

• Информер не учитывает дальние взаимодействия в последовательностях.  

• Информер не улучшает качество предсказаний при увеличении длины последовательности.  

• Предсказание эффектов мутаций сложнее, чем их направление.  

• Информер обучается на большом количестве экспериментов.  

• Важно аккуратно выбирать данные для проверки модели.  

• Простая нейронная сеть может учиться лучше Информера на небольших объёмах данных.  

• Появление данных для множества промоутеров.  

• Массовые параллельные эксперименты с репортёрами.  

• Сортировка клеток по бинам для анализа экспрессии.  

• Участие в конкурсе с использованием нейронных сетей.  

• Победа команды с нестандартной архитектурой сети.  

• Важность экспериментирования с различными архитектурами.  

• Эксперименты на человеке показывают хорошие результаты.  

• Данные коррелируют с другими источниками и между собой.  

• Качественный рывок по сравнению с предыдущими результатами.  

• Гипотетически можно обучать модели на неразмеченных данных ДНК, а затем улучшать качество на размеченных данных.  

• Геном человека содержит сигналы, которые можно использовать для обучения.  

• Статья Дина и Берта пытается использовать неразмеченные данные для предсказания инхансеров и экспрессии, но её результаты сомнительны из-за отсутствия контрольных экспериментов.  

• В статье нет контрольных экспериментов, которые показали бы, что модель работает так же хорошо без использования неразмеченных данных.  

• Попытки воспроизвести результаты статьи показали, что разница в качестве предсказаний может быть объяснена случайным шумом.  

• Нейронные сети, не использующие неразмеченные данные, показывают лучшие результаты.  

• Задача предсказания эффекта мутаций в геноме человека актуальна и важна.  

• Задача делится на предсказание кодирующих и некодирующих мутаций.  

• Подходы, основанные на неразмеченных данных, хорошо работают для мутаций в белках, но менее эффективны для регуляторных мутаций.  

• Появление большого количества данных позволяет тренировать модели напрямую.  

• Ранее это было невозможно из-за недостатка данных.  

• Текущее время — хорошее время для развития методов предсказания мутаций.  

• Конкурс по предсказанию термостабильности белков показал низкие результаты.  

• Участники использовали открытые данные, но предсказывали параметры, заданные авторами.  

• Хорошая информация о белках требуется для точных предсказаний.  

• Прямое обучение на новых данных показывает хорошую переносимость.  

• Классическое машинное обучение быстро выходит на плато при добавлении данных.  

• Нейронные сети обычно улучшают качество при добавлении данных.  

• Ожидается, что через пять лет количество данных достигнет такого уровня, что появятся модели, способные идеально предсказывать экспрессию регуляторных мутаций.  

• Прорывы в области машинного обучения часто происходят при увеличении объёма данных.  

• Увеличение количества экспериментов и качества данных помогает снизить уровень шума в моделях.  

• Современные нейронные сети имеют множество параметров, что позволяет улучшать качество модели при добавлении данных.  

• При достижении определённого объёма данных можно улучшить архитектуру модели для дальнейшего повышения качества.  

• Современные модели могут общаться с человеком на уровне 60–70% точности.  

• Это достигается благодаря большим объёмам данных и сложным архитектурам моделей.  

• Для работы с геномными последовательностями лучше всего подходят конволюционные нейронные сети, а не рекуррентные.  

• В регуляторных последовательностях ЛСТМ и трансформеры показывают хорошие результаты, но конволюции остаются предпочтительными.  

• Умные пулинги помогают уменьшить размер входной последовательности и улучшить качество анализа.  

• Модели, хорошо работающие с естественным языком, плохо переносятся на регуляторную область.  

• CNN хорошо справляются с задачами в регуляторной области, несмотря на неудачи в работе с естественным языком.  

• Приглашение на магистерскую программу по искусственному интеллекту в биологии.  

• Просьба распространять информацию о программе среди знакомых и детей.  

• Благодарность слушателям и раздача брошюр.