Генетика и нейросети: новая эра в биологии | Ольга Кардымон

• Оля, биолог по образованию, работает в институте искусственного интеллекта.  

• Имеет несколько образований: зоолог, медицинский генетик, менеджмент в здравоохранении, би-информатика.  

• ИИ широко используется в text-generation, генерации картинок и робототехнике.  

• В биологии и генетике ИИ применяется недавно.  

• Причины популярности: новые математические алгоритмы, мощные видеокарты, огромные наборы данных.  

• Видеокарты 2022 года сопоставимы по мощности с суперкомпьютерами 2004 года.  

• Появление баз данных секвенированных геномов.  

• Примеры моделей: ChatGPT, GigaChat, Яндекс.  

• Обсуждение языковых моделей для ДНК.  

• GPT-3 обучался на большом объёме данных.  

• Геном человека содержит 3,3 миллиарда пар оснований.  

• Проект стартовал в 1999 году, первая версия генома вышла в 2009 году.  

• В 2017 году версия была улучшена, в 2022 году объявлено о «полном» геноме.  

• Гены составляют около 2% генома, кодируют информацию о жизни.  

• 98% генома ранее считались «мусорной» ДНК.  

• Генетический код реплетен только для кодируемой части генома.  

• 98% генома не подчиняются чёткому генетическому коду.  

• Не рекомендуется заниматься ИИ в биологии без знания биологии.  

• Ядро — главный компонент клетки, где хранится генетический код ДНК.  

• ДНК организована в хромосомы, которые выглядят как клубочки.  

• Для считывания ДНК и синтеза белка необходимо, чтобы определённые участки ДНК были открыты.  

• Белки взаимодействуют с последовательностями ДНК для синтеза РНК и белков.  

• Отсутствие свободного пространства вокруг ДНК означает отсутствие гена и считывания информации.  

• Ген начинается с промотера, с которым взаимодействуют молекулы, запускающие процесс считывания.  

• Инхансеры и транскрипционные факторы усиливают работу промотера.  

• Сайленсеры блокируют работу промотера, а тандемные повторы и транспазоны могут мешать считыванию.  

• В каждой клетке организма одна и та же последовательность ДНК, но регуляторные элементы работают по-разному.  

• Это объясняет различия в функциях клеток: мозг, сердце, печень, почки.  

• Ген MHC7 активно экспрессируется в клетках сердца, но не в клетках мозга.  

• Ген SLC1A3 экспрессируется в клетках головного мозга, но практически не экспрессируется в клетках сердца.  

• Биохимические эксперименты измеряют активность известных участков генома.  

• Биониформатический подход сравнивает последовательности у разных организмов, выявляя консервативные участки.  

• Методы редактирования генома позволяют вносить мутации и изучать их влияние на клеточную активность.  

• В 2021 году было доступно менее 7% данных по биохимическим маркерам для разных типов клеток человека.  

• Модель Dipsity предсказывала некоторые результаты, но оставались вопросы к её точности.  

• Google попытался применить архитектуру Берты к геному человека.  

• Модель требует дополнительной настройки для решения конкретных задач, например, поиска промотеров в клетках дрозофил.  

• Результаты оказались крайне неудовлетворительными.  

• Команда решила создать собственную языковую модель для ДНК.  

• Необходимо было учесть биологическую логику и особенности генома.  

• Датасет включал три миллиарда букв, но разделение на предложения было сложным из-за отсутствия смысла в геноме.  

• Рассматривались различные подходы к токенизации: от одного нуклеотида до кемеров.  

• Математики предложили использовать модель для выделения смысловых токенов.  

• Биологи указали на ограничения использования генома человека для других видов.  

• Датасет обогащён мутациями здоровых людей и геномами разных видов.  

• Модель GenaLM/GinaBP токенизирует 512 токенов, что ограничивает длину последовательности до 4500 букв.  

• Биологи отметили, что 4500 букв недостаточно для анализа регуляторных элементов.  

• Архитектура BigBird позволила увеличить длину последовательности до 36 000 букв.  

• Модели предсказывают промоутеры, инхансеры, сайты сплайсинга и полиоллионирования.  

• Эти задачи важны для медицинских генетиков и понимания работы генов.  

• Модели с большими последовательностями работают лучше, чем с маленькими.  

• Некоторые языковые модели превосходят стандартные биоинформатические подходы.  

• Важно учитывать оправданность использования нейросетевых моделей.  

• Модели плохо предсказывают девелопмент-инхансеры по сравнению с классическими подходами.  

• Хаус-кипинг-инхансеры лучше поддаются анализу моделями.  

• В 2021 году появились новые модели, включая модель Стэнфорда и модель N. Видео.  

• Команды продолжают развивать свои модели и делиться результатами.  

• Обсуждаются три языковые модели для генома, которые пока не нашли широкого применения, но показывают свою эффективность.  

• Упоминаются разработчики Юра и Вениамин, которые внесли значительный вклад в создание этих моделей.  

• Объясняется, что белковые языковые модели проще в использовании и существуют благодаря компании AlphaFold.  

• Подчёркивается важность трёхмерной структуры белков для их взаимодействия.  

• Описывается соревнование CASP, где программы предсказывают структуры белков.  

• Программа AlphaFold 2 в 2020 году достигла высокой точности предсказания структур, что стало прорывом в биотехнологической отрасли.  

• Объясняются сложности экспериментального получения трёхмерных структур белков: необходимость создания кристаллов и их сканирования.  

• Подчёркивается, что AlphaFold 2 позволяет доверять предсказаниям структур.  

• Объясняется структура белков: алфавит из 20 аминокислот, вторичная структура альфа-спираль и бета-слой, третичная структура и четвертичная структура.  

• Отмечается, что белковые языковые модели проще в обучении благодаря доступности данных.  

• Описываются проекты с группой из Гамалеи, включая предсказание мутаций вируса и оценку необходимости локдауна.  

• Поднимается вопрос о предсказании патогенности мутаций и необходимости новых вакцин.  

• Объясняется механизм взаимодействия антител с антигенами на примере спайк-белка коронавируса.  

• Указывается на важность открытой конформации белка для связывания с антителами.  

• Описывается модель SEMA, которая предсказывает связывание антител с белками.  

• Подчёркивается влияние гликанов на взаимодействие антител с белками, что влияет на эффективность вакцин.  

• Упоминается использование модели Saprot для предсказания тримерных структур.  

• Обсуждается необходимость учёта влияния гликанов на эффективность вакцин и разработку моноклональной терапии.  

• Введён модуль, связанный с гликозилированием, для более точного предсказания ипитопов.  

• Модель доступна в веб-интерфейсе и используется учёными.  

• Компания Nova Zymes объявила приз в 25 тысяч долларов за модель, предсказывающую стабильность ферментов в зависимости от мутаций.  

• Команда начала подготовку к соревнованиям перед Новым годом.  

• Использовались компетенции по обучению и использованию трансформеров.  

• Задача оказалась сложной из-за физических аспектов мутаций, влияющих на стабильность белков.  

• Модель не работала на датасете соревнований Kaggle, хотя на других датасетах показывала хорошие результаты.  

• После публикации правильных результатов команда заняла низкие места.  

• Победитель соревнования использовал датасет, не учитывающий биологические закономерности.  

• Модель опубликована в информатическом журнале и имеет веб-интерфейс.  

• Название модели «Простата» стало внутренней шуткой, которая привлекла внимание.  

• Статья хорошо цитируется, несмотря на первоначальные шутки.  

• Модель «Про Флюин» создаёт дизайн нового белка со свойствами лизоцима.  

• Использовалась языковая модель Progen на основе трансформера.  

• Получено около тысячи искусственно синтезированных белков, пять из которых показали свойства лизоцима.  

• Языковые модели могут заменить ручной перебор структур белков.  

• Настройка моделей на конкретные задачи позволяет получить результаты быстрее.  

• Специалисты по дизайну белков могут перейти к использованию языковых моделей для ускорения процесса.  

• Протеин-дизайнер решает множество задач, его тестируют частями.  

• Модель Димы направлена на диффузию белков.  

• Белковая структура сложна, включает химические соединения и углы.  

• Модели обучаются на каркасах белков, игнорируя радикалы.  

• РФ-Диффужн обучается на координатах атомов, а не на плоских изображениях.  

• РФ-Диффужн генерирует новые белки, понимая естественные структуры.  

• Пример: симметричный белок для транспортной функции антигенов.  

• Возможность создания вакцин против нескольких паразитов.  

• Дэвид Бейкер получил Нобелевскую премию за дизайн белков.  

• Модели РФ-Диффужн генерируют инсулиновые блокаторы.  

• Создание белка, блокирующего токсин кобры, подтверждённое на мышах.  

• База данных РФ-Диффужн ограничена 212 тысячами белков.  

• Для реального синтеза новых белков требуется обучение по тексту и 3D-структурам.  

• Модель Димы генерирует белки по тексту.  

• Предсказывает регионы айдиара, которые выполняют полезные функции.  

• Айдиара — неструктурированные ниточки, помогающие исследовать внутренние части белков.  

• Инструменты на основе ИИ будут создавать новые белки, формируя медицину.  

• Ожидается, что это произойдёт на нашем веку.