Тестирование — ШМР Flutter 2024

• Лекция посвящена тестированию.  

• Спикер - Андрей Смирнов, флатер-разработчик в команде Яндекс Про.  

• Рассматриваются четыре темы: тестирование в целом, тестирование во Флатер, специфика тестирования и что стоит тестировать.  

• Тестирование проверяет соответствие ожидаемого поведения фактическому.  

• Цель - обеспечить качество конечного продукта для пользователей.  

• Тестирование - необходимая часть процесса разработки в современной индустрии.  

• Пирамида тестирования: юни-тесты, интеграционные тесты, энту-тесты.  

• Юни-тесты проверяют логику отдельных функций.  

• Интеграционные тесты проверяют взаимодействие между компонентами.  

• Энту-тесты эмулируют пользовательское взаимодействие.  

• Юни-тесты пишутся легко и в большом количестве.  

• Интеграционные тесты требуют сложных сценариев.  

• Энту-тесты требуют полного переписывания при изменении взаимодействия экранов.  

• Разработка включает создание фичи, написание кода, ревью, тестирование и выпуск.  

• Регресс тестирование выявляет проблемы, вызванные изменениями.  

• Цель - убедиться, что ничего не сломано.  

• Флатер предлагает юни-тесты, виджет-тесты, голден-тесты и интеграционные тесты.  

• Голден-тесты и виджет-тесты - это одно и то же.  

• Интеграционные тесты эмулируют работу пользователя.  

• Работа с пакетами тест и флатер-тест.  

• Функции с этап, тирдаун, групп, тест.  

• Ключевые слова: заткнуться эксперект, мач, бен и ви фай.  

• Пример приложения для тестирования - TodoList.  

• Приложение не использует свайп, это синтетический элемент для тестов.  

• Логика приложения сосредоточена в одной странице.  

• Используется билдер для построения списка и рендеринга моделей.  

• Модель содержит три поля: ID, title и признак завершенности задачи.  

• Модель размещена в папке domain.  

• Репозиторий используется для получения и управления моделями.  

• Репозиторий имеет методы для создания, удаления и обновления моделей.  

• Модели хранятся в отсортированном порядке.  

• Методы репозитория проверяют наличие моделей и обрабатывают исключения.  

• Для создания юнит-тестов рекомендуется следовать определенной структуре.  

• Тесты должны быть в папке test и иметь суффикс .test.  

• Для запуска тестов используется команда flutter test.  

• Функция test принимает описание теста и колбек для выполнения теста.  

• Тесты должны проверять поведение методов репозитория.  

• Утверждения тестов помогают документировать поведение класса.  

• Тесты можно группировать для логической организации.  

• Методы beforeEach и afterEach запускаются перед и после каждого теста.  

• Эти методы полезны для настройки тестового окружения и очистки ресурсов.  

• Методы beforeAll и afterAll запускаются один раз перед и после всех тестов.  

• Методы beforeEach и afterEach запускаются перед и после каждого теста.  

• Эти методы помогают настроить тестовое окружение и очистить ресурсы.  

• Подготовка теста: Range, Act, Assert.  

• Выполнение действия: Range.  

• Ожидание результата: Act.  

• Сравнение актуального результата с ожидаемым: Assert.  

• Получение данных из репозитория.  

• Получение списка моделей и их идентификаторов.  

• Подготовка коллекции для проверки утверждений.  

• Объяснение работы expect.  

• Пример успешного теста с ожиданием пяти задач.  

• Пример неудачного теста с ожиданием шести задач.  

• Преимущества использования matchers для улучшения читаемости тестов.  

• Пример использования matchers для проверки длины коллекции.  

• Пример использования matchers для проверки порядка элементов.  

• Проверка наличия задачи в коллекции.  

• Проверка удаления задачи из репозитория.  

• Проверка выброса исключения при удалении несуществующего элемента.  

• Преимущества использования matchers для читаемости и сопровождения тестов.  

• Пример теста для проверки состояния задачи после вызова метода.  

• Рекомендация использовать matchers для улучшения тестов.  

• В пакете matchers есть множество матчеров для различных сценариев.  

• Матчеры помогают проверять типы данных, коллекции, выбросы и работу со стримами и строками.  

• Если нужного матчёра нет, можно создать кастомный матчёр.  

• Для создания кастомного матчёра нужно создать класс, наследующийся от Matcher.  

• Переопределить метод match, который принимает атом для сравнения.  

• Пример использования: проверка наличия ключей в JSON-объекте.  

• Пример кода для создания кастомного матчёра.  

• Метод match сравнивает текущее значение с ожидаемым.  

• Метод display помогает получить красивое сообщение об ошибке.  

• Пример теста с использованием кастомного матчёра.  

• Тест проверяет наличие ключей и значений в JSON-объекте.  

• В случае ошибки тест выводит красивое сообщение с информацией о несоответствиях.  

• Поддерживайте атомарность в тестах, тестируйте только один аспект поведения.  

• Избегайте функций, зависящих от времени, чтобы избежать непредсказуемых результатов.  

• Избегайте реальных обращений к сети или базе данных в тестах, используйте макеты.  

• Пример репозитория, работающего с сетью и JSON.  

• Метод create выполняет сетевой запрос и ожидает успешный ответ.  

• Метод get получает данные из сети и преобразует их в модель.  

• Пример юнит-теста для метода create.  

• Утверждение, что метод create должен выполнить сетевой запрос с правильными аргументами.  

• Проверка корректности данных и выполнения сетевого запроса.  

• Асинхронные тесты требуют проверки результатов, но в данном случае результат отложен.  

• Использование функции expect для проверки состояния не подходит.  

• Рекомендуется использовать технику макирования для подмены реальных объектов.  

• Макирование позволяет подменять реальные объекты в тестах.  

• Пакеты mockito и mocha предоставляют инструменты для работы с моками.  

• Моки могут быть запрограммированы на определенное поведение.  

• Создание моков включает наследование от класса mock и реализацию его методов.  

• Настройка моков осуществляется с помощью функции setup.  

• Пример настройки метода safe для возврата модели с определенным идентификатором.  

• Тестирование поведения включает проверку выполнения методов с правильными аргументами.  

• Использование функции verify для проверки выполнения методов и захвата аргументов.  

• Пример проверки аргументов с помощью matchers.  

• Завершение темы по юнит-тестам и переход к следующей теме.  

• Вопросы для самопроверки по пройденному материалу.  

• Подготовка к обсуждению виджет-тестов и их особенностей.  

• Обсуждение юнит-тестов и переход к виджет-тестам.  

• Введение в функцию тест-виджет и виджет-тестер.  

• Использование класса комон файндерс для анализа дерева виджетов.  

• Пример приложения с тудулистом и рендерингом элементов.  

• Описание логики рендеринга элементов в зависимости от состояния задачи.  

• Использование модели для рендеринга элементов с иконками.  

• Сравнение виджет-тестов с юнит-тестами.  

• Использование функции тест-виджет для написания тестов.  

• Описание сигнатуры колбека и его аргументов.  

• Написание утверждений для проверки поведения виджета.  

• Создание модели и рендеринг виджета с помощью флатер сдк.  

• Использование метода пам пижет для рендеринга виджета на канвасе.  

• Метод пам пижет для ожидания отрисовки виджета.  

• Использование метода памп для ожидания завершения анимации.  

• Важность использования материала для корректной отрисовки виджета.  

• Использование комон файндерс для анализа дерева виджетов.  

• Поиск виджета по определенным условиям.  

• Проверка результатов с помощью функции экст и коллекции маеров.  

• Рекомендуется сначала попробовать код, чтобы понять его наглядно.  

• Пример теста: создание модели и размещение виджета в макете.  

• Использование файндеров для проверки состояния и наличия элементов.  

• Проверка виджета с помощью файндеров и выражений.  

• Запуск теста на выполнение.  

• Преимущества использования файндеров для проверки различных типов элементов.  

• Проверка наличия перечеркнутого текста.  

• Запуск тестов на выполнение и проверка их результатов.  

• Защита кода от неожиданных изменений и регрессий.  

• Возможность настройки тестов как шага на сборке.  

• Проверка стабильности продукта и отсутствие падений тестов.  

• Виджед-тесты могут быть сложными и покрывать логику виджетов.  

• Вопросы для закрепления материала: метод поиска виджета и функция пант вижет.  

• Голд-тесты как часть виджет-тестов.  

• Использование функции матч голден и аргумента апдейт голденс.  

• Применение голд-тестов для поддержки бренд-стиля приложений.  

• Golden Tests используют скриншоты для сравнения текущего состояния виджета с эталонным.  

• Можно настроить коэффициент, определяющий допустимые различия между изображениями до и после тестирования.  

• Golden Tests позволяют проверять, насколько сильно изменились элементы виджета.  

• Golden Test использует тот же метод, что и виджет-тесты.  

• Создается моделька в завершенном состоянии и помещается в дерево элементов.  

• Используется файндер для нахождения нужного виджета.  

• expect.assertions позволяют проверять значения синхронно.  

• golden.match проверяет актуальное значение виджета с шаблоном.  

• Шаблон изображения можно указать относительно пути к тесту.  

• Для запуска Golden Tests используется команда flutter test с ключом --golden.  

• При запуске тестов создаются шаблоны изображений для сравнения.  

• Шаблоны хранятся в папке templates.  

• Отрисовка шрифтов может отличаться на разных устройствах.  

• Для решения этой проблемы используется специальный шрифт, который закрашивает строковые литералы квадратиками.  

• Этот шрифт называется ах и используется по умолчанию для Golden Tests.  

• Golden Kit помогает обойти проблемы с шрифтами и добавляет дополнительную функциональность.  

• Для работы с пакетом используется функция lotops, которая загружает шрифты для получения шаблонов.  

• Это позволяет получить красивые скриншоты, которые можно использовать для проверки наличия иконок и шрифтов.  

• Golden Kit позволяет получить скриншоты, которые выглядят как перечеркнутый текст.  

• Это помогает проверить наличие иконок и шрифтов в определенных шрифтах.  

• Важно вызвать функцию lotops только один раз перед запуском тестов.  

• Golden Kit предоставляет возможность получать скриншоты для различных устройств.  

• Для этого используется функция testGolden, которая позволяет работать с девайсами и конфигурациями.  

• Это полезно для тестирования на разных устройствах и в разных ориентациях.  

• Golden Kit позволяет создавать сценарии для тестирования на разных устройствах.  

• Сценарии принимают виджеты и создают соответствующие Golden-файлы.  

• Это помогает адаптировать верстку и рендеринг для различных устройств и ориентаций.  

• Создание сценария для работы с виджетами и фандерами.  

• Обращение к виджету через виджет кей.  

• Поиск нужного виджета в дереве виджетов.  

• Эмуляция нажатия на первый элемент виджета.  

• Использование файндера для поиска нужного виджета.  

• Получение скриншотов с помощью апдейт голденс.  

• Получение скриншотов для различных устройств.  

• Обработка чек-бокса и получение скриншотов.  

• Сравнение эталонного и тестового изображений.  

• Переход к интеграционным тестам.  

• Использование пакета интегра-тест для работы с интеграционными тестами.  

• Интеграционные тесты эмулируют поведение пользователя на реальном устройстве.  

• Интеграционные тесты запускаются на симуляторе или эмуляторе.  

• Для подготовки к тестам используется команда виджета.  

• Интеграционные тесты отличаются от других типов тестов необходимостью прогрева флай в тестовом режиме.  

• Тест создает новый элемент в списке задач.  

• Используется команда виджета для создания и завершения задач.  

• Тест проверяет, что все элементы списка задач переведены в завершенное состояние.  

• Тест запускается в режиме дебага для отладки.  

• Тест проходит успешно, все элементы списка задач переведены в завершенное состояние.  

• Использование маеров для проверки длины коллекции задач.  

• Интеграционные тесты требуют использования маеров для проверки коллекций.  

• Тест завершается успешно, что подтверждает важность использования маеров.  

• Переход к следующей теме после обсуждения юни-тестов, виджет-тестов и золотых тестов.  

• Обсуждение эффективности тестов и понятия покрытия кода.  

• Введение в команды flter-coverage и branch-coverage.  

• Использование утилиты gcov для анализа покрытия кода.  

• Покрытие функций, веток и строк.  

• Различие между покрытием функций и строк.  

• Важность покрытия веток и его поддержка в различных инструментах.  

• Откат изменений для успешного запуска тестов.  

• Использование команд flter-test и branch-coverage для получения покрытия.  

• Создание отчета о покрытии кода.  

• Обзор отчета покрытия кода.  

• Показ статистики по строкам и файлам.  

• Использование Android Studio для анализа покрытия кода.  

• Установка утилиты gcov.  

• Использование утилиты для анализа отчета покрытия кода.  

• Создание читаемого отчета о покрытии кода.  

• Использование gcov для получения статистики.  

• Важность осознанного подхода к написанию тестов.  

• Подход к тестированию с пониманием его целей и задач.  

• Научились писать юни-тесты, виджет-тесты, голден-тесты и интеграционные тесты.  

• Важно понимать, что тестировать и как это влияет на кодовую базу.  

• Простой код без зависимостей можно тестировать, но это не всегда необходимо.  

• Сложный код без зависимостей может содержать бизнес-логику, которую стоит покрыть тестами.  

• Простой и сильно связанный код может быть важен для бизнеса и требует тестирования.  

• Тесты могут выявить проблемы в сложном коде, такие как статические методы и сервис-локаторы.  

• Написание юни-тестов может быть сложным и выявить проблемы в коде.  

• Это может потребовать явного прописывания зависимостей и контрактов классов.  

• Юни-тесты помогают пересмотреть исходный код и задать ему вопросы в виде утверждений.  

• Голден-тесты аналогичны виджет-тестам, но требуют дополнительной работы для поддержания шаблонов.  

• Интеграционные тесты проверяют взаимодействие пользователя с приложением сверху вниз.  

• Интеграционные тесты дают высокую степень уверенности, но требуют много времени и усилий для поддержания.  

• Юни-тесты имеют высокую скорость выполнения и легко пишутся.  

• Они помогают проверить контракты классов и критически важные вычисления.  

• Важно тестировать код для обеспечения его надежности и стабильности.  

• Тестирование в полях часто используется в компании Яндекс.  

• Приложение устанавливается на реальные устройства пользователей.  

• Позволяет выявить проблемы, которые не обнаруживаются в тестовых сценариях или окружениях.  

• Проблемы с координатами, геолокацией и присоединением.  

• Завершение лекции с упоминанием ресурса по Flutter на Яндекс.ру.  

• Призыв использовать ресурс для получения новых материалов.  

• Вопрос о тестировании класса, который обращается к сети для добавления записи.  

• Обсуждение нарушения принципа независимости от окружения.  

• Рекомендация тестировать только то, что входит в логику юнита.  

• Различие между тестами экстравертами и интровертами.  

• Тесты экстраверты проверяют всю цепочку зависимостей.  

• Тесты интроверты проверяют только свою логику.  

• Все действия с внешними ресурсами должны быть замоконны.  

• Интеграционные тесты требуют тестового окружения и базы данных.  

• Важно тестировать быстро, избегая реальных ресурсов.  

• Моки могут создаваться под конкретную функциональность или класс.  

• Моки могут быть переиспользуемыми между разными тестами.  

• Настройка моков происходит для конкретного теста.  

• В package.json добавляются зависимости для разработки, такие как генераторы и билдеры.  

• Эти зависимости не должны попадать в финальную сборку.  

• Моки и макеты используются только для тестов и не должны быть частью финального кода.  

• Тестовые сценарии должны включать проверку корных сценариев.  

• Важно проверять конкретные аспекты и утверждения.  

• Не стоит проверять все возможные случаи параметров функций.  

• Утверждения должны быть осознанными и соответствовать контракту класса.  

• Важно задавать вопросы классу и проверять его поведение.  

• Юнит-тесты не подходят для проверки соответствия макетов.  

• В Python можно передавать разные значения для параметризации тестов.  

• В Java, возможно, есть расширения для параметризации тестов.  

• В практике автора такие механизмы не использовались.  

• Больше вопросов не было.  

• Благодарность за участие и пожелания хорошей пятницы.  

• Завершение лекции.