Обновленный обзор Allure TestOps

• Обсуждение использования Alure для повседневных задач.  

• План выступления: эксперименты на живом стенде Alure.  

• Использование GitLab и Jenkins для настройки и выполнения задач.  

• Доклад разбит на шесть частей.  

• Первая часть: настройка интеграции.  

• Вторая часть: добавление мета-информации в кейсы.  

• Третья часть: запуск тестов из Alure.  

• Четвертая часть: ручное тестирование и автоматизация.  

• Пятая часть: запуск тестов из GitLab.  

• Шестая часть: дефекты и продакт-борды.  

• Цель: показать простоту управления автоматизацией тестирования.  

• Открытие демо-проекта и настройка репозитория.  

• Форк репозитория и авторизация.  

• Настройка переменных для работы с Alure.  

• Создание переменных для работы с Alure.  

• Настройка токена для GitLab.  

• Запуск пайплайна и проверка результатов тестов.  

• Проблемы с загрузкой результатов тестов.  

• Решение проблемы и запуск тестов снова.  

• Преимущества получения результатов тестов в реальном времени.  

• Интеграция Alure с GitLab и Docker.  

• Проблемы и текущие работы по улучшению интеграции.  

• Планы по улучшению интеграции через Docker-контейнер.  

• Запустили тесты и переходим к отчету.  

• В отчете есть быстрые фильтры для быстрого просмотра тестов.  

• Информация о тестах генерируется на основе кода.  

• Останавливаем задания и переходим в тест-кейс.  

• Алюр позволяет создавать живую документацию по автотестам.  

• В проекте работают разные роли, и Алюр помогает в управлении тестами.  

• Настройка через веб-интерфейс или пайплайны.  

• Результаты тестов попадают в Алюр, где генерируется тестовая документация.  

• Возможность просмотра отчетов и причин падения тестов.  

• Использование ID тестов: full name и display name.  

• Плагин для генерации фиксированных ID.  

• Переименование тестов и использование ID для легкой разработки.  

• Аннотации в коде эквивалентны разметке в Алюре.  

• Пример разметки для тестов в разных языках.  

• Возможность добавления дополнительной разметки для параметризованных тестов.  

• Параметризованные тесты и их параметры.  

• Добавление разметки для микросервисов.  

• Настройка кастомных аннотаций и их интеграция в Алюр.  

• Автор сталкивается с проблемами и решает открыть другой проект.  

• Объясняет, как настроить микросервис и фреймворк для автоматизации тестов.  

• Подчеркивает важность унификации параметров для тестов.  

• Объяснение, как параметры хост, бранч и браузер влияют на запуск тестов.  

• Указание на необходимость унификации параметров для предотвращения проблем.  

• Переход к настройке типов тестов: API, веб-интерфейсные и UI тесты.  

• Запуск тестов с использованием различных фреймворков.  

• Обновление информации о запуске тестов в документации.  

• Возможность фильтрации тестов по типу и фреймворку.  

• Настройка обновления документации только для тестов на мастере.  

• Автоматическое закрытие ланчей после определенного времени.  

• Преимущества группировки тестов по микросервисам и фреймворкам.  

• Возможность группировки тестов по микросервисам и фреймворкам.  

• Удобство просмотра тестов под разными углами.  

• Преимущества перед традиционными структурами папок.  

• Подведение итогов: настройка сервера для получения информации о тестах.  

• Фильтрация тестов по типу, фреймворку и микросервисам.  

• Легкость добавления информации в тестовую документацию.  

• Для корректной работы Alura не нужно делать pkill.  

• В будущем появится команда для остановки процесса Alura.  

• Результаты тестов аплодятся постоянно, и их нужно останавливать вручную.  

• Для обработки ошибок используется метод attachResource.  

• В репозитории есть примеры, как делать attachResource на разных языках.  

• Manual тесты можно хранить в Alura и использовать для оформления тестовой документации.  

• Manual тесты можно создавать и использовать для оформления тестовой документации.  

• Тесты можно разметить, указав их критичность и тип микросервиса.  

• Вложенные шаги помогают избежать избыточной документации.  

• Пример сценария ручного теста для авторизации пользователя.  

• Использование вложенных шагов для описания действий.  

• Пример с аватаром пользователя и разлогиниванием.  

• Создание нового теста в Idea и его автоматизация.  

• Импорт сценария ручного теста в Alura.  

• Использование кастомных аннотаций для упорядочивания тестов.  

• Экономия времени на коммуникации между ручными и автоматизированными тестами.  

• Возможность рефакторинга тестов без изменения данных.  

• Поддержка различных языков программирования.  

• Запуск тестов и их оплоу.  

• Выбор проекта для локального запуска.  

• В Valuer появляется информация о локальном запуске.  

• Автотест становится автоматическим, появляется ключ автотеста.  

• Сценарий остается ручным, но можно сравнить его с эталонным сценарием.  

• Сравнение ручного и автоматического сценариев.  

• Возможность удаления эталонного сценария после ревью.  

• Использование автоматического сценария в качестве эталонного.  

• Аудит тестов и их модификация.  

• Интеграция ручных тестов с автотестами.  

• Удаление тестов и их восстановление при необходимости.  

• Создание многоуровневых сценариев для ручных тестов.  

• Автоматизация тестов с помощью Idea плагина.  

• Настройка данных, хранимых в Valuer и коде.  

• Плагин для Valuer и его поддержка.  

• Миграция тестов между различными TMS.  

• Поддержка TestRail, Zephyr и других TMS.  

• Удаление тестов в Valuer и их восстановление.  

• Организация степов и их повторное использование.  

• Проблемы с использованием shared steps в TestRail.  

• Проблемы с дублированием проверок в shared steps.  

• Влияние shared steps на автоматизацию тестов.  

• Рекомендации по использованию shared steps в TestRail и других TMS.  

• Обсуждение проблемы запуска тестов менеджерами и разработчиками.  

• Желание запустить тесты без необходимости разбираться в деталях их запуска.  

• Пример использования Jenkins для запуска тестов.  

• Настройка Jenkins для запуска тестов через Allure.  

• Указание параметров браузера, хоста и ветки.  

• Добавление бота в GitLab для запуска пайплайна.  

• Добавление параметров в Jenkins для запуска тестов.  

• Пример запуска тестов на разных окружениях.  

• Allure автоматически запускает нужные тесты.  

• Allure фильтрует автоматизированные и неавтоматизированные тесты.  

• Возможность указания параметров для запуска тестов.  

• Запуск тестов в GitLab и Jenkins.  

• Allure перезапускает неудачные тесты на том же окружении.  

• Возможность абстрагироваться от автоматизации тестов.  

• Пример успешного перезапуска тестов.  

• Добавление ручных тестов в Jenkins.  

• Возможность выполнения тестов вручную.  

• Интеграция с автоматическими тестами.  

• Отключение ненужных заданий для мониторинга.  

• Запуск всех тестов на разных окружениях.  

• Пример увеличения количества тестов при запуске.  

• Запускаются четыре джобы, что удваивает количество тестов.  

• Результаты нескольких инвариантов смешиваются в один запуск.  

• Удобно перезапускать фейли тесты, не теряя информацию о том, где они упали.  

• Автоматические тесты можно превратить в ручные, если они не проходят.  

• Результат автоматического теста сохраняется, но можно предоставить результат ручного тестирования.  

• Возможность написания ручного сценария для теста.  

• Добавление фильтров для запуска тестов в пайплайнах.  

• Пример использования фильтра для запуска тестов в активном статусе.  

• Возможность карантина тестов, чтобы избежать их попадания в пайплайны разработчиков.  

• Возможность создания тестовых наборов для групп тестов.  

• Возможность запуска тестов из тестовых наборов в один клик.  

• Автоматическое управление пайплайнами для запуска выбранных тестов.  

• Простота запуска тестов без глубокого понимания работы джоб.  

• Возможность перезапуска тестов для экономии времени.  

• Удобство использования Allure для управления тестами.  

• Alure не поддерживает запуск тестов по расписанию, но можно настроить Jenkins для периодического запуска тестов.  

• Alure хранит информацию о тестах, которые нужно запускать, и поддерживает множество фреймворков для запуска тестов.  

• Если нужный фреймворк не поддерживается, его реализация будет приоритетной задачей.  

• Тесты с флагами перезапускаются, и их можно просмотреть в одном виджете.  

• Продукт стоит 30 долларов за человека в месяц, и редонные аккаунты бесплатны.  

• В чатике пока нет вопросов, но Егор может помочь с вопросами о Cucumber.  

• В Alure пока нет мапинга степов Cucumber на степы Alure.  

• Для больших проектов это может быть сложно, поэтому лучше использовать свои слова для описания степов.  

• Для небольших проектов это может быть полезно.  

• Alure показывает повторяющиеся ошибки с помощью эвристики.  

• Проблема с ошибками решается через дефекты, которые можно создавать и автоматизировать.  

• Автоматизация дефектов помогает сократить время на разбор автотестов.  

• Создание дефектов и правил автоматизации позволяет автоматически разбирать новые ошибки.  

• Старые ошибки контролируются Alure, что экономит время на разбор.  

• Пример: ночные запуски тестов и утренний разбор новых ошибок.  

• Виджеты показывают данные о воспроизведении дефектов и их описании.  

• Менеджеры могут выбирать худшие падения для первоочередного исправления.  

• Информация по дефектам помогает доказать проблемы с инфраструктурой, если она не верит на слово.  

• Линковка дефектов с помощью Jira Server.  

• Закрытие дефектов при успешном выполнении задачи.  

• Автоматическое закрытие дефектов при успешном выполнении задачи.  

• Дефекты автоматически закрываются при успешном выполнении задачи.  

• Возможность переоткрытия дефектов вручную.  

• Механизм дефектов помогает автоматизировать разбор автотестов.  

• Линковка тестов с Jira Server.  

• Возможность привязки тестов к конкретным Jira серверам.  

• Автоматическое выполнение тестов при запуске.  

• Импорт тестов с Jira Server в другие системы.  

• Возможность синхронизации тестов между системами.  

• Поддержка импорта конкретных полей и циклов.  

• Создание и анализ бордов для менеджеров.  

• Оценка стабильности и времени выполнения тестов.  

• Возможность создания отчетов по разным типам тестов и пользователям.  

• Визуализация проблемных мест в команде.  

• Проблемы с тестами у господина Ярошенко.  

• Задачи для Артема и Димы по рефакторингу и написанию новых тестов.  

• Использование виджета для отображения покрытия тестов.  

• Проблемы с покрытием авторизации и пуриквестов.  

• Возможность детального анализа покрытия различных частей системы.  

• Создание стейджей для тестирования.  

• Запуск тестов на разных стадиях.  

• Проблемы с рассинхронизацией и их решение.  

• Отображение текущего состояния тестингов и стейджей.  

• Возможность перезапуска тестов и анализа результатов.  

• Наглядная картина состояния системы.  

• Импорт результатов мануальных тестов.  

• Планы по отображению тестов в коде.  

• Возможность быстрого перехода к назначенным тестам.  

• Подведение итогов и ответы на вопросы.  

• Призыв к переосмыслению подхода к тестированию.  

• Приглашение на демонстрацию для iOS-проектов.