Как организовать тест-кейсы на проекте | Техники тест дизайна | Podlodka Podcast #359

• Ведущие подкаста: Егор Толстой и Екатерина Петрова.  

• Гость: Анастасия Заречнева из JetBrains.  

• Тема: Как правильно писать тест-кейсы, оптимизировать их количество и хранить.  

• Анастасия Заречнева: тестировщица, евангелист тестирования, создательница сообщества QA Sisters.  

• Автор бесплатного курса по тестированию на Stepik.  

• Член программного комитета Podlodka.  

• Анастасия пришла в JetBrains как тестировщица Space.  

• Сейчас тестирует продукты JetBrains, включая бэкенд и квотирование.  

• Применяет математико-лингвистическое образование для тестирования грамматических правил.  

• Анастасия считает, что выбрала неправильную специальность, но рада, что работает в IT.  

• Училась на факультете информационных технологий, но выбрала математическую лингвистику.  

• Работа в JetBrains помогла применить знания на практике.  

• Разные термины: тест-кейсы, тест-планы, тест-сьюты.  

• Общепринятый термин: тестовые артефакты.  

• Источник: International Software Testing Qualifications Board ISTQB.  

• ISTQB: международная организация по сертификации тестировщиков.  

• Обновленный ISTQB выходит раз в несколько лет.  

• ISTQB как источник истины и база знаний для тестировщиков.  

• ISTQB специализируется на тестировании ПО, но также и других продуктов.  

• Уровни сертификации: foundation, analyst, specialist.  

• Сертификация помогает ориентироваться в направлениях развития.  

• Сертификация полезна, но не всегда соответствует реальным потребностям.  

• Теоретические знания помогают упорядочить знания и быть уверенным в спорах.  

• Сертификация важна для поиска работы на европейском рынке.  

• Тестовая документация включает тест-кейсы, чек-листы, баг-репорты и другие продукты работы тестировщиков.  

• Она может включать комплекты тестовых данных и вспомогательные скрипты для автоматизации.  

• Тестовая документация делится на внутреннюю и внешнюю, в зависимости от того, используется ли она внутри команды или за её пределами.  

• Внутренняя тестовая документация используется внутри команды и не выходит за её пределы.  

• Внешняя тестовая документация предназначена для заказчиков и стейкхолдеров, таких как аутсорсеры и консалтинговые компании.  

• В аутсорсинге внешняя тестовая документация помогает заказчикам принимать решения о найме команды тестирования.  

• Внутренняя и внешняя тестовая документация определяют подход к её написанию и оценке.  

• Внешняя тестовая документация требует более тщательного подхода и может включать тест-планы и стратегии.  

• Нет единого алгоритма для написания хорошей тестовой документации, многое зависит от контекста и ресурсов.  

• Тест-кейсы имеют формальную структуру, основанную на методологии Waterfall.  

• Структура включает ID, приоритет, версию, модуль, тип описания, шаги, ожидаемый и полученный результаты, дату создания и изменения.  

• Некоторые элементы, такие как полученные результаты и атачмент, могут быть излишними и могут запугать начинающих тестировщиков.  

• Тестовая документация помогает фиксировать результаты работы тестировщиков.  

• В отличие от разработчиков и аналитиков, тестировщики не всегда видят видимый результат своей работы.  

• Тестовая документация может служить инструментом для отслеживания проверок и мотивации, а также для обмена знаниями в команде.  

• Тестовая документация помогает гарантировать повторяемость проверок.  

• Важно записывать проверки, условия и последовательность.  

• Сложность вызывает не количество полей, а понимание, что тестировать.  

• Важно проектировать и создавать тест-кейсы, а не просто описывать их.  

• Необходимы техники тест-дизайна и тест-анализа.  

• Тест-кейсы и чек-листы описывают проверки, но их структура рождается в процессе анализа и дизайна.  

• Тест-анализ собирает требования и понимает бизнес-цели продукта.  

• Тест-дизайн оптимизирует проверки, избегая избыточности и дублирования.  

• Используются техники, такие как классы эквивалентности и анализ граничных значений.  

• Классы эквивалентности позволяют проверять репрезентативные значения.  

• Анализ граничных значений проверяет значения на границах множеств.  

• Эти техники помогают оптимизировать число проверок и избежать дублирования.  

• Базовый перебор комбинирует все значения для каждого поля.  

• Попарный перебор проверяет комбинации пар значений.  

• Специальные утилиты помогают генерировать комбинации и исключать дублирующие пары.  

• Рассматриваются различные типы входных данных: фамилии, пол, возраст.  

• Комбинации могут быть ограничены по законам или требованиям, например, возраст от 18 лет для зарубежных пользователей.  

• Комбинации генерируются с помощью специального синтаксиса и утилиты, например, PRBA.  

• Комбинации проверяются на потенциальные проблемы и баги.  

• Автор предпочитает другие методы из-за скептицизма по поводу исследования.  

• Вопрос о том, один ли алгоритм используется для комбинаций.  

• Полный перебор применяется для ограниченного числа вариантов и импутов.  

• Полный перебор неэффективен для больших объемов данных и не учитывает возможные дублирования.  

• Используется для тренировки в комбинаторике и обучения.  

• Высокоуровневые техники применяются для комплексного взгляда на программное обеспечение.  

• Тестирование на основе рисков фокусируется на наиболее рискованных частях приложения.  

• Анализ пользовательских сценариев описывает возможные сценарии и их альтернативные варианты.  

• Диаграмма переходов состояний визуализирует состояния и переходы программы.  

• Используется для формирования тест-кейсов и передачи знаний в команде.  

• Тестирование на основе моделей помогает выявить важные моменты и передать знания.  

• В конце прошлого года команда работала над интеграцией между веб-составляющей и плагином для Space.  

• Дизайнеры создавали тестовые модели, описывающие взаимодействие компонентов.  

• Тестовые модели полезны для сложных систем, но могут быть избыточными для простых систем.  

• В Авито использовали импакт анализ для оптимизации автотестов.  

• Строили граф модулей, затронутых изменениями, и мапили конкретные автотесты.  

• Это помогает понять, на какие части функциональности влияют изменения.  

• Импакт анализ полезен для больших проектов с множеством автотестов.  

• В случае малоавтотестов или критичных систем, оптимизация может пропустить регрессии.  

• Для мобильных приложений с хорошей модуляризацией импакт анализ помогает оптимизировать время и ресурсы.  

• Тестовая документация часто дублирует код.  

• Существуют подходы, позволяющие описывать тесты в коде без дополнительных артефактов.  

• Пример: использование сценариев для написания автотестов, которые становятся требованиями и тестами.  

• Сценарии для автотестов не всегда работают эффективно.  

• Разработчики и тестировщики часто не согласны с требованиями сценариев.  

• В итоге, сценарии могут создавать дополнительное дублирование кода.  

• Использование плагинов и фреймворков для описания тестов.  

• Пример: JetBrains JetBrains и Allure для описания тестов.  

• Описание тестов в комментариях или аннотаций помогает переиспользовать их в будущем.  

• Формальные методы помогают описывать спецификации с помощью математических языков.  

• Это позволяет доказывать свойства программ.  

• Подход подходит для команд с активным участием в автоматизации тестирования.  

• Обсуждение оптимизации процесса тестирования и выстраивания процессов команды.  

• Рекомендация посетить сайт подлодка.айо для просмотра плейлистов предыдущих сезонов конференций.  

• Контекстная школа тестирования и её влияние на качество тест-кейсов.  

• Важность учета сроков проекта и функциональности.  

• Примеры из аутсорсинга и консалтинга, где сроки играют ключевую роль.  

• Влияние уровня детализации требований на тестовую документацию.  

• Примеры ситуаций, когда требуется подробная или минимальная документация.  

• Важность адаптации новых членов команды и стейкхолдеров.  

• Влияние размера команды тестирования на качество документации.  

• Примеры работы больших команд тестирования и их особенности.  

• Важность передаваемости документации между разными людьми.  

• Влияние формальности процесса на тип документации.  

• Примеры использования Waterfall и Agile подходов.  

• Важность адаптации документации под разные уровни формальности.  

• Различие между внутренней и внешней документацией.  

• Примеры использования внешней документации для бета-тестирования.  

• Внутренняя документация и её удобство для команды.  

• Обсуждение минимальных характеристик хорошей тестовой документации.  

• Важность наличия определенных элементов в документации.  

• Тестовая документация должна быть однозначной и не противоречивой.  

• Устаревшая документация мешает работе и требует обновления.  

• Приоритизация проверок важна для эффективного тестирования.  

• Умение приоритизировать проверки помогает избежать проверки нерелевантных изменений.  

• Смешанные проверки по версиям могут привести к путанице.  

• Зависимости между кейсами могут быть полезны, но не всегда атомарны.  

• Релевантность документации определяется соответствием приоритета проверки её реальной ценности.  

• Для поддержания актуальности документации её нужно обновлять и следить за актуальностью.  

• Важно, чтобы тест-кейсы были хорошо трассированы относительно требований.  

• В разработке тест-кейсов должна участвовать вся команда.  

• Кросс-ревью помогает улучшить качество документации.  

• Тестировщики могут делиться чек-листами с разработчиками для проверки перед передачей в тестирование.  

• Тестовая модель, требования, спецификации и другие источники могут быть источником истины.  

• Важно обновлять документацию, чтобы она оставалась актуальной.  

• Тест-кейсы могут стать источником истины и точкой принятия решений при отсутствии других источников.  

• Нейронные сети могут помочь в формализации и перефразировании текста.  

• Они могут быть полезны для написания базовых проверок, но не для исчерпывающего тестирования.  

• Ручное тестирование остается важным, несмотря на развитие больших языковых моделей.  

• Обсуждение различных подходов к написанию тестовой документации.  

• Пример с разработчиком из Индии, который хочет обеспечить качество своего проекта.  

• Пример с агентством, разрабатывающим мобильные приложения для сторонних заказчиков.  

• Ограничения в количестве людей и вычислительных мощностях.  

• Отсутствие выделенного тестировщика, разработчик сам занимается тестированием.  

• Использование подхода "тест как код" и аннотаций для тестового фреймворка.  

• Написание чек-листов для самопроверки и автоматизации проверок.  

• Пример чек-листа для модуля авторизации.  

• Разделение чек-листов на разделы для различных проверок.  

• Описание негативных проверок и ожидаемых результатов.  

• Ограничения: больше ресурсов для тестирования, но ограниченное время.  

• Возможность использования чек-листов или тест-кейсов для демонстрации заказчику.  

• Чек-листы должны быть понятными и не слишком подробными.  

• Важно вовлекать команду разработки для выполнения проверок.  

• Пример компании, разрабатывающей сервис по бронированию билетов.  

• Три команды разработки, каждая занимается своей частью сервиса.  

• Важность кроссфункционального подхода и вовлечения всех команд в тестирование.  

• Платежная команда отвечает за сложную логику и деньги компании.  

• Логистика и бэк-офис имеют свои процессы и команды.  

• В платежной команде важно тщательное тестовое покрытие и интеграция.  

• Команды, связанные с финансами, тщательно поддерживают тест-кейсы.  

• Высокий уровень автоматизации важен для продуктовой команды.  

• Автотесты служат тестовой документацией и повышают отказоустойчивость.  

• Логистика требует тест-кейсов и чек-листов из-за частых изменений.  

• Бэк-офис требует минимального количества документации и автоматизации.  

• Тестовую документацию используют как референс для регрессионного тестирования.  

• Тесты можно хранить в Excel, но есть более эффективные системы.  

• Тест-менеджмент системы ТМС, такие как TestRail и Kaseya, помогают организовать и управлять тестами.  

• TMS позволяют организовывать тесты по комплектам, приоритизировать их и строить графики результатов.  

• Kaseya и её бесплатный аналог Kaseya Kus популярны среди тестировщиков.  

• В СНГ популярны системы, поддерживающие чек-листы, такие как Sitemaster.  

• В Jira есть плагин для тестирования, который синхронизирует тесты с автотестами.  

• Alure Stop от компании Alure и Артема Ярошенко популярен в Европе.  

• В России активно развивается TestItTest, поддерживаемый сообществом.  

• На российском рынке также популярны другие ТМС, такие как Маркет и другие.  

• Просветленные тестировщики используют Excel для решения задач.  

• В будущем планируется выпуск о Excel.  

• Призыв к зрителям поделиться опытом использования Excel.  

• Обсуждение тестовой документации и тест-кейсов.  

• Понятие идеальной тестовой документации и антипаттернов.  

• Оптимизация тестов в больших проектах.  

• Тест-дизайн и его важность.  

• Тестировщики владеют методиками оптимизации работы.  

• Благодарность гостю за участие и обсуждение.  

• Анекдот о тестировщике в баре.  

• Важность хорошей тестовой документации и тест-дизайна.  

• Предложение ввести рубрику анекдотов в конце выпусков.  

• Вопрос о том, что больше всего нравится Егору.  

• Призыв к зрителям вступать в чаты и оставлять комментарии.  

• Благодарность за поддержку и распространение подкаста.