SQM 16/24: Mutation Coverage [software quality crash course] [eng sub]

• Обсуждение метрики Code Coverage, которая показывает, насколько тесты покрывают исходный код.  

• Метрика может быть измерена по строкам кода, стейтментам, бранчам и условиям.  

• Однако, эта метрика не помогает понять, насколько хорошо тесты покрывают код.  

• Mutation Testing создает мутанты из исходного кода, модифицируя определенные места.  

• Мутанты запускаются вместе с тестами, и если тесты не обнаруживают мутации, это указывает на проблемы с тестами.  

• Mutation Testing помогает определить, насколько тесты чувствительны к изменениям в коде.  

• В видео обсуждаются операторы мутации, которые могут быть использованы для изменения кода.  

• Операторы могут удалять, дублировать, заменять, изменять порядок переменных и т.д.  

• Примеры операторов включают удаление, дублирование, замену, изменение порядка переменных и т.д.  

• Важно понимать, что код должен быть компилируемым после мутации, чтобы тесты могли быть выполнены.  

• Упоминается автор, который предложил идею мутационного тестирования в 1977 году.  

• Он предложил модифицировать компилятор для проверки качества тестов.  

• Утверждается, что хороший программный код легко поддерживать, и если он трудно поддерживать, то это плохой код.  

• Тесты являются сеткой безопасности для программистов, помогая им легко поддерживать код.  

• Отсутствие тестов может привести к медленной и аккуратной работе, а также к дополнительным проверкам и опасениям.  

• Наличие тестов помогает программистам быть уверенными в своей работе и рисковать больше.  

• В 1977 году студент и его преподаватель создали систему тестирования для Фортрана.  

• В 1980-х годах было предложено измерять количество разных ошибок, которые система тестирования способна обнаружить.  

• В 1990-х годах было предложено понятие "адекватности" системы тестирования, которая должна быть способна отличить программу от похожих программ с небольшими мутациями.  

• В видео обсуждается слабое мутационное тестирование, которое предлагает запускать тесты с мутантами и контролировать их выполнение во время выполнения.  

• Это позволяет сэкономить время, так как не нужно запускать тесты для каждого мутанта.  

• Ученые провели анализ и пришли к выводу, что слабое мутационное тестирование может быть эффективным, хотя и выдает ложные срабатывания.  

• Это может быть полезно для небольших программ, где количество мутантов не так велико.  

• В видео обсуждаются мутационные операторы для языка Си, предложенные в 1989 году.  

• Они разделены на четыре категории: операторы, переменные, константы и состояния.  

• Это позволяет создать больше возможных вариантов мутаций и покрыть больше ошибок.  

• Ученые разделили мутанты на эквивалентные и неэквивалентные.  

• Эквивалентные мутанты - это мутанты, которые выполняют код точно так же, как и исходный, и тесты не могут их определить.  

• Ученые предлагают механизм Дуа Каврич для определения, все ли дуа покрываются тестом.  

• Они проводят эксперимент на небольших программах и обнаруживают, что эквивалентные мутанты присутствуют.  

• В статье сравнивается эффективность тестов, созданных с помощью мутантов и вручную.  

• В большинстве случаев нет явных преимуществ между двумя подходами.  

• Ученые пытаются определить, лучше ли тесты находят мутанты или ошибки, допущенные людьми.  

• Они опровергают гипотезу о том, что мутанты хуже справляются с ошибками, и показывают, что мутанты могут находить ошибки, если они созданы с помощью кера или селекта операторов.  

• Мутационное тестирование находит ошибки быстрее и эффективнее, чем ручные тесты.  

• Мутанты создаются синтетическим образом и помогают программисту понять, работает ли его тест.  

• Мутационное тестирование может использоваться как вспомогательный инструмент для программиста.  

• Интердакшн предлагает новую систему мутирования, которая быстрее и объектно-ориентированная.  

• Мутанты могут быть процедурного или объектно-ориентированного уровня.  

• Мутационное тестирование может быть полезным для исследования и улучшения кода.  

• Сфера мутационного тестирования находится в начале пути, инфраструктура нестабильна и медленная.  

• Возможно, рынок еще не заинтересован в этой теме.  

• Рекомендуется попробовать существующие инструменты и найти их слабые стороны.  

• Авторы предлагают модель, где для определения, был ли мутант убит, необходимо иметь три характеристики: достижение точки мутации, изменение состояния программы и получение другого результата на выходе.  

• Это позволяет более точно определить, был ли мутант убит или нет.  

• Авторы предлагают идею мутантов более высокого порядка, которые изменяют несколько мест в программе одновременно.  

• Это может привести к появлению эквивалентных мутантов, которые невозможно убить.  

• Авторы анализируют существующие системы мутационного тестирования и предлагают начать с статьи 2010 года.  

• Они отмечают, что одна из проблем - это огромное количество мутантов, которые необходимо запускать через систему тестирования.  

• В видео обсуждается идея использования машинного обучения для преддиктивного тестирования, которое позволяет предсказать, какие тесты будут успешными или неудачными.  

• Авторы предлагают систему, которая собирает информацию о выполненных мутантах и использует ее для повторного запуска тестов.  

• Это может сократить время на тестирование, так как не нужно запускать все тесты заново.  

• В видео представлены пять инструментов для мутационного тестирования на Java, которые могут быть полезны для разработчиков.  

• Авторы рекомендуют попробовать эти инструменты и оценить их эффективность.  

• Если вы создадите систему для мутационного тестирования, которая будет быстрой и обеспечит высокое качество, это может стать прорывом в индустрии.