SQM 24/24: Neural Metrics [software quality crash course] [eng sub]

• Лекция 24 из курса по контролю качества программного кода.  

• Технологии и языки программирования быстро развиваются.  

• Вопросы качества и читаемости кода часто игнорируются.  

• Рассмотрены метрики для контроля качества кода.  

• Качество должно быть оцифровано и привязано к мотивации и карьере.  

• Важно, чтобы метрики были объективными и автоматизированными.  

• Сравнение с мэром города, устанавливающим порядок на улицах.  

• Субъективный подход: убеждения и авторитет.  

• Объективный подход: правила и автоматизация контроля.  

• Автоматизация правил и штрафов улучшает порядок.  

• Правила должны быть установлены и соблюдаться без обсуждений.  

• Важно, чтобы правила были четкими и однозначными.  

• Репозиторий должен понимать лучше всех, как правильно программировать.  

• Автоматизированный свод законов лучше, чем мягкий и неоднозначный.  

• Люди, занятые обсуждением, должны быть заменены на автоматизацию.  

• Люди, заменяющие свод правил, могут быть вредны для проекта.  

• В репозиториях без систем контроля качества такие люди могут захватить власть.  

• В новых командах важно избегать таких ситуаций.  

• Внесение изменений в код без усиления системы контроля качества неэффективно.  

• Важно сначала усилить законы, а затем вносить изменения в код.  

• Пример с перекрестком: сначала нужно исправить законы, а затем исправлять ошибки.  

• Программисты должны мыслить стратегически, как строители города.  

• Важно сначала исправить законы, а затем корректировать конкретные ошибки.  

• Пример с парковкой на зебре: сначала нужно исправить законы, а затем устранять нарушения.  

• Новые метрики, связанные с машинным обучением и большими языковыми моделями.  

• Эти метрики субъективны и могут быть более мощными, чем строгие законы.  

• Пример с черным ящиком: искусственный интеллект может принимать решения быстрее и качественнее, чем люди.  

• Машинное обучение может находить код с ошибками с высокой точностью.  

• Для тренировки модели достаточно 100 примеров.  

• Идея использования машинного обучения для анализа кода остается актуальной.  

• В 2016 году обсуждалась метрика количества дубликатов в коде.  

• Было выделено четыре типа клонов, которые научились определять с помощью машинного обучения.  

• Сравнение с инструментом DeCart показало, что машинное обучение лучше находит клоны.  

• В следующем году предложили создать статический анализатор, который учится на примерах кода.  

• Анализатор анализирует миллионы программ и формирует правила на основе большинства решений.  

• Это позволяет создавать анализатор, который адаптируется к разным наборам кода.  

• Статический анализатор помогает программистам повышать квалификацию и дисциплинировать их.  

• Он агрегирует знания всей индустрии, а не только одной команды.  

• Анализатор помогает сохранить традиции программирования и улучшить качество кода.  

• В компаниях с большим количеством кода часто отсутствует контроль качества.  

• Внедрение новых правил, таких как использование пробелов вместо табуляции, может вызвать сопротивление.  

• Статический анализатор, обучающийся на примерах, может адаптироваться к разным командам и их привычкам.  

• Машинное обучение ML помогает в сложных задачах, где строгая логика не справляется.  

• В 2013 году было предложено векторное представление текстов для ML.  

• ML использует векторы цифр для анализа кода, представляя его как текст.  

• ML находит взаимосвязи между векторами цифр, представляющими программы.  

• Если представить программы в виде векторов и дать им характеристики, ML может предсказать их качество.  

• Пример: программа с оценкой "пять с плюсом" и "тройка" будет оценена как "средняя".  

• Для генерации вектора из программы нужно перевести её в текст.  

• Статья предложила методику преобразования текста в вектор, что помогло в анализе текстов и программ.  

• Пример: программа, которая находит дефекты в коде на C++ и Java, используя векторное представление.  

• Программа анализирует код на C++ и Java, находя ошибки без использования AST или символьного исполнения.  

• Использует векторное представление для классификации корректного и некорректного кода.  

• Модель обучается на данных, чтобы предсказывать корректность новых программ.  

• Векторное представление не учитывает синтаксическое дерево и зависимости операторов.  

• Программа рассматривается как текст, что является слабым местом.  

• В 2016 году авторы статьи заявили о 96% точности ML, но последующие исследования показали, что это было слишком оптимистично.  

• Ученые часто критикуют друг друга, что приводит к опровержениям.  

• Важно быть готовым к критике и проверять результаты на достоверность.  

• В статьях нужно указывать, что результаты могут быть экстраполированы на большие данные.  

• Машинное обучение не всегда обеспечивает контроль качества кода.  

• Нет доступных инструментов для проверки кода с использованием машинного обучения.  

• Необходимы продукты, которые можно интегрировать в билд пайплайн.  

• Код-ту-век предлагает методику для создания векторов из кода.  

• Программа анализирует синтаксическое дерево кода и раскрашивает пути выполнения.  

• Векторы используются для обучения моделей машинного обучения.  

• Код-ту-век помогает классифицировать функции по их функциональности.  

• Векторы функций используются для обучения моделей машинного обучения.  

• Современные решения продолжают развиваться и улучшаться.  

• Машинное обучение и анализ кода остаются экспериментальной областью.  

• Код-ту-век является частью процесса машинного обучения и индустрии по пониманию кода.  

• Будущее покажет, что станет основой для фундаментальной науки.  

• SkipNayzer использует ChatGPT для статического анализа кода.  

• Он генерирует патчи для найденных ошибок.  

• ChatGPT обладает высоким качеством анализа кода.  

• ChatGPT может ошибаться, но его результаты высоко оцениваются.  

• SkipNayzer требует доступа к ChatGPT и не является коробочным продуктом.  

• Это пролетарское решение, основанное на использовании ChatGPT.  

• Статические анализаторы часто генерируют ложные срабатывания.  

• ChatGPT помогает фильтровать ложные сигналы.  

• Результаты фильтрации ChatGPT могут быть субъективными и не всегда научно обоснованными.  

• Статические анализаторы генерируют много информации, что затрудняет их использование.  

• Программисты часто отключают анализаторы из-за их "шума".  

• Фильтрация сигналов помогает улучшить качество анализа.  

• Машинное обучение помогает фильтровать сигналы статических анализаторов.  

• ChatGPT и другие большие языковые модели могут анализировать код и делать выводы.  

• Это позволяет более эффективно использовать статические анализаторы.  

• Обсуждение метрик кода, таких как кохижин.  

• Кохижин измеряет целостность кода внутри модуля.  

• Существуют различные подходы и алгоритмы для расчета метрик.  

• Использование машинного обучения для расчета метрик кода.  

• Сравнение результатов машинного обучения с детерминированными алгоритмами.  

• Машинное обучение может предсказывать метрики кода с высокой точностью.  

• Метрики кода, такие как кохижин, важны для оценки качества кода.  

• Программисты часто не понимают, как улучшить код на основе метрик.  

• Метрики могут не отражать реальные изменения в коде.  

• Метрики кода не используются в продакшене из-за конфликтов с программистами.  

• Программисты могут не соглашаться с критикой кода на основе метрик.  

• Машинное обучение может быть более полезным для конструктивного диалога.  

• Сравнение моделей машинного обучения с ChatGPT.  

• ChatGPT показал лучшие результаты в обнаружении дефектов кода.  

• Опенсорсные модели пока уступают ChatGPT.  

• Большие языковые модели могут стать мощным инструментом для анализа кода.  

• Вопросы о том, как использовать эти модели для улучшения качества кода.  

• Необходимость исследований и разработок в этой области.  

• Проблемы с фолс-позитивом в анализе кода с помощью LLM.  

• Необходимость предсказуемости и надежности в анализе кода.  

• Важность разработки метрик и методов анализа кода на основе ИИ.  

• Необходимость объединения старых метрик с новыми для лучшего контроля кода.  

• Обучение общению с большими моделями для улучшения качества кода.  

• Благодарность участникам и завершение лекций.