Результаты и разбор падений

Результаты автотестов находятся в прогонах. Эта страница о том, как читать карточку результата, разбирать причины падений через кластеры ошибок, сравнивать прогоны и следить за стабильностью. Пошаговый разбор упавшего прогона — в сценарии Разбор упавших автотестов.

Карточка результата автотеста

Откройте прогон и выберите автотест в таблице. Карточка результата откроется в панели справа. Эту же карточку в режиме чтения открывают история прогонов в карточке автотеста каталога и список тестов кластера ошибок. Кнопка «Открыть в прогоне» в ней ведёт к оригиналу.

У автотестов исполнителем указана «Автоматизация»: их результаты не редактируются вручную. Пока результаты обрабатываются, вместо карточки показывается заглушка «Результаты автотестирования все еще обрабатываются. Это может занять несколько минут — пожалуйста, подождите.»

На скриншоте: 1 — ссылка «Схожие ошибки (кластер)» на кластер, к которому отнесено падение, 2 — сообщение об ошибке с кнопкой копирования, 3 — переключатель «Стек-трейс», 4 — дерево шагов с упавшим шагом.

Состав карточки

Сверху вниз:

• конфигурация прогона и типизированные ссылки результата, если они переданы;
• сводка попыток — см. Попытки;
• таймлайн запуска — фазы от отправки команды в CI до получения отчёта, с длительностью каждой;
• карточка ошибки — см. ниже;
• дерево шагов и фикстур, если шаги были переданы: группы Setup → Test body → Teardown, упавшие узлы раскрыты сразу, у шагов видны длительность, параметры и вложения (шаги умеют отправлять адаптеры и Autotest API);
• «Output» — вывод теста; свёрнут и скрывается, если дословно дублирует стек-трейс;
• вложения: скриншоты открываются в полноэкранном просмотре, видео проигрываются в карточке, трейсы скачиваются файлом;
• параметры из отчёта;
• обсуждение: кнопки «Добавить баг» и «Добавить комментарий», добавленные баг-репорты и комментарии;
• свойства автотеста из отчёта.

Карточка ошибки

Для упавших, сломанных и заблокированных результатов секция называется «Ошибка». Для остальных — «Сообщение». Карточка при этом оформляется нейтрально: у прошедшего теста текст из отчёта — информационное сообщение, а не падение. Ошибка показывается всегда, когда она есть в отчёте, независимо от статуса результата.

В карточке: тип исключения, сообщение с кнопкой копирования и свёрнутый стек-трейс (переключатель «Стек-трейс») с подсветкой синтаксиса.

Если парсер не смог разобрать сам результат, DoQA показывает отдельную предупреждающую карточку «Ошибка обработки отчёта» — это проблема отчёта, а не теста.

Когда падение попало в кластер, над карточкой ошибки выводится блок кластера: заголовок, категория причины и ссылка «Similar failures (cluster)», открывающая этот кластер на вкладке «Кластеры ошибок».

Попытки

Один автотест в прогоне может пройти несколько раз: авто-повтор, перезапуск из DoQA, ручное перепрохождение или повтор средствами самого тестового фреймворка. Все попытки сохраняются; итог теста и вся статистика считаются по последней.

В списке попыток: номер, источник попытки, статус, отметка нестабильности, время, исполнитель и ссылка на пайплайн. У любой не прошедшей попытки есть кнопка «Подробнее» — внутри её собственные таймлайн, шаги, лог и вложения.

Тест, прошедший только после перезапуска, получает отметку «Пройден после повтора»: такие результаты учитывает детекция нестабильных. Правила автоматических перезапусков — на странице Автоматика запусков, перепрохождение одного автотеста — на странице Запуск автотестов из DoQA.

Кластеры ошибок

Вкладка «Кластеры ошибок» раздела «Автотесты» группирует падения автотестов пространства по сигнатуре ошибки: вместо сотен одинаковых упавших тестов — короткий список причин. Группировка детерминированная: нормализация текста ошибки плюс настраиваемые правила, без машинного обучения.

Кластеризация выполняется после завершения CI-прогона, поэтому свежие падения появляются на вкладке не мгновенно; список обновляется при повторном открытии страницы.

На скриншоте: 1 — плитка-фильтр категории, 2 — колонка «История» с мини-трендом падений, 3 — колонка «Состояние».

На скриншоте: 1 — сигнатура кластера с копированием, 2 — показатели кластера, 3 — тренд падений по прогонам, 4 — список тестов кластера с фильтром по статусу.

Категории причин

Каждому кластеру назначается категория — класс причины падения:

Категория	Смысл
«Продукт»	баг продукта
«Автотесты»	сломанный тест
«Окружение»	проблема окружения или сервиса
«Без категории»	не совпало ни одно правило

Правила категоризации настраиваются в настройках пространства, секция «Категории ошибок»: регулярное выражение, к чему его применять (сообщение, стек-трейс или оба), категория и приоритет. Правила проверяются по возрастанию приоритета, побеждает первое совпавшее. Поле примера позволяет проверить паттерн на реальном сообщении прямо при вводе.

Работа со списком

• Плитки-фильтры по категориям: «Окружение», «Продукт», «Автотесты», «Без категории», «Известные» — на плитке счётчик, клик фильтрует список.
• Период (7, 30, 90 дней или всё время), поиск по типу и сообщению ошибки, сортировка по падениям за период или по свежести.
• Строка кластера: тип исключения и сообщение, бейдж категории, мини-тренд, падения за период и за всё время, последнее падение и состояние — бейдж связанного бага, метка «Reopened» либо ссылка «Добавить баг».

Клик по кластеру открывает панель: сигнатура с копированием, показатели (падения за период и всего, уникальных тестов, из них нестабильных, первое и последнее падение), крупный тренд по прогонам и список тестов кластера с фильтром «Только упавшие». Клик по тесту открывает карточку результата.

Кластер и баг-репорт

Баг кластера — это обычный баг-репорт раздела «Баги». Оформить его можно двумя способами:

• «Создать баг» — открывает форму баг-репорта, заполненную по характерному падению кластера; созданный баг автоматически связывается с кластером;
• «Привязать баг» — связать кластер с существующим багом пространства или с тикетом трекера по ключу.

После оформления на кластере появляется плашка «Оформлен как дефект» с настройками связки:

• «Auto-hide in next runs» — падения кластера скрываются из списка (возвращаются тумблером «Показывать known issues») и исключаются из оценки критериев приёмки;
• «Reopen on regression» — если баг уже закрыт, а кластер упал снова, связка помечается «Reopened», и DoQA автоматически переоткрывает баг;
• «Отвязать кластер» — снимает связь; после отвязки последнего кластера связка удаляется, а баг остаётся обычным багом.

Внимание

Пока связка с включённым «Auto-hide in next runs» открыта, падения кластера не блокируют Quality Gate. Это удобно для известных проблем, но помните: гейт может оставаться пройденным при реально падающих тестах.

Связка видна и со стороны бага: в списке багов у багов из кластера есть отметка и фильтр «Источник», а в карточке бага — секция «Кластеры ошибок» с теми же настройками и отвязкой.

Стабильность и карантин

По каждому автотесту DoQA считает стабильность между прогонами: процент успешных прохождений, смены исхода и итоговое состояние. Смотреть их удобнее всего в каталоге автотестов: полоска последних десяти прогонов, процент стабильности и бейдж нестабильности в таблице, а в карточке автотеста — плитки статистики, история прогонов и журнал переходов состояния.

Хронически нестабильный тест можно отправить в карантин из каталога или карточки автотеста. Карантинный автотест исключается из статистики стабильности и из оценки критериев приёмки, пока карантин не снят.

Сравнение прогонов

Чтобы понять, что изменилось между двумя прогонами, выберите ровно два прогона в списке и нажмите «Сравнить». Сравнивать можно только прогоны одного пространства, и в обоих должны быть результаты автотестов.

Тесты двух прогонов сопоставляются по автотесту каталога (внешнему ID); результаты без привязки к каталогу показываются отдельными счётчиками. Каждому тесту присваивается класс изменения:

Класс	Смысл
«Regressed»	проходил в A, упал в B
«New»	появился только в B
«Still failing»	падает в обоих прогонах
«Fixed»	падал в A, прошёл в B
«Disappeared»	был в A, отсутствует в B
«Status changed»	прочие изменения статуса
«Unchanged»	без изменений; по умолчанию скрыты

На странице: карточки прогонов A и B (ветка, коммит, статус пайплайна), сводка с кликабельными счётчиками по классам, суммарная разница длительности, тумблеры «Only changes» и «Flaky only», фильтр окружения и поиск. В таблице — статусы A → B (клик открывает результат в соответствующем прогоне), разница длительности и число попыток каждой стороны.

Незавершённый прогон сравнивается по текущему состоянию. DoQA предупреждает, что результат сравнения может измениться. Всё состояние страницы хранится в адресе, поэтому ссылкой на сравнение можно поделиться.

Аналитика по автотестам

Вкладка «Автотесты» дашборда пространства собирает аналитику парка: доля автоматизации, доля нестабильных, полоса здоровья, покрытие по папкам, тренды прохождений и длительности, доля перезапусков и экономия времени CI, топ падающих тестов, топ кластеров ошибок, самые долгие тесты и лента CI-запусков.

Смотрите также

• Разбор упавших автотестов — пошаговый сценарий работы с упавшим прогоном
• Каталог автотестов — стабильность, карантин и карточка автотеста
• Автоматика запусков — авто-повтор и критерии приёмки
• Прогоны — плеер прогонов и работа с автотестами в прогоне
• Баги — работа с баг-репортами