Тема
Каталог автотестов
Реестр всех автотестов пространства: что упало в последнем прогоне, насколько тест стабилен и к каким тест-кейсам привязан. Открывайте каталог для разбора падений, карантина, привязки кейсов и ручного запуска.
Где находится
Пространство → «Автотесты» → вкладка «Все автотесты». Раздел виден всем, у кого есть доступ к пространству.
Отмечать строки чек-боксами, ставить карантин, привязывать кейсы и требования, менять теги, назначать ответственного и запускать автотесты может только пользователь с правом на изменение прогонов. Без этого права каталог доступен на чтение: чек-боксы строк и кнопки действий не показываются.
На скриншоте: 1 — поле поиска, 2 — «Фильтры», 3 — сортировка, 4 — индикатор «Здоровые», 5 — ряд чипов, 6 — панель «Структура», 7 — таблица.
Раздел «Автотесты»
- Вкладка «Все автотесты» — каталог (эта страница), открывается по умолчанию.
- Вкладка «Кластеры ошибок» — группировка похожих падений, см. Кластеры ошибок.
- Кнопка «Дашборд» — видна всегда, ведёт на дашборд автотестов пространства.
- Кнопка «Настройки автотестов» — видна при доступе к настройкам пространства, открывает настройки сразу на разделе «Подключение CI/CD». Остальные разделы настроек автотестов — в левом навигаторе той же страницы.
Поиск
Поле поиска над таблицей ищет по названию автотеста, DoQA-ID, пакету и классу; максимум 100 символов. Список и панель «Структура» перезагружаются с начала. Крестик в поле очищает поиск.
Сводка над таблицей
Чипы-фильтры: клик по чипу фильтрует таблицу, повторный клик выключает фильтр.
| Чип | Что отбирает |
|---|---|
| «Проваленные» | последний прогон завершился статусом «Провален» |
| «Сломанные» | последний прогон завершился статусом «Сломан» (заблокированные сюда не входят) |
| «Без прогонов» | прогонов ещё не было или последний прогон пропущен |
| «Нестабильные» | состояние стабильности — «Нестабильный» (автотесты в карантине сюда не входят) |
| «Без связи с кейсами» | нет ни одного привязанного тест-кейса |
Справа — кольцевой индикатор «Здоровые»: процент автотестов, у которых последний прогон пройден. Подсказка при наведении — «Стабильность за 10 прогонов».
Панель «Структура»
Дерево слева от таблицы, три уровня: источник → пакет (namespace) → класс. Источник — это CI-подключение, из которого пришли результаты; автотесты, полученные без CI-подключения (Direct API, ручная загрузка), собраны в узле «Без источника». Рядом с каждым узлом — число автотестов в скобках.
Клик по узлу сужает таблицу до этого источника, пакета или класса; первая строка дерева «Все автотесты» возвращает полный список. Значок «Скрыть структуру» слева от чипов убирает панель, «Показать структуру» — возвращает. Ширина панели тянется мышью от 240 до 480 px; ширина и скрытое состояние запоминаются в браузере.
Если автотестов слишком много, дерево показывает «Дерево обрезано — уточните поиск»: сузьте выборку поиском или фильтрами.
Фильтры
Кнопка «Фильтры» с бейджем-счётчиком активных фильтров открывает диалог «Фильтр». Значения вступают в силу по кнопке «Применить», кнопка «Сбросить фильтр» очищает все поля диалога.
| Поле | По умолчанию | Что делает |
|---|---|---|
| «Статус последнего прохождения» | не задано | множественный выбор: «Пройден», «Провален», «Сломан», «Пропущен», «Заблокирован», «Без прогонов» |
| «Запущен» | не задано | диапазон дат по дате последнего прогона |
| «Ветка» | «Все» | ветка CI; показатели стабильности в таблице считаются по выбранной ветке |
| «Источник» | «Все» | конкретное CI-подключение или «Без источника»; дублирует выбор узла в панели «Структура» |
| «Связь с тест-кейсами» | «Все» | «Все» / «Есть связь» / «Нет связи» |
| «Карантин» | «Все» | «Все» / «В карантине» / «Не в карантине» |
| «Стабильность» | «Все» | «Все» / «Стабильные» / «Нестабильные», одиночный выбор |
| «Теги» | пусто | теги пространства и группа «Теги фреймворка» (метки из кода теста); между строками условие «И», внутри строки — «ИЛИ» |
- В фильтре тегов новый тег создать нельзя — только выбрать существующий.
- Значение «Все» ничего не фильтрует и не попадает ни в бейдж-счётчик, ни в адрес страницы.
- Ссылка «Сбросить фильтры» рядом с чипами сбрасывает фильтры и выбор в «Структуре», но не поиск. Поиск сбрасывает кнопка «Сбросить фильтры» в пустом состоянии «Ничего не найдено».
Сортировка
Кнопка сортировки справа от «Фильтров», подпись на кнопке — текущий вариант. По умолчанию — «Сначала проваленные»; остальные: «Сначала пройденные», «Стабильность: выше сверху», «Стабильность: ниже сверху», «Последний запуск: новые сверху», «Последний запуск: старые сверху».
Столбцы таблицы
Значок-шестерёнка «Настройка колонок» слева от чипов открывает панель: столбцы можно включать, выключать и переставлять перетаскиванием, ширину — тянуть за границу заголовка. Настройка сохраняется на сервере и переживает перезагрузку и смену устройства. Пресеты панели — «По умолчанию» и «Пользовательский».
| Столбец | Что показывает |
|---|---|
| (чек-бокс) | выбор строки; не входит в настройку колонок |
| «Статус» | цветная риска исхода последнего прогона |
| «Автотесты» | название автотеста, рядом значки «В карантине» и «Нестабильный» |
| «Источник» | логотип и имя CI-подключения, +N при нескольких источниках |
| «История» | полоска из 10 ячеек — исходы последних 10 прогонов, слева направо от старых к новым |
| «DoQA-ID» | внешний идентификатор автотеста, «—» при отсутствии |
| «Связь с тест-кейсами» | число привязанных кейсов |
| «Последний запуск» | дата и время; «Никогда», если прогонов не было |
| (действия) | меню «три точки»; не входит в настройку колонок, всегда последний столбец |
Действия в строке
Меню «три точки» в конце строки:
| Пункт | Условие | Что делает |
|---|---|---|
| «Открыть историю» | всегда | открывает панель автотеста справа |
| «В карантин» / «Снять карантин» | право на изменение | переключает карантин у этого автотеста |
| «Связать с тест-кейсом» | право на изменение | открывает диалог выбора тест-кейсов, см. Привязка тест-кейса |
| «Связать требование» | право на изменение | открывает диалог выбора требований, можно выбрать несколько |
Массовые действия
Отметьте автотесты чек-боксами. Внизу появится плавающая панель со счётчиком «Выбрано: N»:
| Кнопка | Когда показана | Что делает |
|---|---|---|
| «Очистить выбор» | всегда | снимает отметки |
| «Связать с тест-кейсом» | всегда, но работает только с одним выбранным | открывает диалог выбора тест-кейсов |
| «В карантин» | среди выбранных есть хотя бы один не в карантине | ставит карантин всем выбранным |
| «Снять карантин» | среди выбранных есть хотя бы один в карантине | снимает карантин со всех выбранных |
| «Запустить выбранные» | всегда | открывает диалог запуска, см. Запуск выбранных автотестов |
Чек-бокс «выбрать все» в шапке таблицы отмечает только уже загруженные строки, а не весь каталог.
Карантин применяется к ветке, выбранной в фильтре «Ветка»; если ветка не выбрана — сразу ко всем веткам. Снятие карантина без выбранной ветки снимает его и с каждой ветки отдельно.
Состояния автотеста
| Состояние | Когда возникает |
|---|---|
| «Стабильный» | базовое состояние, сигналов нестабильности нет |
| «Нестабильный» | сработал хотя бы один сигнал нестабильности |
| «Сломан» | детерминированное падение |
| «В карантине» | карантин поставлен вручную или автоматически |
| «Исправлен» | накоплено достаточно дней подряд без падений |
| «Отключён» | выставляется только через API, кнопок для этого в интерфейсе нет |
Как считаются состояния, карантин и сигналы нестабильности — в Нестабильные тесты и карантин.
Панель автотеста
Клик по строке (или пункт «Открыть историю») открывает панель справа. Адрес страницы меняется: ссылку на открытую панель можно передать коллеге. Ширина панели тянется мышью и запоминается.
В шапке — DoQA-ID с кнопкой копирования, путь к автотесту (пакет и класс), значок статуса последнего прогона и название автотеста, плашки «В карантине» и «Нестабильный», если применимо. Панель разбита на три вкладки; при переключении на другой автотест она всегда открывается на первой.
На скриншоте: 1 — шапка с DoQA-ID и плашками, 2 — вкладки, 3 — чипы статусов, 4 — таблица «Результаты», 5 — правая колонка с ответственным и плитками.
Вкладка «История прохождения»
- Чипы-фильтры по статусу с числом на каждом: «Все», «Успешные», «Проваленные», «Заблокированные», «Сломанные», «Пропущенные».
- Таблица «Результаты»: «№», «Дата запуска», «Время», «Статус»; под датой у упавших результатов — текст ошибки. Клик по строке открывает слева панель «Результат прогона», повторный клик закрывает. Кнопка «Показать ещё» догружает следующие 20 строк.
- Блок «Дополнительная информация»: «Framework-теги» — метки из кода теста, только для чтения. «Теги DoQA» — множественный выбор из тегов пространства, сохраняется сразу по выбору. Доступно только при праве на изменение.
- Справа: селектор ответственного за автотест (назначается на весь автотест, всем веткам сразу), плитки «Среднее время», «Успешно», «Последний запуск», «Последний провал», и при праве на изменение — кнопки «В карантин» / «Снять карантин» и «Запустить» (тот же диалог, что и массовый запуск, на один автотест).
Вкладка «Связанные кейсы»
Таблица привязанных тест-кейсов: «ID» (ссылка на кейс), «Название», «Статус»; при наведении на строку — значок «Отвязать». Кнопка «Привязать кейс» открывает тот же диалог, что и «Связать с тест-кейсом» в каталоге. Плитка «Пройдены» — доля связанных кейсов в статусе «Пройден»; это статус тест-кейса, а не результат автотеста.
Вкладка «Стабильность»
Семь плиток: «Количество прогонов», «Состояние стабильности», «Балл нестабильности», «Смены состояний», «Последний успех», «Последний провал», «Успешно». Ниже — список «Смены состояния стабильности» (с фильтром по ветке, по умолчанию «Все ветки»), график и таблица «Балл нестабильности», таблица «Связанные кластеры ошибок». Подробнее о вычислении — Нестабильные тесты и карантин. О кластерах — Кластеры ошибок.
Привязка тест-кейса
Один тест-кейс может быть связан максимум с одним автотестом, а у одного автотеста связанных кейсов может быть несколько.
- Отметьте в каталоге один автотест.
- Нажмите «Связать с тест-кейсом» в нижней панели: откроется диалог выбора тест-кейсов. Тот же диалог открывают пункт «Связать с тест-кейсом» в меню строки и кнопка «Привязать кейс» на вкладке «Связанные кейсы».
- Выберите один или несколько кейсов и нажмите «Привязать».
Внимание
Если выбранный кейс уже привязан к другому автотесту, привязка перенесёт его на текущий: прежний автотест останется без связи. DoQA сообщает об этом всплывающим уведомлением «Тест-кейсы перепривязаны с других автотестов: N», но подтверждения перед переносом не запрашивает.
Разорвать связь можно только из панели автотеста, вкладка «Связанные кейсы» — значком «Отвязать» в строке кейса, с подтверждением. Массовой отвязки в каталоге нет.
При двух и более выбранных автотестах кнопка «Связать с тест-кейсом» остаётся активной, но по нажатию показывает предупреждение «Тест-кейс может быть привязан только к одному автотесту — выберите один автотест».
Запуск выбранных автотестов
- Отметьте автотесты чек-боксами.
- Нажмите «Запустить выбранные»: откроется диалог «Запуск выбранных автотестов».
- Слева заполните форму, справа при необходимости задайте порядок прохождения.
- Нажмите «Запустить». DoQA создаёт прогон и открывает его страницу.
Поля левой колонки диалога:
| Поле | По умолчанию | Что делает |
|---|---|---|
| «Способ создания» | «Запуск автотестов» | заблокировано — этот диалог всегда запускает автотесты |
| «Название» | пусто | название будущего прогона |
| «Описание» | пусто | описание прогона |
| «Теги» | пусто | теги прогона; секция видна, только если в пространстве есть теги |
| «Конфигурация (необязательно)» | «Без конфигурации» | конфигурация прогона; секция видна, только если в пространстве есть конфигурации |
| Блок настроек CI/CD | последние использованные значения | подключение, проект, пайплайн, ветка и другие параметры запуска |
В правой колонке — «Выбранные автотесты»: список с номерами по порядку, ручкой для перетаскивания и крестиком «Убрать из выбранного».
На скриншоте: 1 — форма слева, 2 — блок настроек CI/CD, 3 — список «Выбранные автотесты» справа.
Внимание
Порядок, заданный перетаскиванием, соблюдается только когда автотесты подключены через адаптер — тогда подсказка над списком заканчивается словами «адаптер выполнит их именно в этом порядке». Для остальных способов подключения порядок не гарантирован, хотя перетащить строки можно так же.
Если выбранные автотесты в прошлый раз запускались в разных местах, наверху диалога появляется предупреждение и выбор из двух режимов: «Одна конфигурация для всех» и «Каждый там, где запускался последний раз». Второй режим бывает недоступен, тогда под ним написано почему: например, на один запуск допустимо не больше 10 пайплайнов.
Ошибку запуска DoQA показывает текстом над кнопками диалога. Если часть выбранных автотестов успели удалить — «N из выбранных автотестов больше не существуют. Обновите каталог и повторите попытку.»
Поля блока CI/CD и переменные пайплайна — в Запуске автотестов из DoQA.
Особенности
- Числа на чипах и процент в индикаторе «Здоровые» считаются по поиску, ветке, источнику и тегам; остальные поля фильтра на них не влияют. Если задан ещё и статус, стабильность, карантин, связь с кейсами или дата, число на чипе может не совпасть с числом строк.
- Чип подсвечивается активным, только когда фильтр в точности повторяет его: заданное чипом поле равно его значению, а «Статус последнего прохождения», «Стабильность» и «Связь с тест-кейсами» пусты. Выбрали в фильтре «Провален» и «Сломан» — не горит ни один чип.
- Панель «Структура» считается по тем же фильтрам, что и таблица, но не фильтрует себя по выбранному узлу, иначе узел исчезал бы из дерева сразу после выбора.
- Выбранная в фильтре ветка меняет и показатели стабильности в таблице: состояние, значки и полоска «История» считаются по этой ветке.
- В плитке «Состояние стабильности» панели автотеста показывается упрощённое значение — «Стабилен» или «Нестабилен». Полное состояние видно по значкам в строке каталога и в списке «Смены состояния стабильности».
- Карантин исключает автотест из Quality Gate, но не из статистики стабильности: окно и доля падений продолжают считаться как обычно.
- Каталог обновляется сам, когда меняется стабильность автотестов. Открытая панель автотеста при этом не обновляется. Закройте и откройте её заново.
Смотрите также
- Запуск автотестов из DoQA — диалог запуска, настройки CI/CD, переменные пайплайна
- Нестабильные тесты и карантин — как вычисляется стабильность, сигналы, ручной и автоматический карантин
- Кластеры ошибок — группировка похожих падений, категории ошибок
- Отправка результатов — как автотесты попадают в каталог
- Матрица покрытия — покрытие требований тестами