Прогоны

Создание прогона

Для прохождения тест-кейсов или чек-листов необходимо создать прогон. Прогон может одновременно содержать тест-кейсы и чек-листы.

Важно

При создании прогона в нем сохраняются копии исходных тест-кейсов или чек-листов. Любые изменения этих тест-кейсов или чек-листов после создания прогона не повлекут изменения в прогоне.

Пользователям доступно несколько вариантов создания прогона:

Создание прогона вкладках "Кейсы" или "Чек-листы"

Выберите элементы при помощи чекбоксов и нажмите на кнопку "Создать прогон" (цифра 1). Если отметить чекбокс папки, то будут отмечены все вложенные в нее элементы.

Откроется окно создания нового прогона (цифра 2). Для создания прогона необходимо ввести его название (цифра 3). Также можно заполнить описание (цифра 4), пометить прогон тегами (цифра 5), а также выбрать конфигурации для его прохождения (цифра 6). В окне создания прогона отображаются число выбранных тест-кейсов (цифра 7).

Создание прогона из папки

1. Прогон можно создать из тест-кейсов или чек-листов, содержащихся в папке. Нажмите на иконку "три точки" в шапке папки (цифра 1) и выберите пункт "Создать прогон" (цифра 2). Откроется окно создания нового прогона, в который добавлены тестовые документы из папки.

   

Создание прогона на вкладке "Прогоны"

1. Находясь на вкладке "Прогоны", нажмите на кнопку "+ Новый прогон". Откроется окно создания нового прогона.

   

Копирование существующего прогона

Создание нового прогона путем копирования может быть актуально, если у вас есть стабильные наборы тестов для определенных тестовых циклов. Например, полный регрессионный набор.

В копию попадут новые версии всех тест-кейсов и чек-листов из исходного прогона. Если какие-либо кейсы и чек-листы были удалены после создания исходного прогона, они не попадут в копию прогона.

Для копирования прогона выберите чек-бокс исходного прогона (цифра 1) и нажмите на кнопку “Скопировать” (цифра 2). Если вам важно сохранить распределение исполнителей как в исходном прогоне, отметьте чек-бокс "Скопировать с исполнителями" (цифра 3).

Создание прогона на основе отчета о результатах автотестов

В окне создания прогона выберите способ "Загрузка отчета" (цифра 1). Выберите один из двух форматов отчета Junit XML или Allure (цифра 2) и выберите файл для загрузки (цифра 3). В созданном прогоне будут отображаться результаты прохождения автотестов.

Создание прогона через запуск автотестов

В окне создания прогона выберите способ "Запуск автотестов" (цифра 1). Выберите одну из подключенных CI/CD систем (цифра 2), проект из репозитория с автотестами (цифра 3) и ветку (цифра 4).

После создания прогона будет запущен пайплайн в связанной CI/CD системе. По мере выполнения автотестов в прогоне будут появляться их результаты. Подробее о функционале автотестов.

Конфигурации прогонов

Для создания конфигураций нажмите на иконку редактора конфигураций во вкладке "Прогоны".

В редакторе заполните имя конфигурации и ее значения. Например, вы можете указать, на каком окружении и в какой среде нужно проводить тестирование, что дает больше гибкости и контроля.

После сохранения изменений конфигурации будут доступны для выбора в окне создания и редактирования прогона.

Редактирование прогона

Для редактирования названия, описания, тегов и конфигураций прогона нажмите на иконку "Редактировать". Откроется диалоговое окно.

В плеере прогона можно добавлять новые тест-кейсы и чек-листы (цифра 1), а также менять их расположения вручную (цифра 2).

Вы можете отсортировать тесты в прогоне по одному из столбцов таблицы. При этом сортировка индивидуальна и видна только вам. Чтобы зафиксировать текущий порядок для всех, нажмите «Сохранить сортировку».

При отметке одного или нескольких чек-боксов тестов в прогоне появляются кнопки с доступными действиями: удаление тестов из прогона (цифра 1) и массовое назначение исполнителей (цифра 2). Исполнителей также можно назначать на каждый тест по-отдельности, нажав на поле выбора исполнителя (цифра 3).

После того, как прогон будет пройден и его статус изменится на “Выполнен”, его редактирование будет невозможно. Если необходимо отредактировать прогон после его прохождения, нажмите на кнопку “Запуск” (для возобновления прогона), внесите соответствующие изменения и снова нажмите на кнопку “Завершить”.

Полезная информация

Что делать, если при прохождении тест-кейсов или чек-листов были созданы баг-репорты и комментарии, но потом стало понятно, что для продолжения прохождения нужно обновить документацию?

После удаления из прогона кейса или чек-листа, при прохождении которых были созданы баг-репорты или комментарии, данные баг-репорты и комментарии продолжат отображаться на экране прохождения соответствующего элемента, если вы вновь добавите те же тест-кейсы и чек-листы в прогон (например, после их обновления) такие баг-репорты и комментарии отображаются после всех шагов и чеков, над панелью выбора статуса кейса или чек-листа.

Добавление кейсов или чек-листов через плеер прогона

Добавление в прогон новых кейсов и чек-листов происходит одинаково. Рассмотрим этот процесс на примере кейсов.

Нажмите на кнопку “+ Добавить кейсы”.

В открывшимся окне будут отображаться все кейсы из текущего рабочего пространства за исключением тех, которые уже содержатся в прогоне.

Чтобы найти нужный элменты можно воспользоваться поиском, фильтром или сортировкой.

Отметьте чек-боксы тех тест-кейсов, которые хотите добавить в прогон (1). Затем нажмите на кнопку “Добавить” (2) - выбранные тест-кейсы добавятся в прогон.

Добавление новых элементов в прогон с вкладок “Кейсы” и “Чек-листы”

Добавление новых тест-кейсов или чек-листов в ранее созданный прогон доступно также напрямую из вкладок Кейсы и Чек-листы. Для этого выберите элементы (1) и нажмите на кнопку “Добавить в прогон” (2). Если отметить чек-бокс папки, отмечены будут все вложенные элементы.

В открывшемся диалоговом окне выберите один из прогонов и подтвердите добавление элементов. Добавлять элементы можно в прогоны со статусами “Готов”, “В работе” и “Пауза”.

Выберите прогон в который необходимо добавить элементы, затем нажмите на кнопку “Добавить” (2) - выбранные тесты добавятся в прогон.

Добавление новых элементов в прогон из папок кейсов или чек-листов

Можно добавлять в существующий прогон тест-кейсы или чек-листы, которые содержатся в определенной папке, нажав на иконку меню папки и выбрав “Добавить в прогон”.

Удаление прогона

1. Для удаления прогона отметьте один или несколько прогонов в таблице (цифра 1) и нажмите на кнопку "Удалить" (цифра 2).

   

Важно

Вместе с прогоном будет удалена связанная с ним статистика прохождения тест-кейсов и чек-листов, а также созданные в рамках него комментарии и баг-репорты.

Плеер прогонов

Прогоны имеют несколько статусов:

• Готов – прогон не начат.
• В работе – прогон начат.
• Пауза – прохождение прогона приостановлено.
• Выполнен – прогон завершен.

Если прогон не начат, его статус - “Готов”. После начала прохождения прогона статус меняется на “В работе”. Статус “Пауза” отображается у прогона, прохождение которого начато, но было приостановлено. При полном прохождении прогона ему присваивается статус “Выполнен”.

Откройте плеер прогона, чтобы начать прохождение. Для этого нажмите на название прогона в таблице.

По нажатию на кнопку “Запуск”:

1. В плеере запускается таймер прохождения прогона;

2. Статус прогона меняется с “Готов” на “В работе”;

3. Вместо кнопки “Запуск” отображается кнопка “Пауза”. Во время паузы останавливается таймер прогона, невозможно выполнение тестов;

4. Появляется возможность проставлять статус кейсам и чек-листам;

5. Становится активной кнопка “Завершить”, по нажатию на которую завершается прохождение прогона.

   

Исполнители

Если кейсу или чек-листу не назначен исполнитель, то их прохождение доступно всем пользователям, которые добавлены в слоты лицензии и имеют права на редактирование или администрирование данного рабочего простанства.

Если кейсу или чек-листу назначен исполнитель, то их прохождение будет доступно только данному пользователю.

В режиме редактирования прогона можно изменить исполнителя кейсов или чек-листов.

Проставление статусов в таблице прогона

Тестам в прогоне можно выставить следующие статусы:

• Пройден
• Провален
• Заблокирован
• Сломан
• Пропущен

Статус элемента может быть проставлен в панели управления статусами (цифра 1) или в области просмотра элемента прогона, которая будет рассмотрена далее. Выставленный статус отображается в виде иконки соответствующего цвета (цифра 2), а также в шкале прогресса (цифра 3).

Если кейсу или ранее не был назначен исполнитель, то пользователь, выставивший ему статус, автоматически записывается в качестве исполнителя (цифра 4). Для чек-листов автоназначение исполнителя не происходит, чтобы не блокировать прохождение одного чек-листа несколькими тестировщиками.

В таблице отображается прогресс прохождения каждого тест-кейса и чек-листа (цифра 5). В отдельных столбцах указаны счетчики заведенных баг-репортов (цифра 6) и созданных комментариев (цифра 7) по каждому тесту в таблице.

Если выставлен статус всему чек-листу, то такой же статус будет проставлен всем непройденным чекам (пунктам чек-листа) внутри него.

Для прохождения тест-кейса или чек-листа в плеере прогона, нажмите на его название в таблице прогона.

Прохождение кейса в плеере прогона

К любому шагу кейса можно добавить баг-репорты (цифра 1) и комментарии (цифра 2). Создание баг репорта не влияет на статус тест-кейса или чек-листа. Подробнее о создании баг-репортов

Для выставления статуса кейсу достаточно нажать на один из статусов на нижней панели (цифра 3).

Проходить тест-кейс в прогоне можно также отмечая статус каждого шага (цифра 1). При этом в статистике прохождения тестового прогона учитываются только статусы тест-кейсов, но не статусы отдельных шагов.

После проставления статуса первому шагу, автоматически начинается отсчет времени прохождения тест-кейса (цифра 2). Отсчет времени также можно запустить или приостановить нажав на кнопку "Старт"/"Пауза"/"Продолжить" (цифра 3). Счетчик будет остановлен, когда будут проставлены статусы всем шагам или самому тест-кейсу.

При необходимости можно сбросить прогресс пройденного тест-кейса, при этом статус кейса и шагов, а также таймер прохождения будут сброшены, а связанные баги и комментарии удалятся.

Если всем шагам кейса выставлен одинаковый статус “Пройден”, “Заблокирован”, “Сломан” или “Пропущен”, то всему кейсу автоматически выставляется соответствующий статус. Если хотя бы одному шагу выставлен статус “Провален”, то всему кейсу выставляется статус “Провален”.

Ранее выбранный статус можно изменить на другой, пока прогон находится в статусе “В работе”.

Прохождение чек-листа в плеере прогона

К каждому чеку (пункту чек-листа) можно добавить баг-репорты (цифра 1) и комментарии (цифра 2). Создание баг-репорта не влияет на статус тест-кейса или чек-листа. Подробнее о создании баг-репортов

Каждому чеку может быть выставлен один из 5 статусов: Пройден, Провален, Заблокирован, Сломан, Пропущен (цифра 3).

После проставления статуса первому чеку, автоматически начинается отсчет времени прохождения чек-листа (цифра 1). Отсчет времени также можно запустить или приостановить нажав на кнопку "Старт"/"Пауза"/"Продолжить". Счетчик будет остановлен, когда будет проставлен статус чек-листа или всех чеков внутри него.

При необходимости можно сбросить прогресс прохождения чек-листа (цифра 2), при этом статус чек-листа и всех чеков внутри него, а также таймер прохождения будут сброшены, а связанные баги и комментарии удалятся.

При проставлении статуса всем чекам в чек-листе статус самого чек-листа не меняется автоматически, его нужно выбрать на нижней панели (цифра 3).

Если на момент выбора статуса всего чек-листа в нем будут оставаться непройденные чеки, им будет проставлен такой же статус, как у чек-листа.

История прохождения теста в прогоне

В плеере можно увидеть историю прохождения каждого теста в прогоне. Выберите один из тестов в списке и откройте вкладку "История прохождения" (цифра 1).

У автотестов в качестве исполнителя указана "Автоматизация" (цифра 2). Для получения подробной информации об автоматическом прохождении теста нажмите на кнопку "Подробнее" (цифра 3).

Создание баг-репортов

Если при прохождении тест-кейса или чек-листа обнаружен дефект, нажмите на иконку добваления баг-репорта у соответствующего шага или чека.

Открывается окно для создания баг-репорта, в котором ряд полей уже предзаполнены. Рассмотрим каждое поле подробнее.

В поле “Имя дефекта” подставляется название тест-кейса, при прохождении которого обнаружен баг (цифра 1). Поле обязательно для заполнения.

По умолчанию выставлен средний приоритет бага. Значение можно изменить на “Низкий” и “Высокий” (цифра 2).

Статус баг-репорта по умолчанию “Открыт” (цифра 3), также можно выбрать значения “В работе”, “Тестирование”, “Закрыт”. Если активен чек-бокс “связь с трекером” (цифра 8), статус “Открыт” нельзя изменить.

Фактический результат по умолчанию не заполнен (цифра 4). Поле обязательно для заполнения.

На основе выбранного шага автоматически подставляется соответствующее ему значение ожидаемого результата (цифра 5). Поле обязательно для заполнения.

В поле “Содержание” предзаполнены данные из описания, предусловий и постусловий тест-кейса, а также описаны шаги воспроизведения дефекта (цифра 6).

При необходимости к баг-репорту можно прикрепить вложения (цифра 7). Допускается любой формат вложения, размер каждого файла не более 10 мб, не более 50 файлов.

Если настроена интеграция проекта с трекером задач, автоматически отмечается чек-бокс “Связь с трекером” (цифра 8). Для создания баг-репорта в трекере необходимо также выбрать исполнителя из числа пользователей в трекере (цифра 9).

Если был выбран чек-бокс “Связь с трекером”, баг-репорт создается одновременно в DoQA и в трекере задач. Описание баг-репорта в трекере содержит ссылку на тест-кейс и прогон, в которых был обнаружен дефект.

Завершение прогона

Если все тесты в прогоне завершены, то при переходе из плеера прогона в другой раздел системы появится предупреждение с предложением завершить прогон.

• После подтверждения завершения прогона в плеере отображается время завершения тестирования и затраченное на прогон время.

  

• Прогон можно завершить в любое время после его запуска нажатием на кнопку “Завершить”. Не пройденным тестам будет выставлен статус “Пропущен”.

• После завершения прохождения прогона его нельзя редактировать или менять статус элементов.

• Завершенный прогон можно возобновить, повторно нажав на “Запуск”.

Отчет о тестировании

Для просмотра отчета о тестировании нажмите на кнопку "Отчет" в плеере прогона.

В сводном отчете отображается информация:

• время тестирования;
• количество тестов с разбивкой по статусам, в том числе в виде круговой диаграммы;
• процент тестов с обнаруженными дефектами;
• процент ручного и автоматического прохождения тестов;
• разбивка баг-репортов по статусам;
• прогресс прохождения прогона;
• конфигурации прогона;
• статистика прохождения прогона по исполнителям.

Отчет о тестировании можно распечатать или скачать в формате PDF.

Если вам важна исчерпывающая отчетность о тестировании, вы можете воспользоваться полной формой отчета. Для этого нажмите на кнопку "Полный отчет".

Помимо данных, указанных в сводном отчете, в полный отчет выводится детальная информация по каждому тест-кейсу и чек-листу. При этом, в полный отчет не добавляются комментарии, так как они связаны с самим процессом тестирования и не несут бизнес-ценности для внешних пользователей, таких как менеджеры и заказчики.