Результаты тестов

Результат теста — одна попытка выполнения тест-кейса во время запуска. Результат теста создается либо вручную, либо автоматически путем загрузки файла с результатами теста. В самом простом случае результат теста можно представить как запись, содержащую дату и время попытки выполнения теста и ее статус (например, Успешный или Неуспешный).

Для ручного теста со сценарием инженер по тестированию указывает индивидуальные статусы для всех шагов и при необходимости добавляет вложения. Для всего результата теста также могут быть указаны ссылки на задачи, теги и кастомные поля.

Результат автоматизированного теста может включать те же данные. Ознакомьтесь с документацией Allure Report, чтобы узнать больше о шагах, вложениях и метаданных, которые могут быть добавлены при выполнении автоматизированного теста.

Каждый результат теста также может описывать свое окружение, например, операционную систему и браузер, которые использовал инженер по тестированию. В зависимости от конфигурации и способа создания запуска, окружение может быть одинаковым или отличаться для всех результатов тестов в запуске. Чтобы узнать больше об этой возможности, см. Окружение.

Когда вы закрываете запуск, ТестОпс обрабатывает все входящие в него результаты тестов. Эти результаты тестов используются для автоматического создания или обновления тест-кейсов и всей связанной аналитики в проекте.

Статусы результатов тестов

Каждый завершенный результат теста имеет статус, который отражает успешность выполнения теста. Эти статусы отражаются в различных статистиках и графиках в интерфейсе ТестОпс, и они также могут использоваться для поиска и фильтрации результатов тестов.

Просмотр статусов

Чтобы просмотреть статусы всех результатов тестов в запуске, перейдите в раздел Запуски — справа от нужного запуска будет указано количество входящих в него результатов тестов с группировкой по статусу.

Чтобы просмотреть статусы результатов тестов для отдельной группы в дереве:

1. Откройте карточку нужного запуска.
2. Перейдите на вкладку Результаты тестов.
3. В верхнем левом углу нажмите Все результаты и выберите нужное дерево.
4. Наведите курсор на цветную панель справа от группы — появится всплывающая подсказка с распределением результатов тестов по статусам.

Аналогичным способом вы можете просмотреть статусы результатов тестов для отдельной папки.

Значения статусов

При выполнении тест-кейса вручную новый (незавершенный) результат теста изначально получает временный статус В процессе, который затем меняется инженером по тестированию на другой статус. Для результатов автоматизированных тестов статус загружается из файла с результатами теста (см. Test statuses в документации Allure Report).

Результаты тестов в запусках могут иметь статусы:

• Успешный (зеленый) — тест завершился успешно.
• Неуспешный (красный) — тест столкнулся с неожиданным поведением в тестируемой системе. Это означает, что сам тест кажется действительным (не сломан), но его выполнение завершилось ложным утверждением.
• Пропущенный (серый) — тест был включен в тест-план, но не был выполнен по какой-то причине.
• Сломанный (оранжевый) — тест не прошел из-за дефекта теста. Этот статус отличается от статуса Неуспешный тем, что тест не смог проверить поведение продукта так, как было задумано, поэтому сбой может или не может указывать на фактический дефект продукта.
• Неизвестный (фиолетовый) — статус теста не был явно указан. В ручном тесте это означает, что запуск был закрыт, пока тест все еще был В процессе. В автоматизированном тесте это, скорее всего, связано с ошибкой в адаптере Allure, который использовался во время запуска.

В сценариях ручных тест-кейсов можно установить индивидуальные статусы для каждого шага и подшага. Статусы шагов не влияют напрямую на статусы тест-кейсов и могут использоваться для различных целей.

Сортировка и фильтрация результатов тестов

При просмотре запуска вы можете сортировать и фильтровать список входящих в него результатов тестов так же, как список тест-кейсов.

Чтобы отсортировать список результатов тестов:

1. Нажмите Опции.
2. В меню Сортировать по выберите атрибут, по которому нужно отсортировать результаты.
3. В меню Направление выберите направление сортировки.

Важно

Сортировка доступна, только когда в опциях включен переключатель Скрыть папки.

Чтобы отфильтровать список результатов тестов, нажмите на поле поиска над списком и выберите нужный атрибут и значение.

Например, чтобы оставить в списке только автоматизированные тесты:

1. Нажмите на поле поиска.
2. Выберите Тип в появившемся списке.
3. Выберите значение Автоматизированный.

Подробнее см. Тест-кейсы → Поиск и фильтрация тест-кейсов.

Массовые операции

Если запуск содержит большое количество тестов, вы можете воспользоваться панелью массовых операций, чтобы внести изменения в несколько результатов тестов одновременно. Для этого:

1. Выберите результаты тестов одним из способов:

   • поставьте галочки напротив результатов тестов;
   • удерживая Ctrl (Windows) / Command (macOS), нажмите на названия результатов тестов.

   Примечание

   Максимальное количество результатов тестов, которое можно выбрать для массовых операций:

   • в облачной версии ТестОпс — 10 000;
   • в серверной версии ТестОпс — 50 000.

2. В нижней части экрана в панели массовых операций нажмите Статус, чтобы изменить статус, или ⋯, чтобы выбрать другое действие.

Чтобы сбросить выбор результатов тестов, нажмите на крестик в этой же панели.

Доступные действия

Панель массовых операций позволяет:

• менять статусы результатов тестов;
• назначать исполнителей тестов;
• перезапускать тесты;
• связывать результаты тестов с дефектом;
• помещать тесты в карантин;
• добавлять и удалять теги результатов тестов;
• экспортировать результаты тестов в файлы в формате CSV;
• убирать результаты тестов из запуска.

Если запуск закрыт, в панели массовых операций будет доступно только действие Экспорт CSV.

Поддерживаемые форматы файлов

ТестОпс поддерживает несколько форматов файлов для загрузки результатов автоматизированных тестов. Эти файлы можно загружать через интерфейс или c помощью allurectl:

• формат Allure Report 2.x — *-result.json, *-container.json, *-attachment.*;
• формат Allure Report 1.x — *.xml (поддерживается для совместимости со старыми адаптерами и интеграциями);
• формат отчетности Cucumber — *.json;
• формат отчетности JGiven — *.json;
• формат отчетности JUnit XML — *.xml;
• формат отчетности Visual Studio — *.trx (устаревший, не рекомендуется использовать);
• формат отчетности XCTest — *.xcresult (поддерживаются только файлы из XCode 11 и выше);
• формат отчетности xUnit.net — *.xml.

Сопоставление результатов с тест-кейсами

Когда вы загружаете результаты тестов, для каждого результата ТестОпс выполняет одно из трех действий:

• Создает новый автоматизированный тест-кейс, если это первая загрузка результатов для этого тест-кейса.
• Обновляет существующий тест-кейс, если вы уже загружали для него результаты.
• Отмечает результат как «Невозможно привязать», если он содержит неверные данные для сопоставления (см. ниже).

После первичной загрузки все последующие результаты должны быть корректно связаны с созданным тест-кейсом. Для этого адаптеры Allure дополнительно записывают в результат уникальный идентификатор теста, который отличается от ID тест-кейса, отображающегося в интерфейсе ТестОпс. Чтобы создать этот идентификатор, адаптеры хэшируют данные, предоставляемые тестовым фреймворком.

Если тестовый фреймворк не предоставляет готовый идентификатор для теста, адаптер создает хэш на основе сигнатуры тестовой функции и дополнительной информации, которая может помочь сделать идентификатор более уникальным (например, названия пакета).

Этот процесс можно представить следующим образом:

testCaseId = md5(fullName + sort(params))

где:

• fullName — полное имя теста (сигнатура тестовой функции), которое может включать: имя пакета, имя класса, имя файла, имя метода/функции;
• sort(params) — отсортированный список параметров теста.

От полученной строки вычисляется MD5-хэш, который дает фиксированную строку (уникальный идентификатор), например:

"testCaseId": "43f8868a337ff70177a77838d39c5b55"

Примечание

Если вы не используете официальный адаптер и в ваших результатах нет этого идентификатора, ТестОпс сгенерирует его автоматически при загрузке результатов. Этот идентификатор может отличаться от идентификаторов, создаваемых адаптерами.

Возможная проблема идентификаторов, созданных таким образом, — их чувствительность к изменениям в вашем коде. Например, если для создания идентификатора была использована сигнатура тестовой функции и вы в будущем измените имя функции или ее параметры, это приведет к изменению идентификатора и к созданию в ТестОпс нового тест-кейса вместо обновления существующего.

Чтобы этого избежать, после первичной загрузки результатов тестов вы можете указать в вашем коде ID связанных тест-кейсов из ТестОпс. Значения ID можно найти в интерфейсе ТестОпс: в карточках тест-кейсов, в общем списке тест-кейсов и в их URL-адресах.

Важно

Вы не можете указать в коде ID тест-кейса, который еще не существует в ТестОпс. В таком случае загруженные результаты получат статус «Невозможно привязать» и тест-кейсы не будут созданы или обновлены.

В зависимости от используемого тестового фреймворка и адаптера Allure, ID тест-кейса задается разными аннотациями, например:

@Test
@AllureId("123")
public void myTest() {
   step("Step 1", () -> {});
}

После запуска теста из примеров выше адаптер создаст файл с результатами, в котором будут указаны следующие поля:

"testCaseId": "db57b9d129d73c4b4d9a1d1023774f53",
"labels": [
   {
      "name": "as_id",
      "value": "123"
   }
]

где:

• testCaseId — уникальный идентификатор теста, созданный адаптером (хэш данных, предоставленных тестовым фреймворком);
• as_id (или allure_id в некоторых адаптерах) — имя ключа, который хранит ID тест-кейса;
• 123 — ID тест-кейса из базы данных ТестОпс.

Если ТестОпс обнаружит ID тест-кейса в результате теста, он будет игнорировать всю информацию, связанную с testCaseId, и свяжет результат теста с соответствующим тест-кейсом через указанный ID.