Лучше ничего не делать, чем сделать flaky-тест

Что это значит? У Толстого есть книга «Лучше ничего не делать, чем делать ничего», а у нас — этот принцип.

Зачем? Потратишь своё время на создание бесполезного теста и чужое — на его разбор, игнор и починку. Flaky-тесты подрывают принципы «Ценности» и «Доверия». На такие тесты перестают обращать внимания.

Плохие практики:

• Запустить новый тест малое количество раз, перед влитием;

• Не проверить на CI, в окружении, в котором тест будет гоняться;

• Не проверить, как ведёт себя тест при параллельном прогоне;

• Не проверить на слабопроизводительном оборудовании;

• Перезапуск тестов в прогонах. Правильнее изучить и устранить причины падений.

Хорошие практики:

• Соответствие покрытия пирамиде тестирования;

• Использовать не настоящие сервисы, а эмуляторы (ОТП, почта и др.);

• Чистое окружение перед каждым тестом (сессия браузера, БД).

Можно ли нарушить? Нет.