Строгость(Severity)

Любой тест, класс или модуль можно пометить разной серьезностью:

import allure

class TestBar(object):

    @allure.severity(allure.severity_level.CRITICAL)
    def test_bar(self):
        pass

# custom severity
@allure.severity("hard")
def test_bar(self):
    pass

Чтобы запустить тесты с конкретным приоритетом:

nosetests my_tests/ --with-allure --logdir=tmp --severity="critical, hard"