Как мы тестируем
Как мы тестируем Holarch
Проверки, которые проходит каждый выпуск, прежде чем попасть к вам, как выпуск попадает в размещённый сервис, как свидетельства становятся публичными и чего это тестирование не показывает.
Каждый выпуск
Каждый выпуск собирается в чистой копии исходного кода, никогда в рабочей копии. Затем сборка проходит контроль выпуска — фиксированный набор автоматических проверок. Непройденная проверка останавливает выпуск. Причину устраняют, и непройденные проверки запускаются снова, прежде чем выпуск пойдёт дальше.
- Сборка выпуска: приложение собирается для выпуска, и собранный код проверяется на соответствие политике безопасности содержимого страницы.
- Сборка языкового движка: скомпилированный языковой движок пересобирается из исходного кода, и результат должен совпасть с поставляемой сборкой.
- Защитные тесты движка: глубокие, длинные, широкие, циклические и превышающие лимиты входные данные для каждой операции движка, с ограничениями на время отклика и память, и проверка того, что время растёт соразмерно размеру входных данных.
- Аудит зависимостей: сторонние зависимости движка проверяются на известные уведомления о безопасности, лицензии и источники.
- Линтер внедрения: линтер останавливает выпуск при любом месте в коде, которое вставляет HTML или выполняет текст как код, если это место не проверено и не записано как безопасное.
- Сторонние файлы: каждый сторонний файл, поставляемый с приложением, должен совпадать со своей записанной контрольной суммой.
- Производительность: время работы собранного приложения измеряется на большом сгенерированном проекте, в браузере и на сервере, относительно фиксированных пределов.
- Дымовые тесты: собранное приложение открывается и используется в реальном браузере, Safari, и как настольное приложение, и в серверном режиме, так, как его запускает размещённый сервис.
- Тесты изменённого: наборы браузерных тестов для каждой области, которую меняет выпуск, в обоих режимах, где у области есть оба, и тесты Python для каждого изменённого серверного модуля.
Браузерные тесты управляют приложением так, как это делает человек: нажимают, перетаскивают и вводят текст на странице, затем проверяют модель и экран.
От выпуска к размещённому сервису
- Сначала промежуточная среда: каждый выпуск работает на отдельном промежуточном сервисе до рабочего. Рабочая среда принимает только сборку, которая работала на промежуточной.
- Резервная копия перед изменениями базы данных: прежде чем выпуск изменит базу данных, сохраняется её копия.
- Проверки работоспособности: после переключения сервис должен отвечать как работоспособный и сообщать выпущенную версию.
- Откат: предыдущая версия сохраняется. Если новая версия не проходит проверку работоспособности, сервис возвращается к предыдущей версии.
Резервные копии размещённого сервиса каждую неделю проверяются восстановлением; см. Целевые показатели сервиса.
Языковой движок
Holarch Language Engine выполняет разбор, разрешение имён и проверку текста SysML v2 и KerML. Помимо проверок выпуска, он измеряется по письменному плану приёмки. Критерии приёмки были записаны до измерения каких-либо результатов; последующее изменение критерия — это новая пронумерованная версия методики, записанная с причиной, а прежние результаты сохраняют версию, по которой они измерены. Опубликованный результат никогда не редактируется; исправление — это новый прогон, который называет заменяемый.
- Примеры моделей: движок тестируется на примерах моделей SysML v2 из официального репозитория выпусков Object Management Group (наборы training, examples и validation), закреплённых на конкретном выпуске.
- Дифференциальное тестирование: результаты движка на этих моделях сравниваются с пилотной реализацией OMG: принимается ли каждая модель и к какому элементу привязывается каждое имя. Каждое расхождение исследуется отдельно и классифицируется как ошибка движка, неподдерживаемая возможность языка, ошибка в примере или отличие в пилотной реализации.
- Устойчивость: большие наборы повреждённых входных данных, таких как пропущенные скобки, оборванные объявления, сломанные импорты, циклы, недопустимые символы и типичные опечатки, проверяют, что движок никогда не падает, даёт тот же ответ после устранения повреждения и продолжает проверять остальную модель.
- Масштаб: очень большие сгенерированные модели измеряют время отклика на правки, время анализа всей модели, использование памяти и то, как время растёт с размером модели.
- Фаззинг: точки входа движка для запросов, лексера и парсера проходят фаззинг-тестирование.
- Тестовые случаи: собственные тесты движка написаны по тексту спецификации, и каждый помечен пунктом, который он проверяет.
Результаты, включая неудачи, с версией движка, версией методики и известными дефектами: результаты тестирования Language Engine. Что сегодня охватывает поддержка языка и её известные пробелы: покрытие языка SysML v2.
Публичные свидетельства: эталонная модель EO-1
Эталонная модель EO-1 — полная модель CubeSat, построенная в Holarch, от потребностей до свидетельств верификации. Её файл проекта и экспорт можно бесплатно скачать, так что любой может открыть модель и сам проверить её прослеживаемость.
Формальный цикл верификации на модели EO-1 прослеживает одно изменение требования через формальную программу: непройденное повторное испытание, несоответствие и разрешение на отступление, опасности и виды отказов, подписание, рецензирование и новую базовую линию.
Размер проекта
Ограничения на число элементов в каждом тарифе основаны на нагрузочном тестировании размещённого сервиса. Проверенные пределы описывают тест, его критерий прохождения, результаты и то, что он не измерял.
Чего это тестирование не показывает
- Это собственное тестирование Holarch. Это не сертификация, и у размещённого сервиса нет сертификатов безопасности; см. Сертификаты.
- Результаты движка сообщают, что тесты Holarch обнаружили на моделях, на которых они запускались. Object Management Group их не рецензировала и не одобряла.
- Запланирована независимая проверка методики тестирования.
- Тестирование снижает вероятность дефекта, но не исключает его. Сообщите о проблеме через «Отправить отзыв» в приложении или по адресу [email protected].