Як ми тестуємо
Як ми тестуємо Holarch
Перевірки, які кожен випуск проходить, перш ніж дійти до вас, як випуск потрапляє до хмарного сервісу, як докази стають публічними і чого це тестування не показує.
Кожен випуск
Кожен випуск збирається в чистій копії вихідного коду, ніколи в робочій копії. Потім збірка проходить контроль випуску: фіксований набір автоматичних перевірок. Невдала перевірка зупиняє випуск. Причину усувають, невдалі перевірки запускають знову, і лише тоді випуск рухається далі.
- Збірка випуску: застосунок збирається для випуску, а зібраний код перевіряється на відповідність політиці безпеки вмісту сторінки.
- Збірка мовного рушія: скомпільований мовний рушій перезбирається з вихідного коду, і результат має збігатися зі збіркою, що постачається.
- Захисні тести рушія: глибокі, довгі, широкі, циклічні та понадлімітні вхідні дані для кожної операції рушія з обмеженнями на час відповіді й пам’ять, а також перевірка, що час зростає пропорційно розміру вхідних даних.
- Аудит залежностей: сторонні залежності рушія перевіряються на відомі повідомлення про вразливості, ліцензії та джерела.
- Лінтер ін’єкцій: лінтер зупиняє випуск через будь-яке місце в коді, яке вставляє HTML або виконує текст як код, якщо це місце не перевірене й не записане як безпечне.
- Сторонні файли: кожен сторонній файл, що постачається із застосунком, має збігатися зі своєю записаною контрольною сумою.
- Продуктивність: час роботи зібраного застосунку вимірюється на великому згенерованому проєкті, у браузері та на сервері, відносно фіксованих меж.
- Димові тести: зібраний застосунок відкривають і використовують у справжньому браузері, Safari, і як настільний застосунок, і в серверному режимі, так, як його запускає хмарний сервіс.
- Тести змін: набори браузерних тестів для кожної області, яку змінює випуск, в обох режимах, якщо область їх має, і тести Python для кожного зміненого серверного модуля.
Браузерні тести керують застосунком так, як це робить людина: клацають, перетягують і вводять текст на сторінці, а потім перевіряють модель і екран.
Від випуску до хмарного сервісу
- Спершу проміжне середовище: кожен випуск працює в окремому проміжному сервісі до робочого. Робоче середовище приймає лише збірку, яка вже працювала в проміжному.
- Резервна копія перед змінами бази даних: перш ніж випуск змінить базу даних, зберігається її копія.
- Перевірки працездатності: після перемикання сервіс має відповідати як працездатний і повідомляти випущену версію.
- Відкат: попередня версія зберігається. Якщо нова версія не проходить перевірку працездатності, сервіс повертається до попередньої версії.
Відновлення з резервних копій хмарного сервісу перевіряється щотижня; див. Цільові показники сервісу.
Мовний рушій
Holarch Language Engine розбирає, розв’язує та перевіряє текст SysML v2 і KerML. Окрім перевірок випуску, його вимірюють за письмовим планом приймання. Критерії приймання записали до того, як виміряли будь-які результати; пізніша зміна критерію — це нова пронумерована версія методу, записана з причиною, а попередні результати зберігають версію, за якою їх виміряли. Опублікований результат ніколи не редагується; виправлення — це новий прогін, що називає той, який він замінює.
- Приклади моделей: рушій тестують на прикладах моделей SysML v2 з офіційного репозиторію випусків Object Management Group (набори training, examples і validation), закріплених за певним випуском.
- Диференційне тестування: результати рушія на цих моделях порівнюють із пілотною реалізацією OMG: чи приймається кожна модель і з яким елементом пов’язується кожне ім’я. Кожну розбіжність досліджують окремо й класифікують як помилку рушія, непідтримувану мовну можливість, помилку в прикладі або відмінність у пілотній реалізації.
- Стійкість: великі набори пошкоджених вхідних даних, як-от пропущені дужки, обірвані оголошення, зламані імпорти, цикли, неприпустимі символи й поширені помилки введення, перевіряють, що рушій ніколи не аварійно завершується, дає ту саму відповідь після виправлення пошкодження й продовжує перевіряти решту моделі.
- Масштаб: дуже великі згенеровані моделі вимірюють час відповіді на редагування, час аналізу всієї моделі, використання пам’яті та те, як час зростає з розміром моделі.
- Фазинг: точки входу рушія для запитів, лексера й парсера проходять фазинг-тестування.
- Тестові випадки: власні тести рушія написані за текстом специфікації, і кожен позначено пунктом, який він перевіряє.
Результати, зокрема невдачі, з версією рушія, версією методу та відомими дефектами: Результати тестування Language Engine. Що сьогодні охоплює підтримка мови та її відомі прогалини: Охоплення мови SysML v2.
Публічні докази: еталонна модель EO-1
Еталонна модель EO-1 — це повна модель CubeSat, створена в Holarch, від потреб до підтверджених доказів верифікації. Її файл проєкту та експорти можна безкоштовно завантажити, тож будь-хто може відкрити модель і самостійно перевірити її простежуваність.
Формальний цикл верифікації на моделі EO-1 простежує одну зміну вимоги через формальну програму: невдале повторне тестування, невідповідність і поступку щодо неї, небезпеки й види відмов, підписання, рецензування та нову базову лінію.
Розмір проєкту
Межі кількості елементів кожного тарифу ґрунтуються на навантажувальному тесті хмарного сервісу. На сторінці Перевірені межі описано тест, його критерій успіху, результати та те, чого він не вимірював.
Чого це тестування не показує
- Це власне тестування Holarch. Воно не є сертифікацією, і хмарний сервіс не має сертифікатів безпеки; див. Сертифікати.
- Результати рушія повідомляють, що знайшли тести Holarch на моделях, на яких їх запускали. Object Management Group не рецензувала й не схвалювала їх.
- Заплановано незалежне рецензування методу тестування.
- Тестування знижує ймовірність дефекту, але не виключає його. Повідомте про проблему через «Надіслати відгук» у застосунку або на [email protected].