テスト方法
Holarch のテスト方法
すべてのリリースがお客様に届く前に通過するチェック、リリースがホスト型サービスに届くまでの流れ、証拠の公開方法、そしてこのテストでわからないこと。
すべてのリリース
各リリースは、作業用のコピーではなく、ソースのクリーンなコピーでビルドされます。その後、ビルドはリリースゲート、すなわち決められた一連の自動チェックを通過します。チェックが失敗するとリリースは止まります。原因を修正し、失敗したチェックを再実行してからリリースを進めます。
- リリースビルド:アプリをリリース用にビルドし、ビルドされたコードをページのコンテンツセキュリティポリシーに照らしてチェックします。
- 言語エンジンのビルド:コンパイル済みの言語エンジンをソースから再ビルドし、その結果が出荷するビルドと一致しなければなりません。
- エンジンのガードテスト:エンジンのすべての操作に対し、深い入力、長い入力、幅の広い入力、循環する入力、上限を超える入力を与え、応答時間とメモリに上限を設け、時間が入力の大きさに比例して増えることを確認します。
- 依存関係の監査:エンジンのサードパーティ依存関係について、既知のセキュリティアドバイザリ、ライセンス、出所をチェックします。
- インジェクションのリント:コード内で HTML を挿入したりテキストをコードとして実行したりする箇所があれば、その箇所がレビューされ安全と記録されていない限り、リントがリリースを失敗させます。
- サードパーティのファイル:アプリとともに出荷されるすべてのサードパーティのファイルは、記録されたチェックサムと一致しなければなりません。
- パフォーマンス:ビルドされたアプリを、生成された大規模プロジェクトでブラウザーとサーバーの両方で計時し、決められた上限と比較します。
- スモークテスト:ビルドされたアプリを実際のブラウザー(Safari)で開いて使用します。デスクトップアプリとしても、ホスト型サービスと同じサーバーモードでも行います。
- 変更箇所のテスト:リリースで変更されたすべての領域のブラウザーテストスイート(両方のモードがある領域では両方のモード)と、変更された各サーバーモジュールの Python テストを実行します。
ブラウザーテストは人と同じようにアプリを操作します。ページ上でクリック、ドラッグ、入力を行い、その後モデルと画面を確認します。
リリースからホスト型サービスへ
- まずステージング:すべてのリリースは、本番の前に別のステージングサービスで動作させます。本番は、ステージングで動作したビルドだけを受け付けます。
- データベース変更前のバックアップ:リリースがデータベースを変更する前に、データベースのコピーを保存します。
- ヘルスチェック:切り替え後、サービスは正常であると応答し、リリースされたバージョンを報告しなければなりません。
- ロールバック:以前のバージョンは保持されます。新しいバージョンがヘルスチェックに失敗すると、サービスは以前のバージョンに戻ります。
ホスト型サービスのバックアップは毎週復元テストを行っています。サービス目標をご覧ください。
Language Engine
Holarch Language Engine は SysML v2 と KerML のテキストを構文解析、名前解決、チェックします。リリースチェックに加えて、文書化された受け入れ計画に基づいて測定されます。受け入れ基準は、結果を測定する前に書き留められました。後で基準を変更する場合は、その理由とともに記録された、番号付きの新しいバージョンの手法となり、以前の結果は測定時のバージョンを保持します。公開した結果は決して編集しません。訂正は、置き換える対象を明示した新しい実行として行います。
- サンプルモデル:エンジンは、Object Management Group の公式リリースリポジトリにある SysML v2 のサンプルモデル(training、examples、validation の各セット)に対して、特定のリリースに固定した状態でテストされます。
- 差分テスト:それらのモデルに対するエンジンの結果を OMG のパイロット実装と比較します。各モデルが受理されるかどうか、各名前がどの要素に結び付くかです。不一致は一つずつ調査し、エンジンのバグ、未サポートの言語機能、サンプルの誤り、パイロット側の相違のいずれかに分類します。
- 堅牢性:中括弧の欠落、途中で切れた宣言、壊れたインポート、循環、無効な文字、よくある入力ミスなど、大量の損傷した入力を使い、エンジンが決してクラッシュしないこと、損傷を修復した後に同じ答えを返すこと、モデルの残りの部分のチェックを続けることを確認します。
- 規模:生成した非常に大きなモデルで、編集の応答時間、モデル全体の解析時間、メモリ使用量、モデルの大きさに応じた時間の増え方を測定します。
- ファジング:エンジンのリクエスト、字句解析器、構文解析器のエントリーポイントをファズテストします。
- テストケース:エンジン自身のテストは仕様のテキストから書かれ、それぞれがチェック対象の条項でタグ付けされています。
失敗を含む結果を、エンジンのバージョン、手法のバージョン、既知の欠陥とともに掲載しています:Language Engine のテスト結果。現在の言語サポートの対応範囲と既知の不足:SysML v2 言語の対応範囲。
公開された証拠:EO-1 リファレンスモデル
EO-1 リファレンスモデルは、ニーズから検証済みの証拠まで、Holarch で構築した CubeSat の完全なモデルです。プロジェクトファイルとエクスポートは無料でダウンロードできるため、誰でもモデルを開いてトレーサビリティを自分で確認できます。
EO-1 モデルでの正式な検証サイクルでは、1 つの要求変更を正式なプログラムの中で追います。再テストの失敗、不適合とその特別採用、ハザードと故障モード、サインオフ、レビュー、新しいベースラインです。
プロジェクトの規模
各プランの項目数の上限は、ホスト型サービスの負荷テストに基づいています。テスト済みの上限に、テストの内容、合格基準、結果、測定しなかったことを記載しています。
このテストでわからないこと
- これは Holarch 自身によるテストです。認証ではなく、ホスト型サービスはセキュリティ認証を取得していません。認証をご覧ください。
- エンジンの結果は、Holarch のテストが実行したモデルで見つかったことを報告するものです。Object Management Group はそれらをレビューも承認もしていません。
- テスト手法の独立したレビューを予定しています。
- テストは欠陥の可能性を下げますが、なくすものではありません。問題は、アプリの「フィードバックを送信」または [email protected] で報告してください。