테스트 방법
Holarch 테스트 방법
모든 릴리스가 고객에게 도달하기 전에 통과하는 검사, 릴리스가 호스팅 서비스에 도달하는 과정, 증거를 공개하는 방법, 그리고 이 테스트가 보여 주지 않는 것.
모든 릴리스
각 릴리스는 작업 사본이 아니라 소스의 깨끗한 사본에서 빌드합니다. 그런 다음 빌드는 릴리스 게이트, 즉 고정된 자동 검사 세트를 거칩니다. 검사가 하나라도 실패하면 릴리스가 중단됩니다. 원인을 수정하고, 실패한 검사를 다시 실행한 후에 릴리스가 진행됩니다.
- 릴리스 빌드: 앱을 릴리스용으로 빌드하고, 빌드된 코드를 페이지의 콘텐츠 보안 정책에 대해 검사합니다.
- 언어 엔진 빌드: 컴파일된 언어 엔진을 소스에서 다시 빌드하며, 그 결과는 출시되는 빌드와 일치해야 합니다.
- 엔진 보호 테스트: 모든 엔진 작업에 깊고, 길고, 넓고, 순환하고, 한도를 넘는 입력을 넣어 응답 시간과 메모리 한도를 확인하고, 시간이 입력 크기에 비례하여 늘어나는지 검사합니다.
- 의존성 감사: 엔진의 서드파티 의존성을 알려진 보안 권고, 라이선스, 출처에 대해 검사합니다.
- 인젝션 린트: 코드에서 HTML을 삽입하거나 텍스트를 코드로 실행하는 곳이 있으면, 그곳이 검토를 거쳐 안전하다고 기록되지 않은 한 린트가 릴리스를 실패시킵니다.
- 서드파티 파일: 앱과 함께 출시되는 모든 서드파티 파일은 기록된 체크섬과 일치해야 합니다.
- 성능: 빌드된 앱을 생성된 대형 프로젝트에서 브라우저와 서버 양쪽으로 고정된 한도에 맞춰 시간을 측정합니다.
- 스모크 테스트: 빌드된 앱을 실제 브라우저인 Safari에서 데스크톱 앱과 서버 모드 양쪽으로, 호스팅 서비스가 실행하는 방식대로 열고 사용합니다.
- 변경 사항 테스트: 릴리스가 변경하는 모든 영역의 브라우저 테스트 스위트를, 영역에 두 모드가 있으면 두 모드 모두에서 실행하고, 변경된 각 서버 모듈의 Python 테스트를 실행합니다.
브라우저 테스트는 사람이 하는 방식대로 앱을 조작합니다. 페이지에서 클릭하고, 끌고, 입력한 다음 모델과 화면을 확인합니다.
릴리스에서 호스팅 서비스까지
- 스테이징 우선: 모든 릴리스는 프로덕션 전에 별도의 스테이징 서비스에서 실행됩니다. 프로덕션은 스테이징에서 실행된 빌드만 받아들입니다.
- 데이터베이스 변경 전 백업: 릴리스가 데이터베이스를 변경하기 전에 데이터베이스 사본을 저장합니다.
- 상태 검사: 전환 후 서비스는 정상 상태로 응답하고 릴리스된 버전을 보고해야 합니다.
- 롤백: 이전 버전을 보관합니다. 새 버전이 상태 검사에 실패하면 서비스는 이전 버전으로 돌아갑니다.
호스팅 서비스의 백업은 매주 복원 테스트를 합니다. 서비스 목표를 참조하십시오.
Language Engine
Holarch Language Engine은 SysML v2 및 KerML 텍스트를 구문 분석하고, 해석하고, 검사합니다. 릴리스 검사 외에도 문서화된 승인 계획에 따라 측정됩니다. 승인 기준은 결과를 측정하기 전에 작성되었습니다. 이후 기준을 변경하면 방법의 새 번호 버전이 되어 그 이유와 함께 기록되며, 이전 결과는 측정 당시의 버전을 유지합니다. 공개된 결과는 절대 편집하지 않습니다. 수정은 대체하는 실행을 명시한 새 실행으로 이루어집니다.
- 예제 모델: 엔진은 Object Management Group 공식 릴리스 저장소의 SysML v2 예제 모델(training, examples, validation 세트)을 특정 릴리스에 고정하여 테스트합니다.
- 차등 테스트: 해당 모델에 대한 엔진의 결과를 OMG의 파일럿 구현과 비교합니다. 각 모델을 수용하는지, 각 이름이 어떤 요소에 바인딩되는지를 비교합니다. 불일치는 하나씩 조사하여 엔진 버그, 지원되지 않는 언어 기능, 예제의 오류, 파일럿의 차이 중 하나로 분류합니다.
- 견고성: 누락된 중괄호, 잘린 선언, 깨진 임포트, 순환, 잘못된 문자, 흔한 입력 실수 같은 손상된 입력의 대규모 세트로 엔진이 절대 충돌하지 않는지, 손상을 고친 후 같은 답을 내는지, 모델의 나머지 부분을 계속 검사하는지 확인합니다.
- 규모: 매우 큰 생성 모델로 편집의 응답 시간, 전체 모델 분석 시간, 메모리 사용량, 모델 크기에 따른 시간 증가를 측정합니다.
- 퍼징: 엔진의 요청, 렉서, 파서 진입점을 퍼즈 테스트합니다.
- 테스트 케이스: 엔진 자체의 테스트는 사양 텍스트를 바탕으로 작성되며, 각 테스트에는 검사하는 조항이 태그로 붙어 있습니다.
실패를 포함한 결과와 엔진 버전, 방법의 버전, 알려진 결함: Language Engine 테스트 결과. 현재 언어 지원 범위와 알려진 공백: SysML v2 언어 지원 범위.
공개 증거: EO-1 참조 모델
EO-1 참조 모델은 Holarch에서 만든 CubeSat의 완전한 모델로, 니즈부터 검증된 증거까지 담고 있습니다. 프로젝트 파일과 내보내기는 무료로 다운로드할 수 있으므로 누구나 모델을 열어 추적성을 직접 확인할 수 있습니다.
EO-1 모델의 공식 검증 주기는 하나의 요구사항 변경이 공식 프로그램을 거치는 과정을 따라갑니다. 실패한 재시험, 부적합과 그 면제, 위해 요인과 고장 모드, 승인, 검토, 새 베이스라인입니다.
프로젝트 크기
각 요금제의 항목 한도는 호스팅 서비스의 부하 테스트를 근거로 합니다. 테스트된 한도에서 테스트, 합격 기준, 결과, 측정하지 않은 것을 설명합니다.
이 테스트가 보여 주지 않는 것
- 이것은 Holarch 자체 테스트입니다. 인증이 아니며, 호스팅 서비스는 보안 인증을 보유하고 있지 않습니다. 인증을 참조하십시오.
- 엔진 결과는 Holarch의 테스트가 실행한 모델에서 발견한 내용을 보고합니다. Object Management Group은 이를 검토하거나 보증하지 않았습니다.
- 테스트 방법에 대한 독립적인 검토가 계획되어 있습니다.
- 테스트는 결함 가능성을 낮출 뿐 배제하지는 않습니다. 앱의 피드백 보내기 또는 [email protected]로 문제를 보고하십시오.