테스트된 한도
Holarch가 처리하는 프로젝트 크기
Holarch를 테스트한 가장 큰 프로젝트, 그에 필요한 브라우저 메모리와 열기 시간, 각 요금제의 항목 한도의 근거가 된 호스팅 서비스 부하 테스트.
성능
두 모델링 언어로 생성한 프로젝트로 측정했으며, 브라우저 수치는 Mac의 Safari에서 측정했습니다. 각 표에는 측정에 사용한 Holarch 버전이 표시되어 있습니다.
- 데스크톱 앱(컴퓨터에 설치한 Holarch): 프로젝트당 LML 항목 700,000개, SysML v2 항목 400,000개까지 테스트됨(항목 250,000개 이상).
- 호스팅 서비스(app.holarch.app): 프로젝트당 최대 항목 50,000개. 대규모 프로그램은 프로젝트 간 연결, 프로그램 맵, 라이브러리로 프로젝트를 연결합니다(요금제 한도).
- 자체 호스팅 Holarch 서버(Enterprise): LML과 SysML v2에서 프로젝트당 항목 400,000개까지 테스트됨. 프로젝트의 추가 서버 메모리는 LML 항목 약 330,000개까지, SysML v2 항목은 400,000개를 넘어서도 1 GB 미만입니다(항목 250,000개 이상의 자체 호스팅 서버).
호스팅 서비스: 서버 메모리
프로젝트가 열려 있는 동안 필요한 서버 메모리로, 프로젝트 없이 서버가 사용하는 양을 초과하는 부분을 항목 10,000개당으로 나타냅니다. 호스팅 서비스의 한도인 프로젝트당 항목 50,000개까지 테스트했습니다.
| 언어 | 항목 10,000개당 | 테스트한 최대 프로젝트 |
|---|---|---|
| LML | 약 17 MB | 항목 50,000개 |
| SysML v2 | 4–8 MB | 항목 50,000개 |
- 수치는 열린 프로젝트의 추가 메모리이며, 서버 전체의 메모리가 아닙니다. 기본값은 새로 시작한 서버에 한 번 로그인한 상태로, 약 130 MB입니다.
- 프로젝트 탭이 브라우저에서 필요로 하는 메모리는 아래에 있습니다(브라우저 메모리).
브라우저 메모리
Holarch 페이지는 프로젝트가 열려 있지 않을 때 약 100 MB를 사용합니다. 이것이 기본값입니다. 아래 수치는 프로젝트가 열리는 동안 최고 시점에 브라우저 탭이 기본값 외에 프로젝트 항목 10,000개당 필요로 하는 메모리입니다.
| 언어 | 호스팅 서비스 | 컴퓨터에 설치 |
|---|---|---|
| LML | 40–60 MB | 50–70 MB |
| SysML v2 | 100–155 MB | 70–80 MB |
- 수치는 프로젝트 크기에 따라 다릅니다. 높은 수치를 기준으로 계획하십시오.
- 편집은 메모리를 거의 추가하지 않습니다: 100번 편집한 후에도 LML 프로젝트의 탭은 편집 전보다 메모리를 더 사용하지 않았습니다. 편집을 저장하는 동안에는 잠시 최대 약 0.6 GB가 더 필요할 수 있습니다.
- 프로젝트 크기별로 계획할 메모리: 시스템 요구사항.
열기 시간
클릭부터 페이지를 사용할 수 있을 때까지의 시간입니다. SysML v2 프로젝트는 그 후 작업하는 동안 백그라운드에서 첫 모델 검사를 실행하며, 두 번째 수치는 그 검사가 끝날 때까지의 시간입니다.
| 항목 | LML, 호스팅 | LML, 설치 | SysML v2, 호스팅 | SysML v2, 설치 |
|---|---|---|---|---|
| 50,000 | 약 1초 | 약 1초 | 약 2초, 검사 4초 | 측정 안 함 |
| 100,000 | — | 약 1초 | — | 약 2초, 검사 5초 |
| 150,000 | — | 측정 안 함 | — | 측정 안 함 |
| 200,000 | — | 약 2초 | — | 측정 안 함 |
| 250,000 | — | 측정 안 함 | — | 약 6초, 검사 14초 |
- 호스팅 시간은 테스트 서버에 대해 측정했습니다. 네트워크 연결이 느리면 프로젝트를 다운로드하는 시간이 추가됩니다.
- — : 호스팅 서비스의 프로젝트당 항목 50,000개 한도 초과.
- 호스팅 서비스의 편집 확인과 많은 사람의 동시 작업: 부하 테스트 결과를 참조하십시오.
- SysML v2 언어 엔진 자체의 속도와 메모리: Language Engine 테스트 결과를 참조하십시오.
항목 250,000개 이상, 컴퓨터에 설치
Holarch 2.30.0은 Safari에서 생성된 LML 항목 400,000개 및 700,000개 프로젝트와 항목 400,000개의 SysML v2 모델을 열고, 편집 한 번을 하고, 저장하고, 프로젝트를 닫았습니다. 실패한 것은 없었습니다.
| 프로젝트 | 열기 | 백그라운드 작업 완료 | 열기 중 항목 10,000개당 브라우저 메모리 |
|---|---|---|---|
| LML, 항목 400,000개 | 약 4초 | 16초 | 약 105 MB |
| LML, 항목 700,000개 | 약 6초 | 21초 | 약 130 MB |
| SysML v2, 항목 400,000개 | 약 3초 | 19초 | 약 85 MB |
- 이 크기에서는 컴퓨터의 메모리가 한계를 정합니다.
- 이만큼 큰 LML 프로젝트가 열리는 동안과 첫 편집이 저장되는 동안 페이지가 몇 초간 응답하지 않을 수 있습니다.
항목 250,000개 이상의 자체 호스팅 서버
Holarch 2.30.0을 실행하는 Holarch 서버를 항목당 관계 3개가 있는 LML 항목 250,000개 및 400,000개의 생성된 프로젝트와 항목 400,000개의 SysML v2 모델로 테스트했습니다. 각 프로젝트는 다음 작업 부하를 거쳤습니다:
- 프로젝트 전체를 서버에 저장하고, 열고, 다시 엽니다.
- 소유자가 10개 페이지에서 동시에 60초 동안 편집하며, 각 페이지는 초당 한 번 편집하고 15초마다 프로젝트를 다시 엽니다.
- 변경 기록 압축.
- 프로젝트 삭제.
모든 단계가 통과했습니다: 서버 오류도, 거부된 편집도 없었습니다.
| 프로젝트 | 항목 10,000개당, 최고 단계 | 1 GB 미만 | 편집 확인 p95 |
|---|---|---|---|
| LML, 항목 250,000개 | 약 31 MB | 예 | 30 ms |
| LML, 항목 400,000개 | 약 30 MB | 아니요, 항목 약 330,000개부터 | 60 ms |
| SysML v2, 항목 400,000개 | 약 21 MB | 예 | 34 ms |
- 이 수치는 프로젝트 없이 서버가 사용하는 양을 초과하여 프로젝트가 필요로 하는 추가 서버 메모리입니다. 서버 전체의 메모리가 아닙니다.
- 프로젝트 전체 저장은 기본적으로 프로젝트 데이터 192 MB(LML 항목 약 340,000개 또는 SysML v2 항목 430,000개)로 제한됩니다. 자체 호스팅 서버는 이 한도를 올릴 수 있으며, 항목 400,000개 실행에서는 한도를 올렸습니다.
- 이는 이 작업 부하에서 테스트된 크기일 뿐 모든 모델에 대한 보증이 아닙니다. 긴 텍스트와 많은 다이어그램은 이 테스트에 포함되지 않았습니다.
1.1.6 → 2.15.1
Holarch 1.1.6은 이 대규모 프로젝트 테스트로 측정한 첫 버전입니다. 같은 테스트를 같은 생성된 LML 프로젝트로, 같은 컴퓨터에서, 같은 서버 한도로 1.1.6과 2.15.1에서 변경 없이 실행했습니다.
| 측정 항목 | Holarch 1.1.6 | Holarch 2.15.1 |
|---|---|---|
| 항목 10,000개당 메모리: 생성, 열기, 편집 200회, 버전 하나 | 220–250 MB | 항목 20,000개 이상에서 40–55 MB(5,000–10,000개에서는 80–110 MB) |
| 같은 작업에 소유자가 편집하는 동안 버전 기록 | 항목 25,000개에서 메모리 부족 | 45–67 MB |
| 기본값: 한 번 로그인한 후의 서버 | 약 125 MB | 약 130 MB |
| 항목 25,000개 프로젝트의 버전 기록 | 7.5초 | 0.4초 |
| 테스트한 최대 프로젝트 | 항목 25,000개 | 항목 115,000개, 한 번의 64 MB 저장에 담기는 최대치 |
| 단계 | 항목 | Holarch 1.1.6 | Holarch 2.15.1 |
|---|---|---|---|
| 홈 | 25,000 / 50,000 | 36초 / 149초 | 0.7초 / 1.6초 |
| 모델 검사 페이지 | 25,000 / 50,000 | 66초 / 297초 | 0.4초 / 0.7초 |
| 추적성 매트릭스(요구사항 × 테스트 케이스) | 10,000 | 47초 | 0.2초 |
| 요구사항 검증 추적성 매트릭스 | 10,000 | 31초 | 0.1초 |
| 요구사항 2,000개 문서 열기 | 5,000 / 10,000 / 25,000 | 0.6초 / 0.6초 / 0.8초 | 0.5초 / 0.5초 / 0.5초* |
| 편집 한 번 후 저장 | 5,000 / 10,000 / 25,000 / 50,000 | 0.2초 / 0.5초 / 30초 / 152초 | 0.15초 / 0.3초 / 0.8초 / 1.6초* |
| 요구사항 2,000개의 품질 검사 | 10,000 | 30초 | 3.2초 |
| 모든 단계를 거친 최대 프로젝트 | — | 항목 50,000개, 페이지가 한 번에 2분 넘게 응답하지 않음 | 항목 100,000개, 홈 3.2초, 매트릭스 0.3초 |
- * 이 두 단계를 2.15.1보다 빠르게 만든 2.16.1에서 측정했습니다. 그 밖의 수치는 2.15.1에서 측정했습니다.
- 1.1.6에서는 추적성 매트릭스가 항목 25,000개에서 페이지를 2분 넘게 멈추게 했으므로 더 큰 크기에서는 측정하지 않았습니다. 2.15.1에서는 항목 100,000개까지 모든 크기에서 0.3초 안에 열립니다.
통과 기준
호스팅 서비스는 여러 사람이 하나의 프로젝트를 동시에 열고 편집하는 상태로 부하 테스트합니다. 이 시나리오에서 서비스가 모든 조건을 충족하면 해당 프로젝트 크기는 통과합니다:
- 서버가 방금 프로젝트의 변경 기록을 압축했습니다. 이 상태에서 프로젝트를 여는 비용이 가장 큽니다.
- 10명이 같은 순간에 프로젝트를 엽니다.
- 같은 10명이 이어서 60초 동안 각자 초당 한 번씩 편집합니다.
- 편집 확인: 편집의 95 %가 1.5초 안에 서버에서 확인됩니다(p95 ≤ 1.5 s).
- 실패 없음: 서버 오류가 없습니다.
테스트 설정
- 호스팅 서비스보다 느린 테스트 설정에서 운영 서버 소프트웨어를 사용하므로 결과는 보수적입니다.
- 호스팅 서비스의 리소스 한도와 설정.
- 데이터베이스와 파일 저장소는 네트워크가 아닌 같은 컴퓨터에서 실행했습니다. 실행마다 새 서버를 시작했습니다.
- 생성된 LML 프로젝트: 사양서 안의 요구사항 40 %, 기능 20 %, 컴포넌트 15 %, 테스트 케이스 15 %, 위험 5 %, 나머지는 입력과 출력이며, 항목당 관계 3개.
결과
| 항목 | 열기당 전송 데이터 | 열기 10회 소요 시간 | 편집 확인 p95 | 결과 |
|---|---|---|---|---|
| 50,000 | 27.2 MB | 3.7초 | 1.49초 | 통과 |
| 50,000(두 번째 실행) | 27.2 MB | 3.6초 | 1.08초 | 통과 |
- 어떤 실행에서도 서버 오류가 없었습니다.
- 일반적인 편집(p50)은 모든 실행에서 약 30 ms 안에 확인되었습니다. 느린 편집은 동시 열기의 큰 응답 뒤에서 대기합니다.
요금제 한도
| 요금제 | 프로젝트당 항목 |
|---|---|
| Free / Academic | 1,000(활성 수업 조직에서는 2,000) |
| Individual | 5,000 |
| Team | 50,000 |
- 호스팅 서비스(app.holarch.app)는 모든 요금제에서 프로젝트당 최대 항목 50,000개를 담으며, 대규모 프로그램은 프로젝트를 연결합니다. 데스크톱 앱(컴퓨터에 설치한 Holarch)은 프로젝트당 LML 항목 700,000개, SysML v2 항목 400,000개까지 테스트되었습니다.
- 프로젝트 파일 가져오기 같은 프로젝트 전체 저장은 프로젝트 데이터 최대 192 MB입니다. 긴 텍스트가 있는 프로젝트는 항목 한도보다 먼저 이 크기에 도달할 수 있습니다.
- 항목으로 계산되는 것: 요금제를 참조하십시오.
- 각 크기의 프로젝트가 브라우저에서 필요로 하는 컴퓨터 메모리: 시스템 요구사항을 참조하십시오.
왕복 변환: 각 교환 형식이 유지하는 것
각 모델을 해당하는 모든 형식으로 내보내고, 기본 옵션으로 새 프로젝트에 다시 가져왔습니다. 그런 다음 원본의 모든 요소를 유지됨, 변형됨, 제외됨으로 집계했습니다. Holarch 2.21.0에서 측정했으며, 호스팅 서비스와 컴퓨터에 설치한 경우가 같습니다.
- 유지됨: 변경 없이 다시 발견됨. 항목은 클래스, 이름, 번호, 설명, 레이블을 유지하고, 관계는 타입, 양 끝, 속성을 유지하며, 속성 값, 저장된 뷰, 서식 있는 설명은 이전과 같습니다.
- 변형됨: 차이가 있는 채로 다시 발견됨. 예: Requirement로 돌아온 Statement, 빠진 번호나 레이블, 기본값으로 돌아온 관계 속성.
- 제외됨: 형식에 들어갈 자리가 없거나 한쪽 끝이 제외되어 새 프로젝트에 없음.
| 형식 | 항목 | 관계 | 속성 값 | 저장된 뷰 | 문서 | 서식 있는 설명 |
|---|---|---|---|---|---|---|
| Holarch 프로젝트 파일(.json) | 407 / 0 / 0 | 915 / 0 / 0 | 979 / 0 / 0 | 83 / 0 / 0 | 3 / 0 / 0 | 5 / 0 / 0 |
| Holarch 백업 및 프로젝트 패키지(.holarch)* | 424 / 0 / 0 | 949 / 0 / 0 | 1,104 / 0 / 0 | 84 / 0 / 0 | 3 / 0 / 0 | 5 / 0 / 0 |
| UML/SysML XMI, Holarch 데이터 포함 | 317 / 0 / 90 | 631 / 0 / 284 | 672 / 0 / 307 | 0 / 3 / 80 | 0 / 0 / 3 | 5 / 0 / 0 |
| UML/SysML XMI, 일반 SysML | 83 / 234 / 90 | 548 / 95 / 272 | 138 / 38 / 803 | 0 / 3 / 80 | 0 / 0 / 3 | 0 / 5 / 0 |
| Papyrus(.uml) | 317 / 0 / 90 | 631 / 0 / 284 | 672 / 0 / 307 | 0 / 3 / 80 | 0 / 0 / 3 | 5 / 0 / 0 |
| ReqIF | 407 / 0 / 0 | 879 / 21 / 15 | 979 / 0 / 0 | 0 / 0 / 83 | 3 / 0 / 0 | 5 / 0 / 0 |
| CSV, 모든 속성, 레이블, 관계 | 393 / 14 / 0 | 810 / 96 / 9 | 979 / 0 / 0 | 0 / 0 / 83 | 3 / 0 / 0 | 5 / 0 / 0 |
| SysML v2 사본, 그다음 LML 사본 | 348 / 41 / 18 | 703 / 56 / 156 | 857 / 33 / 89 | 26 / 7 / 50 | 3 / 0 / 0 | 0 / 5 / 0 |
* 현재 CubeSat EO-1 데모(항목 424개, 관계 949개, 속성 값 1,104개, 저장된 뷰 84개, 문서 3개, 서식 있는 설명 5개)로 Holarch 2.33.0에서 측정했으며, 변형되거나 제외된 것은 없었습니다.
- 프로젝트 파일과 프로젝트 패키지: 홈, 차트, 프로그램 대시보드, 프로젝트 설정을 포함한 프로젝트 전체.
- Holarch 데이터를 포함한 XMI와 Papyrus: SysML에 대응 요소가 있는 모든 항목이 LML 클래스, 번호, 레이블, 속성과 함께 변경 없이 돌아옵니다. 제외된 항목 90개는 작업, 문서, 위험, 이슈, 일정 항목, 위해 요인 등 SysML에 대응 요소가 없는 항목이며, 제외된 관계는 대부분 이 항목들에 연결된 것입니다. Trigger와 Amount 같은 관계 속성도 돌아옵니다. Action 다이어그램 흐름 이외의 다이어그램은 XMI에 포함되지 않습니다.
- Holarch 데이터 없는 XMI: 일반 SysML 1.6. Statement는 Requirement로 돌아오며, LML 번호, 레이블, LML 속성은 파일에 없습니다.
- ReqIF: 모든 항목, 속성 값, 레이블, 문서 구조가 돌아오며, 관계는 속성을 유지합니다. ReqIF는 분해 구조를 문서 구조로 담으므로 분해의 다중성은 기록되지 않습니다. 데모 자체의 스키마 추가 사항(예: Requirement를 충족하는 Equation)은 표준 스키마를 가진 새 프로젝트에서 건너뜁니다.
- CSV: 모든 항목과 속성 값이 돌아옵니다. 표에는 관계 속성을 넣을 자리가 없으므로 관계 속성은 기본값으로 돌아오며, 새 프로젝트에 없는 레이블은 제외됩니다.
- SysML v2 사본과 반대 방향: 교환 형식이 아니라 보고서가 있는 변환입니다. Measure와 Asset 번호, 일부 추적은 돌아오지 않습니다.
| 형식 | Hybrid Car, 요소 708개 | Hybrid Car, Holarch 데이터 | Battery Pack, 요소 62개 |
|---|---|---|---|
| Holarch 프로젝트 파일(.json) | 708 / 0 / 0 | 모두 유지됨 | 62 / 0 / 0 |
| SysML v2 텍스트(.sysml) | 708 / 0 / 0 | 파일에 없음 | 62 / 0 / 0 |
| SysML v2 JSON | 708 / 0 / 0, 요소 ID 유지 | 파일에 없음 | 62 / 0 / 0, 요소 ID 유지 |
| LML 사본, 그다음 SysML v2 사본 | 22 / 184 / 502 | 항목 27개 중 21개 유지 | 6 / 21 / 35 |
- SysML v2 텍스트와 JSON: 모든 모델 요소가 변경 없이 돌아옵니다. 요구사항 상태, 검증 결과, 위험, 문서 및 기타 Holarch 데이터는 프로젝트 파일로만 옮겨집니다.
- LML 사본과 반대 방향: 모델이 LML 사본에서 다시 만들어지므로 후속 관계, 임포트, 메타데이터, 대부분의 타입 지정은 돌아오지 않습니다.
테스트를 반복하려면: 새 데모 프로젝트에서 데모를 만들고, 형식 중 하나로 내보내고, 기본 옵션으로 새 프로젝트에 파일을 가져온 다음, 데이터베이스에서 두 프로젝트를 비교합니다.
측정하지 않은 것
- SysML v2 프로젝트, 다이어그램이 많은 프로젝트, 긴 서식 있는 텍스트 설명.
- 여러 대형 프로젝트를 동시에 사용하는 경우.
자신의 모델 크기에 대한 질문: 문의하십시오.