바로 가기: 이번 실행 · 요약 · 세션 메모리 · 증거가 뒷받침하는 것 · 예제 모델 · 진단 검증 · 이름 바인딩 · 손상된 텍스트 · 속도와 메모리 · 아직 지원되지 않음 · 결과 재현 · 이전 실행 · 이 결과가 보여 주지 않는 것
이번 실행
- 엔진: Holarch Language Engine 2.1(버전 2.1.1, 빌드 37168cc). Holarch는 버전 2.1.2를 탑재하며, 이 버전은 호스트의 진행률 막대를 위한 진행 보고를 추가하고, 이전 버전을 멈추게 했던 매우 긴 임포트 또는 특수화 체인을 검사합니다. 이번 실행의 예제 모델, 생성 모델, 테스트 코퍼스에서 2.1.2는 2.1.1과 같은 응답을 내므로, 2.1.1에서 측정한 이 페이지의 수치는 다시 측정하지 않았습니다. 공식 실행 외의 측정에서 큰 생성 모델의 콜드 분석은 약 3% 더 오래 걸렸습니다. 엔진 2.1은 가변성, 사용자 정의 키워드, 전이 트리거와 효과, 시뮬레이션(별도로 라이선스되는 애드온으로, 여기서는 측정하지 않음), 그리고 편집 세션 동안의 더 낮은 메모리를 추가합니다.
- 방법: 문서화된 승인 계획의 버전 10. 기준은 첫 결과를 측정하기 전에 정했습니다. 이후 방법의 각 변경은 그 이유와 함께 기록되며, 이전 결과는 측정 당시의 방법을 유지합니다. 버전 8~10은 가변성, 사용자 정의 키워드, 전이 트리거와 효과가 각각 출시됨에 따라 이를 지원되지 않는 구문 목록에서 제외합니다. 기준과 게이트는 바뀌지 않았습니다.
- 예제 모델: OMG SysML v2 릴리스 저장소 release 2026-08(커밋 fb97b754)의 training, examples, validation 세트: 파일 252개, 14,957줄. 모델은 실행마다 OMG 저장소에서 가져오며 Holarch에 복사되지 않습니다.
- 기준 구현: OMG 파일럿 구현 버전 0.62.0, 블랙박스로 실행.
- 큰 모델: 깊은 임포트, 패키지 간 참조, 긴 특수화 체인이 있는 10,000~250,000줄의 생성 모델.
이 페이지의 모든 수치는 아래에 명시된 공식 실행에서 나옵니다. 공개된 실행은 절대 편집하지 않습니다. 수정은 대체하는 실행을 명시한 새 실행으로 이루어집니다.
내부 검토는 이 페이지의 모든 분류와 검토를 표시합니다. 불일치의 분류, 등록부, 모든 엔진 오류의 검토, 바인딩 범주입니다. 이는 Holarch가 사양 텍스트를 기준으로 수행했습니다. 아직 외부 검토는 없으며, 외부 검토가 있을 때까지 이 레이블이 유지됩니다.
| Holarch 릴리스 | 엔진 버전 | 엔진 빌드 | 방법 | 공식 실행 |
|---|---|---|---|---|
| 2.21.0(엔진 2.1.2 탑재) | 2.1.1 | 37168cc | 10 | 2.1.1-37168cc79-1(모든 측정, 세션 메모리 특성화 포함, 이 페이지의 수치) |
| 2.17.1 | 2.0.1 | d8cf5c8 | 7 | 2.0.1-d8cf5c835-1(속도와 메모리, 세션 메모리) |
| 2.15.1 | 2.0.0 | dd4fb10; 91f058a는 2.0.0을 보고 | 6 | 1.0.0-dd4fb10f5-1(모든 측정), 2.0.0-91f058a75-1(2.0.0을 보고하는 빌드에서의 모든 측정, 세션 메모리 특성화 포함) |
| 2.15.0 | 1.0.0 | e6bb924 | 5 | 1.0.0-e6bb92459-1(속도와 메모리, 테스트 커버리지) |
| 2.14.0 | 1.0.0 | 0c983e2 | 6 | 1.0.0-0c983e2e8-1(비교용 속도와 메모리) |
| 2.13.1 | 1.0.0 | d3f5d4b | 5 | 1.0.0-d3f5d4b5d-2(예제 모델), 1.0.0-d3f5d4b5d-1(기타 측정) |
| 2.12.0 | 1.0.0 | 8a6bf7b | 5 | 1.0.0-8a6bf7b76-2(예제 모델), 1.0.0-8a6bf7b76-1(기타 측정) |
| 2.11.0 | 1.0.0 | c184e57 | 3, 4 기준으로 해석 | 1.0.0-c184e57e6-1 |
요약
생성된 10,000줄 모델에서 엔진 2.1.1은 전체 모델을 150 ms에 분석하고, 편집 후 1.3~6.8 ms(95번째 백분위수)에 다시 검사합니다. 표준 라이브러리를 로드한 엔진 기본 메모리는 17 MiB이며, 전체 모델 분석은 10,000줄당 약 29 MiB, 전체 편집 세션은 10,000줄당 약 33 MiB를 추가합니다. 이전 엔진이 충족하지 못했던 100,000줄과 250,000줄에서의 전체 편집 세션 동안의 엔진 메모리를 포함하여 모든 기준을 충족합니다. 최대 250,000줄의 생성 모델로 테스트했습니다: 모든 크기에서의 속도와 메모리.
메모리는 엔진 기본 메모리, 즉 표준 라이브러리를 로드하고 모델이 비어 있는 엔진의 메모리를 넘는 부분을 10,000줄당으로 나타냅니다. 기준은 합계에 적용됩니다.
| 측정 항목 | 기준 | 엔진 2.1.1 | 충족 |
|---|---|---|---|
| 예제 모델: 충돌 및 시간 초과 | 허용 안 됨 | 없음 | 예 |
| 예제 모델: 수용 일치, 분류됨 | 평가 범위 내 파일의 98% 이상 | 252개 중 252개 내부 검토 | 예 |
| 예제 모델: 잘못된 수용 | 허용 안 됨 | 없음 | 예 |
| 예제 모델: 모든 엔진 오류를 하나씩 검토 | 모두 검토 | 44개 중 44개 내부 검토 | 예 |
| 이름 바인딩 | 쌍을 이룬 바인딩의 99.5% 이상 일치 | 4,908개 중 4,904개 | 예 |
| 손상된 텍스트 | 아래의 7개 기준 | 7개 모두 충족 | 예 |
| 편집, 모든 크기 | 값 변경은 12 ms 이내, 기타 편집은 60 ms 이내(250,000줄에서는 25 ms와 150 ms) | 모두 이내 | 예 |
| 콜드 분석, 100,000줄 | 보고만 함, 방법 버전 4 이후 목표 아님(이전 목표: 0.6초 이내) | 1.43초 | 이전 목표 미충족 |
| 콜드 분석, 250,000줄 | 보고만 함, 방법 버전 4 이후 목표 아님(이전 목표: 1.2초 이내) | 3.73초 | 이전 목표 미충족 |
| 긴 분석 중 진행률 표시 | 3초를 넘을 수 있는 모든 분석에 진행률 막대 표시(방법 버전 4) | 엔진 단계와 함께 표시됨. Holarch 진행률 테스트로 확인 | 예 |
| 엔진 메모리, 콜드 분석, 100,000줄 | 512 MiB 이내 | 기본 메모리 대비 10,000줄당 28 MiB | 예 |
| 엔진 메모리, 콜드 분석, 250,000줄 | 1 GiB 이내 | 기본 메모리 대비 10,000줄당 28 MiB | 예 |
| 엔진 메모리, 전체 편집 세션, 100,000줄 | 512 MiB 이내(방법 버전 6) | 기본 메모리 대비 10,000줄당 33 MiB | 예 |
| 엔진 메모리, 전체 편집 세션, 250,000줄 | 1 GiB 이내(방법 버전 6) | 기본 메모리 대비 10,000줄당 33 MiB | 예 |
| 모델 크기에 따른 증가 | 250,000줄의 콜드 분석이 10,000줄의 최대 40배 | 24.9배 | 예 |
| 같은 요청, 같은 응답 | 새 프로세스 두 개에서 모든 응답이 동일 | 1,211개 중 1,211개 | 예 |
세션 메모리: 기준 충족
충족: 100,000줄과 250,000줄에서 전체 편집 세션 동안의 엔진 메모리. 2.0.1까지의 엔진은 250,000줄에서 이를 충족하지 못했습니다(2.0.0은 100,000줄에서도 충족하지 못함). 엔진 2.1.1은 전체 세션에 걸쳐 기본 메모리 대비 10,000줄당 약 33 MiB가 필요하며, 100,000줄에서 512 MiB 이내, 250,000줄에서 1 GiB 이내입니다.
- 바뀐 점. 프린터와 텍스트 차이 계산기가 더 이상 문서의 전체 메모리 내 사본을 만들지 않으며(엔진 2.0.1), 엔진의 이름 테이블, 분석 캐시, 구문 트리, 소스 위치가 공간을 덜 차지합니다(엔진 2.1.1).
- 이전에 가장 컸던 단계인 전체 모델 출력은 이제 네이티브에서 기본 메모리 대비 10,000줄당 약 40 MiB가 필요하며, 이는 열린 세션 옆에서 모델을 처음부터 다시 분석하는 것(10,000줄당 약 54 MiB)보다 적습니다: 긴 세션 동안의 메모리.
- 브라우저에서는 엔진의 메모리가 줄어들지 않으므로, 워커는 종료될 때까지 가장 컸던 순간의 크기를 유지합니다. Holarch는 사용하는 것보다 훨씬 많은 메모리를 보유한 유휴 엔진 워커를 종료하고 다시 시작합니다.
증거가 뒷받침하는 것
이 결과가 뒷받침하는 용도와 증거가 멈추는 지점. “확립되지 않음”은 이 페이지에 어느 쪽으로도 증거가 없다는 뜻입니다.
| 용도 | 근거 | 확립됨 | 확립되지 않음 |
|---|---|---|---|
| 편집기 지원(입력하는 동안 분석) | 편집 시간, 손상된 텍스트, 예제 모델, 세션 메모리 | 네이티브와 Safari에서 250,000줄까지 기준 이내의 편집 후 재분석. 7개 기준 모두에서 손상된 텍스트 처리. 긴 편집 동안 메모리가 평탄해짐. 250,000줄까지 기준 이내의 전체 편집 세션 동안의 메모리 | 측정 컴퓨터보다 느린 컴퓨터에서의 시간(4배 여유를 가정했으며 측정하지 않음). Safari 이외의 브라우저 |
| 일괄 및 CI 검사(전체 모델) | 예제 모델, 진단 검증, 콜드 분석, 같은 요청 같은 응답 | 충돌이나 시간 초과 없음. 분류 후 예제 파일 252개 중 252개 일치 내부 검토. 모든 엔진 오류 검토됨. 새 프로세스에서 동일한 응답. 콜드 분석이 모델 크기에 비례하여 증가 | 사람이나 다른 도구가 작성한 큰 모델(생성 모델과 OMG 예제만 측정함). CI 통합 |
| 모델 변환(모델을 텍스트로 출력, 텍스트를 모델에 다시 기록) | 전체 편집 세션, 세션 메모리 | 각 단계가 모든 모델 크기에서 응답함. 네이티브에서 250,000줄까지 전체 모델 출력의 메모리가 기준 이내 | 출력과 다시 기록이 같은 모델을 만드는지(이 측정에 포함되지 않음). SysML v1에서의 변환 |
| 브라우저(WebAssembly) | Safari 시간, Safari에서의 세션 메모리 | Safari에서 250,000줄까지의 시작, 콜드 분석, 편집 | Chrome, Firefox, Edge. 모바일 브라우저. 이 엔진의 Safari 세션 메모리(2.0.1에 대해서는 250,000줄까지 측정함) |
| 네이티브 및 서버 | 이 페이지의 모든 측정(기준은 네이티브 기준) | Apple silicon Mac에서 | 다른 운영 체제와 프로세서. 한 프로세스에서 동시에 여러 모델. 여러 프로젝트에 걸친 장시간 서버 세션 |
| 고신뢰 용도(안전 또는 임무에 중요한 결정, 인증 증거) | 그 자체로는 없음 | 위 용도 이상은 없음 | 외부 검토. 모든 종류의 인증 또는 자격 인정. 사양의 검증 규칙에 대한 완전한 커버리지. 액션과 상태 머신의 실행(시뮬레이션 애드온은 여기서 측정하지 않음) |
예제 모델
예제는 서로의 패키지를 임포트하므로, 각 예제 모델 세트는 하나의 프로젝트로 함께 분석합니다. 파일럿 구현은 같은 파일을 하나의 세션에서 받습니다. 각 파일에 대해 두 응답을 비교합니다. 파일에 오류가 있는지 없는지, 그리고 각 이름이 어떤 요소에 바인딩되는지입니다.
수용 일치
| 계산 | 계산 대상 | 엔진 2.1.1 |
|---|---|---|
| 원시 | 모든 파일. 분류 없이, 파일에 오류가 있는지에 대한 일치 | 252개 중 242개 |
| 평가 범위 | 불일치가 지원되지 않는 구문 목록의 구문에서 비롯된 파일을 제외하고 남은 파일 | 252개 중 252개(제외된 것 없음) |
| 분류됨 | 평가 범위 내 일치. 사양이 엔진이 옳다고 보여 주는 경우에만 불일치를 일치로 계산 | 252개 중 252개 내부 검토 |
- 충족: 모든 파일이 파일럿과 일치하며, 그중 10개는 아래 등록부를 통해 일치합니다. 이제 가변성, 사용자 정의 키워드, 전이 트리거와 효과가 지원되므로 평가 범위를 벗어나는 파일이 없습니다(엔진 2.0.0에서는 11개 파일이 벗어남). 엔진 2.0.0보다 10개 더 많은 파일이 오류 없이 수용되며, 2.0.0이 수용했던 파일 중 지금 오류가 있는 파일은 없습니다.
- 잘못된 수용: 0. 파일럿이 거부하는 파일을 엔진이 수용하는 경우는 없습니다.
- 충돌 및 시간 초과: 없음.
분류 규칙 내부 검토. 파일럿과의 각 불일치는 하나씩 조사되며, 실행 중이 아니라 실행 전에 다음 분류 중 하나로 기록됩니다.
- 예제 오류: 엔진이 옳고 예제가 유효하지 않으며, 이를 보여 주는 사양 조항이 있습니다. 예: 길이와 질량을 더하는 산술. 일치로 계산합니다.
- 파일럿 오류: 엔진이 옳고 파일럿의 응답이 인용된 사양 조항과 모순됩니다. 일치로 계산합니다.
- 지원되지 않는 구문: 불일치가 엔진의 공개된 지원되지 않는 구문 목록(아래)에 있는 구문에서 비롯됩니다. 해당 파일은 평가 범위를 벗어납니다. 그 구문이 출시되면 목록에서 빠지고 파일을 다시 측정합니다.
- 엔진 결함: 엔진의 알려진 버그. 절대 일치로 계산하지 않습니다.
사양이 판정하는 불일치 등록부 내부 검토
사양이 엔진이 옳다고 보여 주므로 10개의 불일치가 일치로 계산됩니다. 각각이 여기에 나열되어 있습니다. 검토 상태: 내부는 Holarch가 사양을 기준으로 검토했다는 뜻이며, 이 사례와 다른 사례에 대한 외부 검토가 계획되어 있습니다.
| ID | 파일 | 분류 | 조항 | 증거 | 검토 |
|---|---|---|---|---|---|
| R1 | Calculation Definitions (training) | 예제 오류 | SysML 9.8.2 | 전력 항과 속도 차원 항이 하나의 합에서 결합됨 | 내부 |
| R2 | Calculation Usages-2 (training) | 예제 오류 | SysML 9.8.2 | 차원이 다른 양이 하나의 식에서 결합됨 | 내부 |
| R3 | Dynamics (examples) | 예제 오류 | SysML 9.8.2 | 차원이 다른 양이 하나의 식에서 결합됨 | 내부 |
| R4 | Turbojet Stage Analysis (examples) | 예제 오류 | SysML 9.8.2 | 차원이 다른 양이 하나의 식에서 결합됨 | 내부 |
| R5 | SimpleQuadcopter (examples) | 예제 오류 | SysML 9.8.2 | 길이가 무차원 값에 바인딩됨 | 내부 |
| R6 | VehicleGeometryAndCoordinateFrames (examples) | 예제 오류 | SysML 9.8.2 | 일반 숫자가 길이에 더해짐 | 내부 |
| R7 | 15_12 Compound Value Type (validation) | 예제 오류 | SysML 9.8.2 | 차원이 다른 양이 하나의 식에서 결합됨 | 내부 |
| R8 | AnalysisIndividualExample (examples) | 예제 오류 | SysML 9.8.2 | 속도가 연비 피처에 바인딩됨 | 내부 |
| R9 | 13a Model Containment (validation) | 파일럿 오류 | KerML 8.2.3.5.3 | 서로 다른 두 임포트 요소가 하나의 네임스페이스에서 이름을 공유함. 이름은 최대 하나의 멤버십으로 해석되는데, 파일럿은 하나를 골라 버림 | 내부 |
| R10 | SysML v2 Spec Annex A SimpleVehicleModel (examples) | 파일럿 오류 | KerML 8.2.3.5.3 | 여러 임포트가 같은 이름의 요소를 들여옴(R9와 같음). 이를 사용하는 재정의와 커넥터 끝점이 그 결과로 오류가 됨. 모델은 또한 속도를 길이에 바인딩하는데, 이는 예제 오류임 | 내부 |
진단 검증 내부 검토
수용 일치는 두 도구가 모두 파일을 거부하는지만 알려 줍니다. 엔진이 파일을 거부하는 이유를 확인하기 위해, 지원되지 않는 구문이 있는 줄을 제외하고 예제 모델에서 엔진이 보고하는 모든 오류를 하나씩 검토했습니다. 코드, 위치, 적용하는 규칙, 사양 조항, 그것이 문제의 첫 오류(주 오류)인지 다른 오류의 결과(연쇄 오류)인지, 그리고 처리 결정입니다.
| 처리 결정 | 의미 | 엔진 2.1.1 |
|---|---|---|
| 확인됨 | 사양이 오류를 뒷받침함 | 42 |
| 엔진 결함 | 잘못된 오류 | 0 |
| 이견 있음 | 사양이 사례를 판정하지 않음 | 2 |
| 알려진 공백 | 오류가 지원되지 않는 목록의 구문에서 비롯됨 | 0 |
| 합계 | 10개 파일에서 오류 44개(주 오류 22개, 연쇄 오류 22개) |
- 엔진 결함 없음. 엔진이 지원하지 않는 구문에 해당하는 오류가 없습니다. 가변성, 사용자 정의 키워드, 전이 효과에서 비롯된 엔진 2.0.0의 오류 40개는 사라졌습니다.
- 어디서나 같은 코드. 여러 임포트 요소로 해석되는 이름은 참조에서뿐 아니라 식에서도 모호한 것으로 보고됩니다. 이전 빌드는 식에서 이를 해석되지 않은 것으로 보고했습니다.
- 하나의 해석. 임포트가 같은 이름의 요소 두 개를 들여오고 그중 하나가 다른 하나를 특수화하는 경우, 사양의 설명과 형식 규칙이 다릅니다. 엔진은 형식 규칙을 따라 이름을 모호한 것으로 보고합니다. 파일럿은 그러한 이름을 진단 없이 수용합니다.
- 이견 있음: 이견이 있는 오류 2개는 양을 일반 실수로 유형이 지정된 피처에 바인딩합니다. 사양의 어떤 제약 조건도 이 바인딩을 무효로 만들지 않지만, 양 라이브러리의 의미에서는 성립할 수 없습니다.
이름 바인딩
모델의 각 이름에 대해 두 도구는 그것이 바인딩되는 요소를 보고합니다. 두 도구가 같은 이름에 대해 보고하는 바인딩을 쌍으로 묶어 비교합니다. 일치 수치는 쌍을 이룬 바인딩에 대해서만이며, 한 도구만 보고하는 바인딩에 대해서는 아무것도 말해 주지 않습니다. 그러한 바인딩은 아래에서 범주별로 분류합니다.
- 쌍을 이룬 바인딩 4,908개 중 4,904개가 일치합니다.
- 한 도구만 보고하는 바인딩: 엔진 1,639개, 파일럿 601개.
쌍을 이룬 불일치 4개 내부 검토
| 바인딩 | 위치 | 원인 | 분류 |
|---|---|---|---|
| 3 | PartTest (examples) | 파일럿이 대상에 붙이는 이름에 단축 이름이 포함됨. 같은 요소 | 다른 요소 식별 또는 정규화 |
| 1 | ActionTest (examples) | 페이로드가 없는 send 액션: 파일럿이 라이브러리의 페이로드 피처를 재정의하는 자체 페이로드 피처를 만듦. 재정의에 의해 같은 피처 | 다른 요소 식별 또는 정규화 |
전이의 accept와 effect에 관한 엔진 2.0.0의 불일치 3개는 사라졌습니다. 이제 엔진은 파일럿과 마찬가지로 전이 자체의 accepter와 effect를 바인딩합니다.
한 도구만 보고하는 바인딩 내부 검토
각 바인딩, 그 대상, 그리고 그것이 있는 줄을 살피는 규칙으로 분류했습니다.
| 범주 | 엔진만 | 파일럿만 |
|---|---|---|
| 다른 요소 식별 또는 정규화 | 1,243 | 370 |
| 추가 암묵적 바인딩(엔진은 바인딩하고 파일럿은 관계를 표시하지 않음) | 396 | – |
| 누락(파일럿은 바인딩하고 엔진은 바인딩하지 않음) | – | 231 |
| 지원되지 않는 구문 | 0 | 0 |
| 파일럿 불일치 | 0개 발견 | 0개 발견 |
| 합계 | 1,639 | 601 |
- 다른 요소 식별 또는 정규화는 대부분 엔진이 아니라 비교 방식의 문제입니다. 파일럿이 관계가 아니라 소유 피처로 표시하는 커넥터, 흐름, 후속 관계 끝점과 식 안의 이름, 비교가 파일럿 쪽에서 이름을 붙일 수 없는 다섯 라이브러리 패키지의 대상, 바인딩 비교에서 파일럿에 알파벳 순서로 입력된 파일(의존 순서로 입력하면 217개의 바인딩이 더 쌍을 이룸), 그리고 파일럿이 다르게 이름 붙이는 단축 이름, 켤레 포트, 이름 없는 소유자, 암묵적 피처입니다.
- 추가 암묵적 바인딩과 누락은 규칙으로 분류되지 않고 남은 것입니다. 표본을 보면 인터페이스 끝점을 거치는 체인, 정의 안의 켤레 포트, 메타데이터가 있습니다. 아직 하나씩 검토하지는 않았습니다.
- 비교 방식을 수정하면 측정이 바뀌므로 새 방법 버전이 필요합니다.
손상된 텍스트
모델은 한 번에 하나의 변형씩 의도적으로 손상됩니다. 제거되거나 추가된 중괄호, 잘린 선언, 깨진 임포트, 순환 참조, 잘못된 문자, 무작위 토큰 변경, 그리고 세미콜론 누락이나 키워드 오타 같은 흔한 입력 실수입니다. 입력은 엔진 자체의 테스트 모델, 생성 모델, 예제 모델입니다.
| 검사 | 기준 | 결과 | 충족 |
|---|---|---|---|
| 충돌 및 10초를 넘는 시간 초과 | 허용 안 됨 | 없음 | 예 |
| 손상된 입력 | 10,000개 이상 | 10,044 | 예 |
| 각 편집 후의 응답이 새로운 분석과 같음 | 전부 | 10,044개 중 10,044개 | 예 |
| 손상을 고치면 원래 응답으로 돌아감 | 전부 | 9,830개 중 9,830개 | 예 |
| 변형 하나가 새 구문 오류를 최대 3개 만듦 | 사례의 99% 이상 | 100.0 % | 예 |
| 첫 번째 구문 오류가 손상된 선언 안이나 바로 뒤를 가리킴 | 사례의 95% 이상 | 7,163개 중 99.7% | 예 |
| 손상 범위 밖의 선언이 여전히 같은 방식으로 검사됨 | 99% 이상 | 55,225개 중 99.5% | 예 |
속도와 메모리
기준은 엔진의 네이티브 빌드에 대한 것입니다. Holarch에서 엔진은 브라우저에서 더 느린 WebAssembly로 실행됩니다. 기준은 이 점과 더 느린 컴퓨터를 감안하여 편집과 분석에 8배의 여유를 둡니다. WebAssembly 빌드도 Safari에서 측정합니다(아래).
표준 라이브러리를 로드한 엔진 기본 메모리: 17 MiB. 아래 메모리 수치는 이 기본 메모리를 넘는 10,000줄당 수치입니다. 최고치에서 기본 메모리를 빼고 모델 크기를 10,000줄 단위로 나눈 값입니다. 기준은 합계에 적용됩니다.
편집
각 편집 유형은 Holarch 편집기가 보내는 방식대로, 하나의 편집 세션에서 워밍업 편집 20회 후 200회 적용됩니다. 표는 95번째 백분위수를 보여 줍니다. 100회 중 95회의 편집이 이 속도이거나 더 빨랐습니다.
| 모델 크기 | 값 변경 | 정의 이름 바꾸기 | 임포트 변경 | 상위 유형 변경 | 충족 |
|---|---|---|---|---|---|
| 10,038줄 | 1.3 | 6.8 | 2.1 | 2.2 | 예 |
| 50,013줄 | 3.9 | 19.4 | 4.9 | 4.7 | 예 |
| 100,033줄 | 7.7 | 34.6 | 8.6 | 8.5 | 예 |
| 250,011줄 | 22.7 | 90.8 | 24.0 | 24.9 | 예 |
기준: 값 변경은 12 ms 이내(250,000줄에서는 25 ms), 이름 바꾸기, 임포트 또는 상위 유형 변경은 60 ms 이내(250,000줄에서는 150 ms).
전체 모델 분석
콜드 분석: 표준 라이브러리를 로드한 새 프로세스가 아무것도 없는 상태에서 전체 모델을 분석하며, 5회 실행의 중앙값입니다. 엔진 메모리는 그 분석 중 엔진의 최고치이며, 기본 메모리를 넘는 10,000줄당 수치입니다. 같은 분석의 WebAssembly 메모리는 참고용으로, 엔진 자체의 시작 메모리를 포함한 10,000줄당 수치로 표시합니다.
| 모델 크기 | 콜드 분석 | 엔진 메모리, 콜드 분석 | WebAssembly 메모리, 콜드 분석 |
|---|---|---|---|
| 10,038줄 | 150 ms | 10,000줄당 29 MiB | 10,000줄당 38 MiB |
| 50,013줄 | 711 ms | 10,000줄당 28 MiB | 10,000줄당 29 MiB |
| 100,033줄 | 1.43초 | 10,000줄당 28 MiB | 10,000줄당 28 MiB |
| 250,011줄 | 3.73초 | 10,000줄당 28 MiB | 10,000줄당 26 MiB |
- 방법 버전 3 기준 콜드 분석: 목표 미충족. 목표는 100,000줄에서 0.6초, 250,000줄에서 1.2초였습니다. 매우 큰 모델의 첫 분석은 1.43초와 3.73초가 걸립니다. 이번 실행 중 측정 컴퓨터에서 다른 작업이 실행되었으므로 이 시간은 몇 퍼센트 높게 나왔을 수 있습니다. 메모리 수치는 이에 영향을 받지 않습니다.
- 방법 버전 4 기준 콜드 분석: 보고만 하며 목표가 아님. 진행률 기준은 충족. Holarch는 3초를 넘을 수 있는 모든 분석에 진행률 막대를 표시합니다. 긴 분석이 시작되고 1초 후에 나타나며, 단계(엔진 시작, 표준 라이브러리 로드, 모델 분석)를 표시하고 분석이 끝날 때까지 유지됩니다. 진행률 막대는 앱이 긴 첫 분석을 처리하는 방식이며, 엔진 속도에 대한 주장이 아닙니다.
- 충족: 첫 분석 이후의 편집은 모든 크기에서 기준 이내입니다.
- 충족: 콜드 분석의 엔진 메모리가 100,000줄에서 512 MiB 이내, 250,000줄에서 1 GiB 이내입니다.
- 충족: 시간이 모델 크기에 비례하여 증가합니다. 250,000줄의 콜드 분석은 25배 큰 모델에 대해 10,000줄보다 24.9배 오래 걸립니다(기준: 최대 40배).
전체 편집 세션
방법 버전 6, 엔진 2.0.1부터 버전 7 기준으로 해석: 측정 도구는 Holarch와 마찬가지로 모델의 레코드를 텍스트로 보관합니다. 새 프로세스 하나가 고정된 스크립트를 실행합니다. 첫 분석, 모델의 요소 레코드, 모델의 첫 검사, 편집 60회(값 변경 20회, 임포트 변경 20회, 상위 유형 변경 20회, 각각 다시 분석), 모델을 텍스트로 출력, 편집된 텍스트를 모델에 다시 기록, 모델 값 평가입니다. 수치는 세션 중 어느 시점에서든 가장 큰 엔진 메모리입니다.
| 모델 크기 | 엔진 2.1.1 | 엔진 2.0.1 | 2.1.1에서 충족 |
|---|---|---|---|
| 10,038줄 | 10,000줄당 35 MiB | 10,000줄당 51 MiB | 보고만 함 |
| 50,013줄 | 10,000줄당 33 MiB | 10,000줄당 49 MiB | 보고만 함 |
| 100,033줄 | 10,000줄당 33 MiB | 10,000줄당 49 MiB | 예(기준: 512 MiB 이내) |
| 250,011줄 | 10,000줄당 33 MiB | 10,000줄당 50 MiB | 예(기준: 1 GiB 이내) |
- 100,000줄과 250,000줄에서 충족. 기준은 콜드 분석과 같습니다. 100,000줄에서 512 MiB 이내, 250,000줄에서 1 GiB 이내로, 브라우저가 WebAssembly 인스턴스에 허용하는 메모리에 여유를 둔 값입니다. WebAssembly에서는 엔진의 메모리가 줄어들지 않으므로 세션의 가장 큰 순간이 그 크기를 정합니다. 엔진 2.0.1은 100,000줄에서 기준을 충족했지만 250,000줄에서는 충족하지 못했고, 엔진 2.0.0은 둘 다 충족하지 못했습니다(방법 버전 6 기준 10,000줄당 122 MiB).
- 가장 큰 순간은 모델의 첫 검사와 평가이며, 각각 텍스트를 모델에 다시 기록하는 것과 비슷한 크기입니다. 모델 출력은 더 이상 가장 큰 단계가 아닙니다.
긴 세션 동안의 메모리
보고만 하며 기준이 아닙니다. 위 결과를 네이티브에서 엔진 2.1.1로 특성화한 것입니다(실행 2.1.1-37168cc79-1). 모델 크기당 세션 하나: 모델을 열고 검사, 모든 편집 위치에 대한 두 차례의 편집(값, 임포트, 상위 유형 변경, 각각 다시 분석), 그다음 새 숫자를 계속 기록하는 값 편집, 변경되지 않은 모델의 분석 10회와 검사 10회, 열린 세션 옆에서 처음부터 분석, 패키지 하나 출력 후 전체 모델 출력, 텍스트를 모델에 다시 기록, 평가, 그리고 닫고 다시 열기 3회.
| 모델 크기 | 열린 모델 편집 | 가장 큰 단계: 열린 세션 옆에서 처음부터 다시 분석 | 전체 모델 출력 | 닫은 후 남은 메모리 |
|---|---|---|---|---|
| 10,038줄 | 27 MiB | 55 MiB | 41 MiB | 1.5 MiB |
| 50,013줄 | 26 MiB | 54 MiB | 40 MiB | 0.6 MiB |
| 100,033줄 | 26 MiB | 54 MiB | 40 MiB | 0.5 MiB |
| 250,011줄 | 26 MiB | 54 MiB | 40 MiB | 0.4 MiB |
- 편집은 평탄해집니다. 편집이 이전에 편집하지 않은 선언에 도달하는 동안 메모리가 10,000줄당 약 5 MiB 증가한 후 평탄하게 유지됩니다.
- 반복 분석은 아무것도 남기지 않습니다. 변경되지 않은 모델의 분석 10회와 검사 10회 후에도 메모리는 그대로입니다.
- 가장 큰 단계는 세션을 열어 둔 채 전체 모델을 처음부터 분석하는 것으로, 분석 사본 두 개를 동시에 보유합니다. 세션 하나를 유지하는 편집기에는 필요하지 않습니다.
- 전체 모델 출력에는 기본 메모리 대비 10,000줄당 약 40 MiB가 필요합니다(엔진 2.0.1: 53~55, 엔진 2.0.0: 129~131).
- 닫으면 메모리가 반환됩니다. 작은 나머지가 남지만 세 번의 다시 열기 주기 동안 늘어나지 않습니다.
- Safari에서는 이 특성화를 엔진 2.1.1로 실행하지 않았습니다. 마지막 Safari 세션 수치는 엔진 2.0.1의 것이며 증거 패키지에 있습니다.
WebAssembly, Safari에서 측정
같은 생성 모델에서 Holarch 자체 엔진 워커로 실행한 엔진 2.1.1의 WebAssembly 빌드입니다. 시작은 엔진을 가져와 시작하고 표준 라이브러리를 로드하는 것이며, 콜드 분석은 새 워커 3개의 중앙값이고, 편집은 위와 같이 하나의 세션에서 워밍업 편집 20회 후 유형별 200회입니다. 각 모델 크기는 별도 페이지에서 실행했습니다. 이름 바꾸기는 네이티브 빌드에서만 측정합니다. 이 수치는 보고만 하며 기준이 아닙니다.
| 모델 크기 | 엔진 시작, Safari | 콜드 분석, Safari | 콜드 분석, 네이티브 | 값 변경, p95, Safari / 네이티브 | 임포트 변경, p95, Safari / 네이티브 | 상위 유형 변경, p95, Safari / 네이티브 |
|---|---|---|---|---|---|---|
| 10,038줄 | 143 ms | 215 ms | 150 ms | 3 / 1.3 ms | 4 / 2.1 ms | 4 / 2.2 ms |
| 50,013줄 | 152 ms | 867 ms | 711 ms | 12 / 3.9 ms | 10 / 4.9 ms | 10 / 4.7 ms |
| 100,033줄 | 144 ms | 1.63초 | 1.43초 | 20 / 7.7 ms | 20 / 8.6 ms | 20 / 8.5 ms |
| 250,011줄 | 175 ms | 4.44초 | 3.73초 | 53 / 22.7 ms | 50 / 24.0 ms | 49 / 24.9 ms |
아직 지원되지 않음
다음 구문은 엔진의 공개된 지원되지 않는 구문 목록에 있습니다. 이 구문 때문에 파일럿과 일치하지 않는 예제 모델 파일은 평가 범위를 벗어납니다. 이번 실행에서는 해당 파일이 없습니다.
- 다른 언어로 된 텍스트 표현은 텍스트로 보관되며 검사되지 않습니다.
가변성, 사용자 정의 키워드, accept 또는 action으로 작성된 전이 효과는 각각 출시됨에 따라 방법 버전 8~10에서 목록에서 빠졌습니다. 텍스트 표기법의 모든 문법 생성 규칙에는 이를 구문 분석하고 결과를 검사하는 테스트가 하나 이상 있습니다. Holarch에서 작동하는 것의 전체 목록과 그 한계: SysML v2 언어 지원 범위.
결과 재현
결과는 독립적으로 재현할 수 있습니다. 증거 패키지(zip, SHA-256 5d9821f7dac3fd0b2bc49a8defe416ac01f515834d65d3182891a9f8d20e59ae)에는 같은 엔진 빌드에서 각 실행을 반복하는 데 필요한 것이 들어 있습니다.
- 한 페이지 분량의 재현 가이드
REPRODUCE.md: 정확한 명령, 의존성, 체크섬이 있는 입력, 예상 결과, 실행 시간. - 모든 방법 버전(1~10)과 그 이유가 포함된 테스트 방법.
- 분류 표: 지원되지 않는 구문 목록, 분류와 조항이 있는 모든 분류된 불일치, 위의 등록부, 모든 엔진 오류의 검토, 바인딩 범주.
- 엔진 2.1.1(모든 측정과 세션 메모리 특성화), 엔진 2.0.1(속도와 메모리, 세션 메모리), Holarch 2.15.1(엔진 2.0.0 코드의 두 빌드), 2.14.0(속도와 메모리), 2.13.1, 2.12.0에 대한 각 실행의 요약과 기계 판독 가능한 결과, 그리고 Safari에서 측정한 WebAssembly 시간과 세션 메모리.
- 시드별로 결정적인 대형 모델 생성기와 측정 및 비교 스크립트.
- 모든 파일의 체크섬.
엔진이나 OMG의 파일은 들어 있지 않습니다. 스크립트는 고정된 커밋과 패키지 체크섬으로 공개 출처에서 예제 모델과 파일럿 구현을 가져옵니다. 반복 실행을 위한 엔진은 엔진 평가판과 함께 제공됩니다.
이전 실행
이전 공식 실행은 각각 자체 방법 버전에 따라 측정된 그대로 유지됩니다. 방법 1~3에서는 100,000줄에서 0.6초 이내의 콜드 분석이 목표였으며, 어떤 실행도 이를 충족하지 못했습니다. 방법 4는 목표 없이 이를 보고합니다. 방법 버전 3 이전의 최고 메모리는 측정 프로세스의 최고 상주 메모리로, 할당자가 재사용을 위해 보관하는 메모리도 포함하므로 엔진 힙 수치와 비교할 수 없습니다. Holarch 2.15.0과 2.14.0 실행은 속도와 메모리만 측정했습니다. 2.15.0 실행의 시간은 같은 컴퓨터에서 다른 작업이 실행되는 동안 측정되어 앞뒤 빌드보다 약 4분의 1 높습니다.
| 빌드 | 엔진 버전 | Holarch 릴리스 | 방법 | 수용, 원시 | 수용, 분류됨(내부 검토) | 이름 바인딩 | 콜드 분석, 100,000줄 | 최고 메모리, 100,000줄 |
|---|---|---|---|---|---|---|---|---|
| 37168cc | 2.1.1 | 2.21.0(엔진 2.1.2 탑재) | 10 | 252개 중 242개 | 252개 중 252개 | 4,908개 중 4,904개 | 1.43초 | 엔진 힙 302 MiB |
| d8cf5c8 | 2.0.1 | 2.17.1 | 7 | 측정 안 함 | 측정 안 함 | 측정 안 함 | 1.23초 | 엔진 힙 362 MiB |
| 91f058a | 2.0.0 | 2.15.1(dd4fb10과 같은 엔진 코드) | 6 | 252개 중 232개 | 241개 중 241개 | 4,886개 중 4,879개 | 1.35초 | 엔진 힙 362 MiB |
| dd4fb10 | 1.0.0 | 2.15.1 | 6 | 252개 중 232개 | 241개 중 241개 | 4,886개 중 4,879개 | 1.28초 | 엔진 힙 362 MiB |
| e6bb924 | 1.0.0 | 2.15.0 | 5 | 측정 안 함 | 측정 안 함 | 측정 안 함 | 1.57초 | 엔진 힙 362 MiB |
| 0c983e2 | 1.0.0 | 2.14.0 | 6 | 측정 안 함 | 측정 안 함 | 측정 안 함 | 1.37초 | 엔진 힙 362 MiB |
| d3f5d4b | 1.0.0 | 2.13.1, 2.13.2 | 5 | 252개 중 231개 | 242개 중 240개 | 4,860개 중 4,851개 | 1.24초 | 엔진 힙 362 MiB |
| 8a6bf7b | 1.0.0 | 2.12.0 | 5 | 252개 중 220개 | 242개 중 229개 | 4,768개 중 4,753개 | 1.21초 | 엔진 힙 362 MiB |
| 6eec2b7 | 1.0.0 | – | 5 | 252개 중 231개 | 240개 중 240개(오류 검토 전 분류) | 4,860개 중 4,851개 | 1.20초 | 엔진 힙 362 MiB |
| c184e57 | 1.0.0 | 2.11.0 | 3 | 252개 중 220개 | 228개 중 228개 | 4,768개 중 4,753개 | 1.31초 | 엔진 힙 361 MiB |
| bfa03c7 | 1.0.0 | – | 2 | 252개 중 220개 | 228개 중 228개 | 4,768개 중 4,753개 | 1.35초 | 프로세스 972 MiB |
| 1cada39 | 1.0.0 | – | 2 | 252개 중 216개 | 228개 중 224개 | 4,752개 중 4,737개 | 4.24초 | 프로세스 1,022 MiB |
| fd20280 | 1.0.0 | – | 1 | 252개 중 145개 | 분류 안 함(방법 1) | 4,373개 중 4,326개 | 2.41초 | 프로세스 1,535 MiB |
이 결과가 보여 주지 않는 것
- 이는 실행한 모델에 대한 Holarch 자체 측정입니다. 인증이 아닙니다. Object Management Group은 이를 검토하거나 보증하지 않았습니다.
- 파일럿 구현과 예제 모델은 사양이 아닙니다. 이들과 엔진이 다른 경우, 위의 분류가 사양이 어느 쪽을 뒷받침하는지와 그 이유를 밝힙니다.
- 이 페이지의 모든 분류와 검토는 내부 검토입니다. 엔진 테스트 케이스 표본을 사양과 대조하는 외부 검토가 계획되어 있습니다.
- 별도로 라이선스되는 시뮬레이션 애드온인 액션과 상태 머신의 시뮬레이션은 여기서 측정하지 않습니다.
- SysML v1 모델에서 SysML v2로의 변환은 여기서 측정하지 않습니다. 엔진 라이선스 사용자에게 이는 별도로 라이선스되는 마이그레이션 애드온입니다.