AI
Holarch 如何选择 AI 模型
Holarch 的 AI 为什么选用现有模型、为什么在中国大陆、香港、澳门和台湾使用 GLM 5.3,并提供 Kimi K3 和 GLM 5.3 作为自有密钥选项:如何在 Holarch 自身的 AI 任务上测试各家 AI 服务商(包括 OpenAI、Google 和 xAI)的模型、质量标准、最新结果,以及如何添加其他模型。
Holarch 的 AI 功能使用经过 Holarch 测试的 AI 模型。在托管服务上,来自中国大陆、香港、澳门和台湾的 AI 请求改用 GLM 5.3(Z.ai)(请参阅面向中国大陆、香港、澳门和台湾的 GLM 5.3)。本页说明这些选择是如何做出的,以及何时会改变。
如何测试模型
Holarch 用其自己的 AI 任务测试每个模型,使用来自 Holarch 项目的真实请求:
- 对含有预置缺陷和近似重复项的规范进行需求评审。
- 改写:改进需求、拆分需求以及使需求可度量。
- 需求和功能的分解。
- 以文本编写的流程图,由 Holarch 自己的解析器检查。
- 权衡研究准则和候选风险。
- 有已知答案的询问 AI问题,以及关于 Holarch 尚不具备的功能的“尚不支持”问题。
每个请求发送三次,因此一次幸运或不幸的回答不会决定结果。
质量标准
模型满足以下所有条件时才会提供:
- 至少 90% 的任务完全可用。
- 每个“尚不支持”问题都得到如实回答。
- 每个预置缺陷和重复项都被发现。
- 每个回答都可供 Holarch 读取(结构和流程语法正确)。
最新结果
达到标准的模型:
- Holarch 选用的模型:快速模型、标准模型和高级模型。标准模型完全可用任务的比例最高(98%)。
- Google Gemini 3.8 Flash,刚刚超过 90% 线(91%)。它如实回答了每个“尚不支持”问题,发现了每个预置缺陷和重复项,并在每次运行中都给出了有效的回答。
- Kimi K3(Moonshot AI)后来在同一评审集和实时 AI 检查上进行了测试:它在每次运行中都标出了所有预置缺陷,如实回答了每个“not yet”问题,并给出了有效的回答。可使用您自己的 Moonshot 密钥(见下文)。
- GLM 5.3(Z.ai)在同一评审集和资格认定请求上进行了测试:它标出了所有预置缺陷和重复项,如实回答了“not yet”问题,在每次运行中都给出了有效的回答,回答速度与 Holarch 的默认模型大致相同。它的分解比默认模型的浅。可使用您自己的 Z.ai 密钥,在托管服务上它也是来自中国大陆、香港、澳门和台湾的请求所用的 AI(见下文)。
尚未达到标准的模型:
- Google Gemini 3.1 Pro:部分请求超过了 Holarch 每个 AI 请求 300 秒的限制,76% 的任务完全可用。
- OpenAI(GPT-5、GPT-6.1 Sol、GPT-6 Luna):72–81% 的任务完全可用。需求评审有时将预置的模糊需求评为正确,同时却在评论中指出了那些模糊的词语。
- xAI(Grok 4.7、Grok 4.3):85% 和 62% 的任务完全可用。Grok 4.7 漏掉了一个预置缺陷;Grok 4.3 给出了两个没有说明该功能缺失的“尚不支持”回答,以及一个 Holarch 无法读取的流程。
- Google Gemma 4(开放模型),四种规模,在较早、较小的一组 18 个请求上测试:
- E2B 和 E4B 小到足以在浏览器中运行,但大多数任务失败:改写后仍然模糊、分解只是复述父项,以及 Holarch 无法读取的回复。
- 31B 和 26B-A4B 在 18 个请求中有 9 个给出了完全可用的结果,有 8 个的结果需要大量编辑。它们发现了预置缺陷并编写了有效的流程,但新需求、分解和测试用例仍然模糊。26B-A4B 模型还把一个“尚不支持”问题当作该功能存在来回答。
Holarch 自己的 AI 使用选定的模型(来自中国大陆、香港、澳门和台湾的请求除外,见下文):在这些任务上,Holarch 选用的模型得分高于其他达到标准的模型 Gemini 3.8 Flash、Kimi K3 和 GLM 5.3。
Kimi K3(Moonshot AI)也通过了资格认定,并作为使用您自己 Moonshot 密钥的选项提供给无法使用 Holarch 默认模型的团队(使用该密钥的请求会将您的提示词及其中包含的项目内容发送给 Moonshot AI;请参阅使用您自己的密钥的 Kimi K3)。在 Holarch 的需求评审中,它在每次运行中都标出了所有预置缺陷,几乎每次运行都找到了预置的重复项,如实回答了每个“not yet”问题,给出了有效的回答,并且中文流畅。每个请求比默认模型慢 2 到 4 倍。
GLM 5.3(Z.ai)同样通过了资格认定,并作为使用您自己 Z.ai 密钥的选项提供;您的请求会根据您与 Z.ai 的协议发送到 Z.ai(新加坡)(请参阅使用您自己的密钥的 GLM 5.3)。它标出了所有预置缺陷和重复项,在每次运行中都给出了有效的回答,中文流畅,速度与默认模型大致相同。分解需求时,它的子需求比默认模型的浅。
Kimi K3 和 GLM 5.3 是可以开启的选项;在组织中,它们保持关闭,直到组织管理员将其开启(请参阅组织中的 Kimi K3 和 GLM 5.3)。
包含的 AI 使用以下模型:Individual 和 Team 上使用标准模型,Team 上的繁重任务使用高级模型,Free 方案上拥有学术邮箱地址的账户以及活跃班级组织的成员使用快速模型(请参阅包含的 AI)。PDF 规范导入在每个方案上都使用标准模型:在我们的比较中,它找到了每一条需求。这三个模型都达到了标准;快速模型每次请求的成本最低,这正是学术 Free 账户能够包含 AI 的原因。
注意:无论使用哪个模型,每项 AI 更改仍是预览:您审查它,必要时编辑它,然后应用它;一次撤销即可全部撤回。
面向中国大陆、香港、澳门和台湾的 GLM 5.3
在托管服务上,来自中国大陆、香港、澳门和台湾的 AI 请求不会发送给 Holarch 的默认 AI 服务商。方案包含的 AI 通过 Holarch 自己的 Z.ai 密钥,用 GLM 5.3 回答这些请求,请求数量与其他地区相同。为当地客户提供的支持也使用 GLM 5.3:支持请求的翻译和摘要,以及实时聊天和语音通话中的翻译。
选择 GLM 5.3,是因为它在相同的测试中达到了与其他合格模型相同的标准:它标出了所有预置缺陷和重复项,如实回答了“尚不支持”问题,在每次运行中都给出了有效的回答,回答速度与 Holarch 的默认模型大致相同,快于 Kimi K3。它对需求的分解比默认模型的浅。PDF 规范导入在这些地区尚不可用,因为它需要默认模型。
当地用户看到的内容、请求发送到哪里以及出行时的情况:中国大陆的 AI。
何时会改变
- 新模型出现后即会进行测试。
- 当某个提供商的模型达到标准时,可以再次提供该提供商。当 Holarch 的 AI 任务发生变化时,模型会重新测试。
- 您之前为其他提供商添加的 API 密钥会被保留,但不会被使用。如果不再需要,请在账户设置 → AI 密钥或AI 设置…中点击其旁边的移除。
想要其他模型?
使用账户菜单中的联系我们…,或联系表单。请注明模型以及您使用 AI 完成的任务。