评测报告 · 卡安 2.0
化工设计智能体的
能力评测。
3 项工业规模的端到端设计任务，14 个评分要点。逐要点给出评分细则，并对比卡安 2.0 与通用编码智能体的平均百分比得分。两者使用同一基座模型。
- 卡安 2.0 平均百分比得分
- 80.6%
- 通用编码智能体 平均百分比得分
- 29.6%
02实验说明
怎么跑、用什么跑
两个系统使用同一基座模型，区别只在开放的工具与技能。
- 怎么跑
- 每个任务在独立工作区里由一个执行会话推进：自己选题、自己定参数、自己写文件，直到交出一套完整交付。判定由另起的独立评审会话完成，评审不继承执行对话的上下文，只读交付物，逐条要点判定并复算派生比值。
- 基座模型
- 两个系统使用同一基座模型 gpt-5.6-sol，区别只在可用的工具与技能。
- 本系统（caan design）开放的能力
- 在基座模型之上接入 Aspen Plus 流程模拟（经本地 MCP 通道与 COM 接口驱动）、工程计算与图纸工具，以及面向化工设计的技能库；模型需要保存、冷开与读回，结果必须能由最终模型复现。
- 通用智能体（Codex）开放的能力
- 只开放通用能力：网络检索（网页搜索与抓取正文）、代码执行（命令行运行 Python）、文件读写，以及任务清单与派生子代理。不接任何化工专用计算或模拟软件，所有化工计算按公式用代码反算。
- 评分口径
- 同一套 14 个要点，每个要点 2–5 条细则，按「权重 × 达标条数 ÷ 细则条数」计分；结果必须能追溯到同一套全流程计算，分段粗算或跨环节口径不一致的不计分。
03评分要点
每个要点的评分细则与平均百分比得分
共 14 个要点，计分方式为「权重 × 达标条数 ÷ 细则条数」。展开要点可查看评分细则。
A-01全流程跑通
- 唯一终态模型，流程覆盖反应、分离、回收与精制（等效替代须声明并给证据）
- 最终运行完成，无失败单元；警告逐条列出并说明影响
- 每个循环回路给出收敛判据、迭代次数与残差并满足判据
- 冷开后无修改重跑，关键读数与提交运行偏差不超过 1%
A-02循环收敛
- 循环真实闭合，没有用冻结值或固定分配顶替
- 收敛对象与迭代次数可读，归一化残差满足判据
- 提交运行与冷开运行两次结果一致，偏差不超过 1%
- 惰性组分与副产物有去向，且给出不无限积累的证据
A-03物料衡算
- 关键组分从进料、反应、回收、排放到产品逐项可追踪
- 总质量相对误差不超过 1%
- 关键元素相对误差不超过 2%
- 单组分去向合计在 99% 至 101% 之间
- 衡算边界与结论取自同一终态版本
A-04能量衡算
- 设备热负荷与流股焓形成一致边界，整体残差不超过 2%（不提供焓须给替代对账）
- 不具备设计可信度的热负荷被识别，并说明为何不进入下游
- 公用工程消耗与最终热负荷对账一致，偏差不超过 5%
A-05严格分离与产品指标
- 产品与回收塔用平衡级或传质速率模型（非关键段等效须声明）
- 产品指标由终态模型或声明的台账给出，偏差不超过 5%
- 关键塔给出板数、进料位置、回流比或采出量的取值与选取过程
- 灵敏度或可操作窗口不少于两个工况点，窗口内稳定
A-06分离设备尺寸计算
- 塔径与高度由最终工况负荷算出，给出公式与取值
- 结构参数落在宽区间（板间距 0.3–1.0 m，或填料段 2–8 m）
- 给出液泛率或操作气速，液泛率不超过 90%
- 给出单板压降（≤3 kPa）或降液管停留时间（≥2 s）
A-07换热设备计算
- 每台换热器热负荷来自终态模型或声明的台账
- 换热面积由负荷、传热系数与温差算出，裕量 10%–100%
- 传热系数给出取值，并说明是否含污垢热阻或膜系数
- 给出冷热侧流速（0.3–6 m/s）或允许压降占进口压力不超过 40%
A-08反应器计算
- 反应器类型与反应相态、热效应匹配，给出停留时间或空速及依据
- 停留时间或空速落在该类型常用区间，或用依据说明例外
- 由停留时间或空速算出反应器体积或催化剂装填量
- 主要反应与副反应都有定义，元素守恒
A-09热集成与公用工程
- 冷热物流与热负荷来自终态模型或声明的台账，给出温度与负荷
- 换热匹配落到最终流程，或给出实施边界与理由
- 最小传热温差给出取值与依据，且不低于 5 K
- 热回收前后公用工程对账（偏差 ≤5%），并给单位产品消耗
A-10最终模型与复现
- 交付的终态模型能被第三方打开、运行并读回主要结论
- 两次运行关键读数一致，偏差不超过 1%
- 主要结论绑定交付的终态模型，不取自被替代的中间结果
- 模型与配套结果（衡算、设备、报告）描述的流程一致
A-11物性与反应设置
- 物性方法覆盖体系相态与非理想性，并写出选择依据（含高压气相、电解质）
- 组分身份与反应定义一致，副产物在流程中有去向
- 关键二元或纯组分数据有验证记录，或写出适用限制
A-12图纸与模型一致
- 图纸的设备数量与连接关系与终态模型一致
- 物流编号与流向和模型一致，没有悬空物流
- 关键物流的温压流量可在图上或配套物流表中核对
A-13自定基准与路线
- 规模、原料、产品规格与年操作时间明确，规模与终态模型偏差不超过 5%
- 给出所选路线及可实施依据
A-14经济与安全分析
- 按最终工况给出投资、成本与至少两项经济指标
- 三废按质量流量给出，并写明处理方式与去向
04判分方式
判定与汇总分开
判定环节读材料，汇总环节按固定权重算分。没有读数的位置留占位符，不按零分计入比较。
- 01
判定由独立的评审会话完成
评审会话不共享做题会话的上下文，直接读被评测方交出的最终模型、过程数据、报告与图纸，逐条判定。被评测方自己写的读数与结论只作对照。
- 02
每条判定给出依据
依据写成文件路径加行号、表名、字段名或模型里的节点名。找不到依据的条目记为未测，不计入得分。
- 03
权重固定，分数可复算
每题满分 100 分。每个阶段判定为通过或不通过，其余按达标条数计分。权重固定在题目记录里，换一个系统重跑后可以直接比较。