OpenAI发布MedChemBench评估AI药物研发
OpenAI于当地时间11月20日发布MedChemBench基准,评估AI模型在药物化学研究中的结构识别、结果解读、化合物比较及性质预测能力,官方称模型在结构重建和证据解释方面表现较强,但在筛选与数值预测上仍有提升空间。
驱动中国11月21日消息,当地时间11月20日,OpenAI发布MedChemBench基准,用于衡量AI模型在药物化学研究中的推理能力,覆盖分子结构识别、实验结果解读、化合物比较以及性质预测等任务。官方称,模型在重建分子结构和解释实验依据方面表现较强,但在化合物筛选和数值性质预测方面仍存在明显提升空间。
该基准包含99道题目,来源为117篇论文与专利,涉及761个不同分子结构。多数题目会提供研究推进到某一节点时的上下文,包括生物靶点、研究人员目标、此前研究过的化合物以及部分实验结果。
评测内容分为分子结构、科学解释、排序与选择、性质预测四个方向。分子结构部分要求模型根据题目给出的结构图与化学基团组装分子,并判断原子连接与立体化学是否正确;科学解释部分要求模型基于给定证据说明选择某一化合物的原因;排序与选择部分考察化合物排序和最终选择是否符合题目要求;性质预测部分则核对模型输出与原始材料中的数值或类别是否一致,涵盖实测与计算得到的分子性质。
官方公布的结果显示,在xhigh推理档下,GPT-6.2 Astra获得84.5%的可用分数,GPT-6 Astra为83.3%,GPT-6.1 Sol为82.0%,GPT-5.6 Sol为58.2%。官方称,提高推理档位可以带来分数提升,但不同模型之间的差距仍然明显。
分项表现方面,Astra在xhigh档的分子结构部分拿到95.4%的可用分数,但在化合物选择与数值性质预测两项上仅获得约一半分数。官方举例称,一道题目要求模型以给定中心结构与两个侧基组装分子,并保留一个18原子环。在11个模型共用的xhigh档下,GPT-6 Astra的十次回答全部正确;GPT-5.6 Sol与GPT-5.6 Luna十次全部出错,前者组装出的环只有15个原子,后者把分子拆成两个互不相连的片段。
另一道题目取材于PRMT5抑制剂研究,PRMT5是肿瘤药物研发中受到关注的蛋白。模型需要预测三种相关化合物在细胞内阻断PRMT5的强度、穿过细胞屏障的难易程度,以及在实验室检测中被肝酶降解的速度。官方在题目中隐去的后续实验显示,化合物之间存在取舍:化合物23可在更低浓度下于细胞内阻断PRMT5,化合物24更易穿过细胞屏障,在肝酶检测中的降解速度也更慢。
官方表示,这些结果不能确定模型是否能够发现新药或改善实验室决策,也不能排除模型此前接触过已发表资料的可能性。每一次回应都是一次没有工具、没有反馈或新实验的尝试。基准测试基于历史证据而非真实药物发现,其结果有助于识别模型在哪些方面取得进展、哪些方面仍面临挑战。团队认为MedChemBench将支持持续进步,并期待随着模型进步与应用领域分享最新进展。