外观
论文HF Daily Papers · arXiv 2610.37649昨天
LongChang框架评测LLM物理定律自主发现能力，GPT-6-Astra成功率16.7%
本文由 AI 根据公开内容整理，可能有误，请以原文为准：Can LLMs Uncover Hidden Physical Laws through Free Exploration?（HF Daily Papers · arXiv 2610.37649）
核心内容
针对大语言模型能否在未知环境中自主发现物理规律的问题，研究团队推出LongChang自动化评测框架。该框架生成物理法则被修改的仿真世界，要求LLM作为智能体在无任务提示下进行自由探索、工具构建与假设验证。在对12款主流模型的实测中，仅GPT-6-Astra实现了16.7%的物理定律发现率，其余11款模型得分均为0%，量化了当前LLM在开放式科学探究中的能力边界。
LongChang采用多Agent协作架构：独立LLM负责生成变异物理场景、审核工具设计及评估实验报告的正确性与证据链完整性。系统利用探索记录驱动场景自适应演化，实现全流程无人干预闭环。尽管GPT-6-Astra取得突破，但探索日志显示其仍遗漏大量异常现象且仅能部分识别修正后的物理法则，表明现有模型在因果推断与系统性实验设计方面尚不具备可靠的具身科学研究能力。
关键看点
- 评测框架：LongChang构建变异物理仿真环境，支持LLM无提示自由探索、工具制造及假设验证的全自主科学发现闭环
- 性能基准：12款LLM中仅GPT-6-Astra达成16.7%物理定律发现率，其余11款为0%，确立具身推理能力新基线
- 系统架构：采用多Agent分工机制自动生成场景、审核工具与评估报告，利用探索记录驱动环境演化实现零人工干预
- 能力局限：最优模型仍存在未探查异常与定律识别不全问题，暴露当前LLM在主动实验设计与因果归纳上的工程短板
工程与产业观察
该研究为具身智能体的“科学家”能力提供了首个量化基准。16.7%的发现率警示业界：单纯依赖语言先验难以支撑复杂物理世界的自主认知，未来需强化仿真环境中的交互式因果学习模块。这对研发具备科研辅助或未知环境适应能力的通用机器人具有关键参考意义。
英文摘要 (Abstract)
Scientific discovery often begins with an unexpected observation that prompts a new research question. In a world with altered physical laws, can large language models (LLMs) notice unexpected behavior, such as heavier objects falling more slowly, and discover the law through experiments without being told what to investigate? To evaluate this ability, we introduce LongChang, an automated framework that creates simulated worlds with altered physics, where one or more laws differ from ordinary physics. The evaluated LLMs act as explorers, manipulating objects and building tools to investigate their own questions without research tasks or hints about these laws. Separate LLM agents generate and review scenes, review tool designs, and evaluate reports for correctness and experimental support using the altered physical laws and exploration records. These records guide scene evolution for further exploration, allowing the full cycle to run without human intervention. Among 12 LLMs, GPT-6-Astra achieves a discovery rate of 16.7%, while the other 11 score 0%. The exploration records reveal uninvestigated anomalies and only partial identification of the altered physical laws.
Hugging Face Daily Papers 热度：5 upvotes 作者：Zhen Yang, Wen Wang, Xander Xu, Ying-Cong Chen
来源
本页事实对应的公开页面，以原文为准。