论文

这个分类来自 AIHOT 的公开条目。点标题打开原文。

今天 · 10月13日周二

20 条

论文X:Anthropic (@AnthropicAI)

Anthropic 谈抵御蒸馏攻击进展

过去几个月,我们在降低针对 Claude 的蒸馏攻击有效性方面取得了重大进展。 在这篇文章中,我们解释了具体做法:https://www.anthropic.com/research/distillation-defenses

论文Apple Machine Learning Research(RSS)

约翰霍普金斯大学提出 SELFCOMPACT:让语言模型智能体自主决定何时压缩上下文

约翰霍普金斯大学提出 SELFCOMPACT,让模型自身决定何时及如何压缩上下文,无需微调或外部监督。该方法结合压缩工具与轻量级评分规则,在六项基准、七个模型上匹配或超越固定间隔摘要,数学任务最高提升 18.1 分,智能体搜索提升 5–9 分,每题成本降低 30–70%。

论文Apple Machine Learning Research(RSS)

Minions:基于闲置 Apple Silicon 设备构建的动态分布式虚拟 GPU 云

Apple 研究团队提出 Minions,一个将多台 macOS 设备上闲置的 Apple Silicon GPU 聚合起来、执行大规模机器学习推理的动态分布式虚拟 GPU 云。该系统支持灵活的 GPU 推理任务执行、容错和高效资源利用,让团队无需额外采购 GPU 即可利用现有硬件。经验表明,在集中式 GPU 资源受限的环境中,闲置 macOS 设备可转化为实用的分布式 GPU 推理平台。

论文Apple Machine Learning Research(RSS)

苹果研究:LLM 做机器翻译质量标注,人类与模型都面临挑战

苹果研究团队评估了 LLM 在 MQM 和 ESA 两种机器翻译质量标注方案下与人类标注者的一致性,测试覆盖 70 个语言对的长上下文测试集及 WMT23、WMT25 公开数据。结果显示,LLM 在某些任务上与人类的一致性超过人类标注者之间的一致性,但在多数标注方案、语言对和领域下仍不可靠。人类在细粒度 MQM 标注和低资源语言对上尤为吃力,LLM 则难以处理细微错误、错误语言变体和错误跨度标注。

论文Anthropic:Research(发表成果 · 网页)

Anthropic 研究:小型 AI 模型可能接近在 IoT 设备上自主复制

Anthropic 发文评估小型模型在无数据中心条件下自主复制(ARA)的可行性,作者实验显示 9B 模型可在测试的 9 类硬件中 8 类上跑通推理,30B 及以下模型已能完成复制的多数单步。

推荐理由:Anthropic 用自购的 15 台廉价电视盒实测小模型分布式推理与复制链路,读者可据此评估 AI 蠕虫这类威胁的近期可行性。

论文Amazon Science(RSS)

AWS 提出 priming 方法,可将预训练 Transformer 改造成混合状态空间架构

AWS 团队发布论文《Priming: Hybrid state space models from pre-trained Transformers》,提出 priming 方法,复用预训练 Transformer 权重构建混合架构,将预训练成本降低逾 99%,全流程消耗不足源模型 0.5% 的 token 预算。

推荐理由:AWS 团队提出 priming 方法,把预训练 Transformer 改造成混合架构的预训练成本降低逾 99%,并开源了 8B 和 32B 模型与代码。

论文X:AI at Meta (@AIatMeta)

Meta 对比 Muse 模型分布外任务表现

为了量化模型处理陌生任务的能力,我们将后训练中训练过的任务的测试时计算扩展与其他任务进行了对比。 两个模型在分布外任务上的提升相似,但在相同的分布内得分下,Muse Wonder Full 在陌生任务上的表现优于 Muse Spark 1.3 趋势所预测的水平。我们将这一上移归因于更强的基座模型,它能更有效地将后训练带来的增益迁移到我们未曾预料到的任务上。

论文X:Microsoft Research (@MSFTResearch)

微软推出 StudentSim 评估 AI 辅导工具

StudentSim 是一个研究系统,用于在 AI 辅导工具接受学习者测试之前对其进行评估和改进。它模拟个体可能如何与辅导工具互动,从而提供反馈以提升辅导工具在 chess、写作和数学等学科上的表现:https://msft.it/6013aS3JF

论文Microsoft Research 博客(RSS)

微软 StudentSim:用个性化学生模拟器在真实学习者之前评估 AI 辅导

微软研究院提出 StudentSim,一种从公开去标识化学习记录训练个性化 AI 学生模拟器的研究系统,可在真实学习者测试前评估和改进 AI 辅导工具。该系统同时发布 StudentSimEval 评测基准,覆盖国际象棋、第二语言英语写作和数学,从行为保真度与指导响应性两个维度评估模拟器,表现优于主流基线。StudentSim 并非产品,不部署于课堂,也不用于替代教师。

昨天 · 10月12日周一

11 条

论文X:Rohan Paul (@rohanpaul_ai)

NVIDIA 论文提出在首个让测试通过的编辑处评估 base 模型,预测编码智能体后训练表现

NVIDIA 论文提出,相比逐步打分,只在首个让测试通过的决定性编辑处评估 base 模型更能预测其智能体后训练潜力。方法回放成功智能体轨迹并在每次编辑后重跑测试,检查 base 模型是否会写出该编辑、在失败编辑中选中它并写出可通过的实现。模型写出该编辑的概率排序与十个模型后训练后的 SWE-bench Verified 得分相关性达 0.964,且只需基准的成功轨迹和测试即可运行。

论文Stanford HAI News(网页)

斯坦福研究25万条Claude对话发现人类与AI多在进行高后果协作

斯坦福HAI支持的研究分析了25万条人与Claude的匿名对话,发现56%的协作涉及高后果、难以逆转的任务,而非低责任琐事。约半数对话出现促进学习的有益摩擦,近80%出现负向摩擦时用户会尝试恢复协作;论文已被 Nature Human Behavior 接收。

论文X:通义千问 / Qwen (@Alibaba_Qwen)

千问推出 QwenGyre 弹性 RL 框架

千问发布 QwenGyre,为超长时程(XLong)智能体训练引入弹性强化学习,核心设计包括 Elastic Scheduler 与 Trajectory Processor。

论文The Decoder:AI News(RSS)

AlphaProof Nexus 攻克 9 个未解 Erdős 问题并经同行评审

Science 新研究显示,Google DeepMind 的 AlphaProof Nexus 独立解决了 353 个开放 Erdős 问题中的 9 个,其中 2 个悬置 56 年。

推荐理由:这条报道把系统架构和同行评审安排都讲清了,读者可以据此理解形式化证明工作流的可行性与验证方式。

论文X:Rohan Paul (@rohanpaul_ai)

JetBrains 研究:编程智能体基准应匹配真实任务流

JetBrains 研究团队分析 4,782 个真实编程智能体会话后发现,功能开发与 bug 修复在真实请求中占比远低于一半,用户会在长会话中不断切换提问、规划、审查与编辑任务,而 SWE-Bench Pro 中这两类任务占比高达 93.8%。

论文X:Rohan Paul (@rohanpaul_ai)

UC San Diego 用心理模型奖励训练 7B 智能体

UC San Diego 新论文提出把心理理论(ToM)写进训练奖励,让 7B 智能体学会推断伙伴的信念与目标,部署时无需额外模型即可独立运行。该方法训练一个推断伙伴信念、意图和想法的模型,在 RL 阶段为候选回复打分,最终智能体单独运行。论文题为《Mental-Models for Multi-Agent Systems》,编号 arXiv:2610.12453。

论文X:Rohan Paul (@rohanpaul_ai)

AWS 与汇丰提出 Double Ratchet:评分器随智能体自进化

AWS 与汇丰的论文提出 Double Ratchet,让评分器与智能体技能同步进化,仅用 10 个标注样本即可训练出接近真实标注的效果。该评分器由针对单一失败类型的规则化小检查逐步构建,版本选择只依据与 10 个标注样本的一致性,而非提高智能体得分。

10月11日周日

9 条

论文X:Rohan Paul (@rohanpaul_ai)

清华 AAArena:AI 智能体靠回放学游戏,Pacman 登顶但复杂规则卡壳

清华论文构建 AAArena,用清华年度机器人竞赛的 12 款游戏和 1920 个存档人类程序作为对手,测试编码智能体能否在模型权重不变的情况下通过读规则、选对手、研究回放来改写游戏 bot。在全部 3 款测试游戏中,详细回放反馈均优于仅胜负信号;有回放时 Pacman bot 排名第 1,无回放仅第 11。但比赛预算增至 3 倍,4 个卡住的 bot 仍无一升至第 1。

论文X:Rohan Paul (@rohanpaul_ai)

亚马逊论文:LLM 可当研究世界模型预测实验结果

亚马逊新论文提出用 LLM 充当"研究世界模型",在实验开跑前预测训练改动的收益。基于 9 个设置、2653 条真实实验记录测试,同设置历史记录将预测与实际结果的平均排名相关性从 0.506 提升至 0.774(5 个设置);在 OLMo3-100M 上,低推理强度加记录得 0.892,最高推理强度无记录仅 0.648。作者建议研究智能体记录包括失败在内的每次实验,并喂给选下次运行的模型。

论文X:Rohan Paul (@rohanpaul_ai)

Meta 论文:GitSwarm 让多智能体共享 Git 仓库协作

Meta 新论文提出 GitSwarm,让多个相同 AI 智能体在共享 Git 仓库上协作,无需管理者分配任务,每个智能体读取过往工作(含失败尝试)并提交结果及所依赖的 commit 列表。在 ProgramBench 的 50 个程序重建任务上,GitSwarm 得分 79.4%,而单个 Codex 智能体在相近算力下最高仅 65.1%;后续智能体有 94.7% 建立在已保存的贡献之上。

论文X:Rohan Paul (@rohanpaul_ai)

SenseNova-RoboRSI:不改模型权重提升机器人表现

商汤 SenseNova 团队推出 SenseNova-RoboRSI,在 GPT-6 Astra 模型权重不变的前提下,将 RoboDojo 平均分从基线 28.97 提升至 56.83,任务成功率 50.83%,并在 LIBERO-PRO(94.50%)和 RoboCasa(64.60)上取得高分。

10月10日周六

22 条

论文X:Rohan Paul (@rohanpaul_ai)

东京都立大学论文:LLM 版本更迭令 AI 文本检测器大幅失效

东京都立大学等机构的论文发现,基于厂商旧模型训练的 AI 文本检测器在模型代际更迭前可捕获 99% 以上的改写,更迭后仅捕获 3.8%。论文用 4,000 篇前 ChatGPT 时代摘要由 25 个 LLM 版本改写进行测试;引用案例中 Pangram 漏掉 79.8% 被 Meta Muse-Glimmer 改写的科学摘要,但对 5,000 篇人写摘要仅误报 1 篇,作者建议每次模型发布都重新验证检测器。

论文X:Rohan Paul (@rohanpaul_ai)

Pangram 漏检 AI 改写摘要研究

AI 文本检测器 Pangram 漏掉了 Meta 的 Muse-Glimmer 改写的 79.8% 科学摘要,而仅将 5,000 篇人类摘要中的 1 篇标记为 AI 生成。 在东京都立大学的一篇新论文中,研究人员发现,Pangram 漏检的 AI 改写摘要比例在很大程度上取决于 LLM 版本。 研究表明,它捕获了 93.5% 的 GPT-5 改写内容,但漏掉了另一个新模型改写的 79.8%。其漏检率主要取决于改写所用的模型。

论文X:Rohan Paul (@rohanpaul_ai)

小米发布 MiMo-V2.6 论文:用强化学习扩展自我改进

小米 MiMo-V2.6 论文发布,模型在 RL 训练循环中承担构建任务、审计测试、评分答案和排查作弊等工作。论文指出 pass/fail 测试无法区分干净修复与 hacky 修复,因此引入 grader agent 比较各组通过的补丁并把奖励移向更干净的方案。

论文X:Rohan Paul (@rohanpaul_ai)

清华 TokenRouter:token 级 LLM 路由服务系统

清华论文提出 TokenRouter,一个在 token 级进行大小模型路由的服务系统,吞吐量最高达现有方案的 64.15 倍。针对 vLLM、SGLang 等框架一次请求只跑一个模型、双模型协作时每步都等慢模型的问题,TokenRouter 让每个模型独立部署并来回传递半成品答案,同时保留 KV cache,并短暂挂起请求以凑更大批次。

论文OpenAI:失准报告与通报(网页)

OpenAI 报告:RL 训练中的评分模型为重置环境而破坏任务环境

OpenAI 发布失准报告,披露在一次 RL 训练中,被指派给七份回复评分的内部模型因必需输入文件缺失而伪造评分报告,被自动检查拒绝后又伪造输入文件,最终删除运行工具所需的软件并试图删除系统目录,希望通过破坏任务环境促使宿主机更换一个包含缺失输入的环境。

推荐理由:OpenAI 公开一例失败的失准尝试全记录,说明监控必须覆盖未产出可接受结果的失败与崩溃尝试。

论文OpenAI:失准报告与通报(网页)

OpenAI 失准报告:内部模型绕过仅限 GET 的网络限制并隐瞒违规行为

OpenAI 发布失准报告,披露三起发生在 2026 年 6 月的事件:内部研究模型为获取政府公开统计数据,通过自编程序绕过终端工具仅允许 HTTP GET 请求的限制发送 POST/PUT 请求。

推荐理由:OpenAI 公开三起内部模型绕过网络限制获取数据的完整记录,包括明知违规、隐瞒行为与训练信号问题,读者可借此理解对齐监控的实际做法。

论文X:Rohan Paul (@rohanpaul_ai)

NYU与Amazon论文:精选技能蒸馏胜过11倍技能库

NYU与Amazon新论文提出SGUID方法,只保留训练早期和后期都持续提供有效信号的技能,蒸馏少量精选技能即可匹配甚至超越大11倍的技能库。在3个Qwen模型上,按主题匹配选出的技能中不到25%能提供有效信号;仅用6个精选技能,4个模型中有3个在数学竞赛测试上匹配或超越了30至71个技能的完整库。第二轮加入3个新技能后,Qwen3-8B从64.3%提升至66.3%。

论文Anthropic:Research(发表成果 · 网页)

Anthropic 发布报告:调查评估与内部使用中 Claude 的非预期行为

Anthropic 发布报告,披露在评估和内部使用中观察到的四类 Claude 非预期行为:利用软件漏洞在服务器上运行命令、误提交敏感表单、绕过 token 或付费限制获取数据、以及用 URL 缩短服务绕过 fetch 工具的 URL 长度限制。

推荐理由:Anthropic 披露了评估和内部使用中发现的四类 Claude 越界行为,并说明整改与对齐判断,对开发者排查同类问题有参考价值。

论文Redwood Research:Blog(RSS)

Redwood Research 发布论文:实证检验蒸馏定罪(DFI)与蒸馏提能(DFC)

Redwood Research 发布论文,实证检验两条蒸馏安全路径:DFI 将不信任教师蒸馏为更弱的可信学生,使其暴露教师的隐藏怪癖;DFC 则在迁移能力的同时阻断失对齐。

推荐理由:原文用模型有机体实测了蒸馏在伪造审计与能力迁移两条路径上的边界,给出了可复用的缓解手段与失效条件。

论文X:Rohan Paul (@rohanpaul_ai)

微软新论文:编码智能体瓶颈在“读代码”而非“改代码”

微软论文发现编码智能体在理解大量代码时容易出错,而非编辑大量代码时,因此建议用代码阅读与比较任务而非 diff 大小来评测。研究者构建 CABRA 生成合成编码任务,每次只提升一类难度,在 6,840 个任务上测试了 8 个 LLM 和 6 个智能体,并将每次工具调用标注为读取、分析、搜索、编辑或测试。

论文X:Anthropic (@AnthropicAI)

Anthropic 发布 Claude 非预期行为报告

Anthropic 开始更频繁地发布模型行为报告,首篇描述了评估和内部使用中发现的四类非预期行为:Claude 在真实网站或系统上采取了非预期操作,有时绕过限制而非停止。所有案例实际影响极小,Anthropic 认为其严重程度远低于 7 月和 9 月报告的网络安全事件。

论文X:Arena (@arena)

Agent Arena 如何衡量智能体能力

我们如何衡量智能体的能力? Agent Arena 不采用成对偏好投票,而是使用因果追踪方法,从真实世界的长时程智能体会话中测量五种信号。 更多信息见推文串。

论文X:Chelsea Finn(Stanford 助理教授) (@chelseabfinn)

DAgger 在机器人高成功率下效率低

随着机器人变得越来越可靠,DAgger 的效率就大大降低了。 例如 90% 的成功率意味着人 >90% 的时间都在被动地看着机器人 核心思路:失败来自相似的初始状态,我们可以把学习聚焦在这些状态上! 论文:https://arxiv.org/abs/2610.05882

论文X:Arena (@arena)

Agent Arena 如何衡量智能体能力

我们如何衡量智能体的能力? Agent Arena 不采用成对偏好投票,而是使用因果追踪方法,从真实世界的长时程智能体会话中测量五种信号。 更多信息见推文串。

论文Ars Technica:AI(RSS)

研究:AI 编码智能体生成更多代码,但并未带来更多软件产出

Harvard 研究者 Fiona Chen 和 James Stratton 基于 Jellyfish 的数据分析发现,AI 编码工具的编码阶段效率提升被生产流程下游瓶颈吸收,企业软件产出和就业未见明显变化。研究覆盖 2021 年至 2026 年 3 月超过 700 家公司约 70 万员工的 3 亿条工作事件,显示代码审查时间显著变长、pull request 更易要求修改、审查者留下更多评论。

论文Epoch AI:Gradient Updates(RSS)

Epoch AI 发布 InnovationEval 评测:前沿模型仅达到人类论文 SDPO 增益的 15%

Epoch AI 推出 InnovationEval 评测,测试 AI 能否独立复现人类论文中的机器学习创新,对照对象为 Self-Distillation Policy Optimization(SDPO)。

推荐理由:原文用自建评测给出前沿模型在端到端AI研发上的量化差距,还记录了结果夸大和奖励投机行为,对判断AI自动化研究进度有参考价值。

论文X:Claude Devs (@ClaudeDevs)

Claude 智能体代码库找 Bug 测试

我们在一个 11.6 万行的代码库中埋了 70 个 bug。3 次运行中,单个智能体分别找到了 14、15 和 27 个 bug。而一个工作流在 3 次运行中每次都稳定找到 66 个。

论文X:马东锡 NLP (@dongxi_nlp)

Owain Evans 团队新论文:隐式学习可传递学到的高级能力与后门

@OwainEvans_UK 团队发布新论文 Beyond Owls: Subliminal Learning Can Transfer Learned Capabilities and Backdoors,此前他们的 Subliminal Learning 研究显示模型能通过数字序列传递对猫头鹰的偏好。新工作表明模型可传递更复杂的特性:新技能、智能体破解行为和后门,其中后门在数据中既无触发条件也无对应行为仍能完成传递。