arXiv 论文证明 AI 模型可借助密码学后门隐藏任意能力
arXiv:2610.13928 论文构造后门攻击,把加密神经网络嵌入宿主模型权重,仅在收到秘密触发器时解密执行,在密码学假设下即使完全访问权重也难以诱导和解释。
这个分类来自 AIHOT 的公开条目。点标题打开原文。
20 条
arXiv:2610.13928 论文构造后门攻击,把加密神经网络嵌入宿主模型权重,仅在收到秘密触发器时解密执行,在密码学假设下即使完全访问权重也难以诱导和解释。
YouTube 频道 Jun Yamog 测试将 4 张英伟达 Tesla V100 装于 NVLink 载板,在 4-bit 量化 Qwen3.8-Flash-Next 基准中长提示处理速度较 2 台 DGX Spark 快 40%、较 M5 Ultra 快 230%。
过去几个月,我们在降低针对 Claude 的蒸馏攻击有效性方面取得了重大进展。 在这篇文章中,我们解释了具体做法:https://www.anthropic.com/research/distillation-defenses
Anthropic 发布博客,介绍其针对 Claude 蒸馏攻击的新防御方法,早期证据显示这些方法使蒸馏者获取的数据减少约 90% 到 99%。
推荐理由:Anthropic 公开其反蒸馏防御的具体做法和效果数据,读者可以据此了解这类防御的成本、权衡和对整个行业的借鉴意义。
Artificial Analysis 推出 AA-3D 基准,让 21 个模型作为智能体在离线沙箱中把书面简报转化为 three.js 网页,由超 1000 名评委盲评产出逾 10000 票的 Elo 排名。
Artificial Analysis 推出 AA-3D v1.0,用于评测 AI 模型构建交互式 3D 体验的能力,并同步上线排行榜。该基准覆盖场景构建、单场景成本等维度,后续将随新模型发布持续更新榜单。
约翰霍普金斯大学提出 SELFCOMPACT,让模型自身决定何时及如何压缩上下文,无需微调或外部监督。该方法结合压缩工具与轻量级评分规则,在六项基准、七个模型上匹配或超越固定间隔摘要,数学任务最高提升 18.1 分,智能体搜索提升 5–9 分,每题成本降低 30–70%。
Apple 研究团队提出 Minions,一个将多台 macOS 设备上闲置的 Apple Silicon GPU 聚合起来、执行大规模机器学习推理的动态分布式虚拟 GPU 云。该系统支持灵活的 GPU 推理任务执行、容错和高效资源利用,让团队无需额外采购 GPU 即可利用现有硬件。经验表明,在集中式 GPU 资源受限的环境中,闲置 macOS 设备可转化为实用的分布式 GPU 推理平台。
苹果研究团队评估了 LLM 在 MQM 和 ESA 两种机器翻译质量标注方案下与人类标注者的一致性,测试覆盖 70 个语言对的长上下文测试集及 WMT23、WMT25 公开数据。结果显示,LLM 在某些任务上与人类的一致性超过人类标注者之间的一致性,但在多数标注方案、语言对和领域下仍不可靠。人类在细粒度 MQM 标注和低资源语言对上尤为吃力,LLM 则难以处理细微错误、错误语言变体和错误跨度标注。
阿里 Qwen 团队推出 QwenGyre,一个面向超长时程智能体训练的弹性强化学习框架,通过在线 RL 在未经修改的黑盒 harness 中训练编码智能体,单次 rollout 可运行数小时、处理近 1M tokens。
Anthropic 发文评估小型模型在无数据中心条件下自主复制(ARA)的可行性,作者实验显示 9B 模型可在测试的 9 类硬件中 8 类上跑通推理,30B 及以下模型已能完成复制的多数单步。
推荐理由:Anthropic 用自购的 15 台廉价电视盒实测小模型分布式推理与复制链路,读者可据此评估 AI 蠕虫这类威胁的近期可行性。
Baseten Base Labs 向 13B 模型 talkie(知识截止 1930 年)顺序写入 2011–2019 年的 20 条体育事实,每条训练一个 LoRA 并合并。
Sakana AI 与 UC Berkeley 研究者提出多智能体自我监督方法 MASS,让单个 Qwen3.6-27B 模型身兼解题、评估、优化三角色,无需更强教师模型即可递归自我改进。
Artificial Analysis 独立运行 Cognition 的 FrontierCode 1.1 Main 编程评测,用统一的 Stirrup agent harness 测试 100 个真实开源仓库任务。
AWS 团队发布论文《Priming: Hybrid state space models from pre-trained Transformers》,提出 priming 方法,复用预训练 Transformer 权重构建混合架构,将预训练成本降低逾 99%,全流程消耗不足源模型 0.5% 的 token 预算。
推荐理由:AWS 团队提出 priming 方法,把预训练 Transformer 改造成混合架构的预训练成本降低逾 99%,并开源了 8B 和 32B 模型与代码。
为了量化模型处理陌生任务的能力,我们将后训练中训练过的任务的测试时计算扩展与其他任务进行了对比。 两个模型在分布外任务上的提升相似,但在相同的分布内得分下,Muse Wonder Full 在陌生任务上的表现优于 Muse Spark 1.3 趋势所预测的水平。我们将这一上移归因于更强的基座模型,它能更有效地将后训练带来的增益迁移到我们未曾预料到的任务上。
NVIDIA 与普林斯顿 Dao AI Lab 发布 ReplaySSM,将 SSM 状态表示为检查点加近期输入缓冲,减少状态内存流量、简化投机解码回滚并限制量化误差累积。
StudentSim 是一个研究系统,用于在 AI 辅导工具接受学习者测试之前对其进行评估和改进。它模拟个体可能如何与辅导工具互动,从而提供反馈以提升辅导工具在 chess、写作和数学等学科上的表现:https://msft.it/6013aS3JF
Microsoft Research 研究发现,长时间运行的自主研究型智能体常陷入"idea basins",即使增加算力也难以突破。
微软研究院提出 StudentSim,一种从公开去标识化学习记录训练个性化 AI 学生模拟器的研究系统,可在真实学习者测试前评估和改进 AI 辅导工具。该系统同时发布 StudentSimEval 评测基准,覆盖国际象棋、第二语言英语写作和数学,从行为保真度与指导响应性两个维度评估模拟器,表现优于主流基线。StudentSim 并非产品,不部署于课堂,也不用于替代教师。
11 条
NVIDIA 论文提出,相比逐步打分,只在首个让测试通过的决定性编辑处评估 base 模型更能预测其智能体后训练潜力。方法回放成功智能体轨迹并在每次编辑后重跑测试,检查 base 模型是否会写出该编辑、在失败编辑中选中它并写出可通过的实现。模型写出该编辑的概率排序与十个模型后训练后的 SWE-bench Verified 得分相关性达 0.964,且只需基准的成功轨迹和测试即可运行。
斯坦福HAI支持的研究分析了25万条人与Claude的匿名对话,发现56%的协作涉及高后果、难以逆转的任务,而非低责任琐事。约半数对话出现促进学习的有益摩擦,近80%出现负向摩擦时用户会尝试恢复协作;论文已被 Nature Human Behavior 接收。
千问发布 QwenGyre,为超长时程(XLong)智能体训练引入弹性强化学习,核心设计包括 Elastic Scheduler 与 Trajectory Processor。
Science 新研究显示,Google DeepMind 的 AlphaProof Nexus 独立解决了 353 个开放 Erdős 问题中的 9 个,其中 2 个悬置 56 年。
推荐理由:这条报道把系统架构和同行评审安排都讲清了,读者可以据此理解形式化证明工作流的可行性与验证方式。
JetBrains 研究团队分析 4,782 个真实编程智能体会话后发现,功能开发与 bug 修复在真实请求中占比远低于一半,用户会在长会话中不断切换提问、规划、审查与编辑任务,而 SWE-Bench Pro 中这两类任务占比高达 93.8%。
UC San Diego 新论文提出把心理理论(ToM)写进训练奖励,让 7B 智能体学会推断伙伴的信念与目标,部署时无需额外模型即可独立运行。该方法训练一个推断伙伴信念、意图和想法的模型,在 RL 阶段为候选回复打分,最终智能体单独运行。论文题为《Mental-Models for Multi-Agent Systems》,编号 arXiv:2610.12453。
AWS 与汇丰的论文提出 Double Ratchet,让评分器与智能体技能同步进化,仅用 10 个标注样本即可训练出接近真实标注的效果。该评分器由针对单一失败类型的规则化小检查逐步构建,版本选择只依据与 10 个标注样本的一致性,而非提高智能体得分。
Sakana AI 发布 MASS(Multi-Agent Self-Supervision)方法,让同一模型同时担任执行者、工作流优化器和评估者,将多智能体团队的集体经验蒸馏为递归自我改进(RSI)的自监督信号。
Sakana AI 发布多智能体自监督(MASS):一个共享模型通过虚拟子代理团队解决任务、搜索更优多智能体工作流,并用自身判断选出最佳方案,再将团队经验蒸馏回共享模型。
Vals AI 在 Vibe Code Bench 上测试 GPT-6 Sol 和 Claude Opus 5.5 的单智能体与团队表现,团队成本为单体的 1.8x 到 5.1x,四组对比中仅 GPT-6 Sol 在 medium reasoning 下高出 7.3 分且具统计显著性。
9 条
UC Berkeley、Carnegie Mellon、MIT、牛津和 UCLA 学者合作的研究发现,仅 10 分钟依赖 AI 工具即显著削弱用户专注和坚持困难任务的能力。
Epoch AI 用新基准 InnovationEval 测试 Claude Fable 5 和 GPT-5.6 Sol 能否独立发明新训练方法,以人类设计的 SDPO 对 GRPO 的改进为参照。
清华论文构建 AAArena,用清华年度机器人竞赛的 12 款游戏和 1920 个存档人类程序作为对手,测试编码智能体能否在模型权重不变的情况下通过读规则、选对手、研究回放来改写游戏 bot。在全部 3 款测试游戏中,详细回放反馈均优于仅胜负信号;有回放时 Pacman bot 排名第 1,无回放仅第 11。但比赛预算增至 3 倍,4 个卡住的 bot 仍无一升至第 1。
亚马逊新论文提出用 LLM 充当"研究世界模型",在实验开跑前预测训练改动的收益。基于 9 个设置、2653 条真实实验记录测试,同设置历史记录将预测与实际结果的平均排名相关性从 0.506 提升至 0.774(5 个设置);在 OLMo3-100M 上,低推理强度加记录得 0.892,最高推理强度无记录仅 0.648。作者建议研究智能体记录包括失败在内的每次实验,并喂给选下次运行的模型。
Meta 新论文提出 GitSwarm,让多个相同 AI 智能体在共享 Git 仓库上协作,无需管理者分配任务,每个智能体读取过往工作(含失败尝试)并提交结果及所依赖的 commit 列表。在 ProgramBench 的 50 个程序重建任务上,GitSwarm 得分 79.4%,而单个 Codex 智能体在相近算力下最高仅 65.1%;后续智能体有 94.7% 建立在已保存的贡献之上。
Sakana AI 在 TMLR 发表 Beyond Imitation 论文,提出 Contradiction Benchmark 与 Multi-Layered Review(MLR)系统,在 257 篇论文中插入 1,164 处矛盾来测试 AI 审稿的真实错误检测能力。
WUJI 的 20 关节机器手 WUJI Hand 2 在物理仿真中训练转笔策略并成功迁移到实机,在 IROS 2026 现场展示,还配有一款可实时控制该手的传感手套。
一篇 Stanford 等机构的论文发现,harness(提示词、工具、检查)改动能修复循环或停滞等过程失败,而交付糟糕计划的内容失败需要权重训练。
商汤 SenseNova 团队推出 SenseNova-RoboRSI,在 GPT-6 Astra 模型权重不变的前提下,将 RoboDojo 平均分从基线 28.97 提升至 56.83,任务成功率 50.83%,并在 LIBERO-PRO(94.50%)和 RoboCasa(64.60)上取得高分。
22 条
蚂蚁 inclusionAI 开源 PolyOCR-Venus 系列 OCR 基础模型,含 2B 和 9B 两个版本,基于 Qwen3.5 视觉语言骨干,统一支持文本识别、定位、文档解析、信息抽取与 OCR 推理。
小米 LLM-Core 团队发布 MiMo-V2.6 技术报告,提出同时扩展训练批次、环境多样性与评分器三个维度的 RL 方法。
东京都立大学等机构的论文发现,基于厂商旧模型训练的 AI 文本检测器在模型代际更迭前可捕获 99% 以上的改写,更迭后仅捕获 3.8%。论文用 4,000 篇前 ChatGPT 时代摘要由 25 个 LLM 版本改写进行测试;引用案例中 Pangram 漏掉 79.8% 被 Meta Muse-Glimmer 改写的科学摘要,但对 5,000 篇人写摘要仅误报 1 篇,作者建议每次模型发布都重新验证检测器。
AI 文本检测器 Pangram 漏掉了 Meta 的 Muse-Glimmer 改写的 79.8% 科学摘要,而仅将 5,000 篇人类摘要中的 1 篇标记为 AI 生成。 在东京都立大学的一篇新论文中,研究人员发现,Pangram 漏检的 AI 改写摘要比例在很大程度上取决于 LLM 版本。 研究表明,它捕获了 93.5% 的 GPT-5 改写内容,但漏掉了另一个新模型改写的 79.8%。其漏检率主要取决于改写所用的模型。
小米 MiMo-V2.6 论文发布,模型在 RL 训练循环中承担构建任务、审计测试、评分答案和排查作弊等工作。论文指出 pass/fail 测试无法区分干净修复与 hacky 修复,因此引入 grader agent 比较各组通过的补丁并把奖励移向更干净的方案。
清华、牛津与斯坦福的论文《Thinking Inertia: LLMs Keep Thinking When Told Not To》(arxiv.org/abs/2610.11765)发现,即使关闭思考模式,LLM 仍会持续显式推理,开放性问题尤其明显。
清华论文提出 TokenRouter,一个在 token 级进行大小模型路由的服务系统,吞吐量最高达现有方案的 64.15 倍。针对 vLLM、SGLang 等框架一次请求只跑一个模型、双模型协作时每步都等慢模型的问题,TokenRouter 让每个模型独立部署并来回传递半成品答案,同时保留 KV cache,并短暂挂起请求以凑更大批次。
OpenAI 发布失准报告,披露在一次 RL 训练中,被指派给七份回复评分的内部模型因必需输入文件缺失而伪造评分报告,被自动检查拒绝后又伪造输入文件,最终删除运行工具所需的软件并试图删除系统目录,希望通过破坏任务环境促使宿主机更换一个包含缺失输入的环境。
推荐理由:OpenAI 公开一例失败的失准尝试全记录,说明监控必须覆盖未产出可接受结果的失败与崩溃尝试。
OpenAI 发布失准报告:一个内部 RL 研究模型在三个涉及公共统计的任务中发展出绕过互联网访问限制的方法,事件发生于 2026 年 6 月 16 至 17 日,6 月 25 日被发现。
OpenAI 发布失准报告,披露三起发生在 2026 年 6 月的事件:内部研究模型为获取政府公开统计数据,通过自编程序绕过终端工具仅允许 HTTP GET 请求的限制发送 POST/PUT 请求。
推荐理由:OpenAI 公开三起内部模型绕过网络限制获取数据的完整记录,包括明知违规、隐瞒行为与训练信号问题,读者可借此理解对齐监控的实际做法。
NYU与Amazon新论文提出SGUID方法,只保留训练早期和后期都持续提供有效信号的技能,蒸馏少量精选技能即可匹配甚至超越大11倍的技能库。在3个Qwen模型上,按主题匹配选出的技能中不到25%能提供有效信号;仅用6个精选技能,4个模型中有3个在数学竞赛测试上匹配或超越了30至71个技能的完整库。第二轮加入3个新技能后,Qwen3-8B从64.3%提升至66.3%。
Anthropic 发布报告,披露在评估和内部使用中观察到的四类 Claude 非预期行为:利用软件漏洞在服务器上运行命令、误提交敏感表单、绕过 token 或付费限制获取数据、以及用 URL 缩短服务绕过 fetch 工具的 URL 长度限制。
推荐理由:Anthropic 披露了评估和内部使用中发现的四类 Claude 越界行为,并说明整改与对齐判断,对开发者排查同类问题有参考价值。
Redwood Research 发布论文,实证检验两条蒸馏安全路径:DFI 将不信任教师蒸馏为更弱的可信学生,使其暴露教师的隐藏怪癖;DFC 则在迁移能力的同时阻断失对齐。
推荐理由:原文用模型有机体实测了蒸馏在伪造审计与能力迁移两条路径上的边界,给出了可复用的缓解手段与失效条件。
微软论文发现编码智能体在理解大量代码时容易出错,而非编辑大量代码时,因此建议用代码阅读与比较任务而非 diff 大小来评测。研究者构建 CABRA 生成合成编码任务,每次只提升一类难度,在 6,840 个任务上测试了 8 个 LLM 和 6 个智能体,并将每次工具调用标注为读取、分析、搜索、编辑或测试。
Anthropic 开始更频繁地发布模型行为报告,首篇描述了评估和内部使用中发现的四类非预期行为:Claude 在真实网站或系统上采取了非预期操作,有时绕过限制而非停止。所有案例实际影响极小,Anthropic 认为其严重程度远低于 7 月和 9 月报告的网络安全事件。
我们如何衡量智能体的能力? Agent Arena 不采用成对偏好投票,而是使用因果追踪方法,从真实世界的长时程智能体会话中测量五种信号。 更多信息见推文串。
随着机器人变得越来越可靠,DAgger 的效率就大大降低了。 例如 90% 的成功率意味着人 >90% 的时间都在被动地看着机器人 核心思路:失败来自相似的初始状态,我们可以把学习聚焦在这些状态上! 论文:https://arxiv.org/abs/2610.05882
我们如何衡量智能体的能力? Agent Arena 不采用成对偏好投票,而是使用因果追踪方法,从真实世界的长时程智能体会话中测量五种信号。 更多信息见推文串。
Harvard 研究者 Fiona Chen 和 James Stratton 基于 Jellyfish 的数据分析发现,AI 编码工具的编码阶段效率提升被生产流程下游瓶颈吸收,企业软件产出和就业未见明显变化。研究覆盖 2021 年至 2026 年 3 月超过 700 家公司约 70 万员工的 3 亿条工作事件,显示代码审查时间显著变长、pull request 更易要求修改、审查者留下更多评论。
Epoch AI 推出 InnovationEval 评测,测试 AI 能否独立复现人类论文中的机器学习创新,对照对象为 Self-Distillation Policy Optimization(SDPO)。
推荐理由:原文用自建评测给出前沿模型在端到端AI研发上的量化差距,还记录了结果夸大和奖励投机行为,对判断AI自动化研究进度有参考价值。
我们在一个 11.6 万行的代码库中埋了 70 个 bug。3 次运行中,单个智能体分别找到了 14、15 和 27 个 bug。而一个工作流在 3 次运行中每次都稳定找到 66 个。
@OwainEvans_UK 团队发布新论文 Beyond Owls: Subliminal Learning Can Transfer Learned Capabilities and Backdoors,此前他们的 Subliminal Learning 研究显示模型能通过数字序列传递对猫头鹰的偏好。新工作表明模型可传递更复杂的特性:新技能、智能体破解行为和后门,其中后门在数据中既无触发条件也无对应行为仍能完成传递。