
传奇 Mythos 太危境被封印?有东谈主反手就给他"重建"并开源了广安塑料挤出机。
OpenMythos,整了公开盘问和当今对 Claude Mythos 架构的主流测。
OpenMythos 完了了个带有 MoE 路由机制的轮回度 Transformer(Recurrent-Depth Transformer ,RDT),通过跨的权重分享和要求筹画来完了迭代度。
已有盘问阐述,这种架构仅用 1 半参数,就能获取与传统模子同等的果。
把这些碎屑拼在起的东谈主叫 Kye Gomez,22 岁,Swarms 智能体框架首创东谈主。
他盘算的 RDT 架构有三个中枢点:
让同组权重多反复跑 16 遍
每次走不同的旅途
理全程在潜在空间完成。
三者力,让个问题"想多遍"比堆参数。
已往两年,AI 行业的圭臬法是堆叠上百层不同的 Transformer 层,每层学到不同的东西,参数目径直爆炸。
RDT 无谓上百层,只用几层,多反复轮回跑 16 遍,每遍齐基于前轮的服从链接筹画。
同个东西跑 16 遍,那不是虚耗算力吗?
RDT 的回复是不会重迭,因为每次轮回激活的是不同的""。
轮回块里面用了混层,MoE 路由器在每次轮回中激活不同的子集。
MoE 的盘算上模仿了 DeepSeekMoE:多数细粒度路由,加小数长久在线的分享。
Gomez 把这套盘算归来成句话:
MoE 提供域学问的广度广安塑料挤出机,轮回提供理的度。
广度和度齐有了,还需要套巩固机制保证轮回不会跑飞。
来自 UCSD 和 Together AI 的新论文 Parcae: Scaling Laws For Stable Looped Language Models 提议 LTI 巩固轮回注入让每轮不发散。
推行顶用 770M 参数的 RDT 追平了 1.3B 参数的圭臬 Transformer。
参数目少了近半,果样。
后块拼图是连气儿潜在空间理。16 轮理一齐在 hidden state 向量中完成,不生成任何中间 token。直到后轮轮回鸿沟,才输出谜底。
手机:18631662662(同微信号)这和 Chain-of-Thought 不同。CoT 是"想步,塑料管材生产线写步,再想步,再写步",中间 token 一齐裸露给东谈主类阅读。
RDT 是"想完 16 遍才说句话",理经过内化。
Kye 还援用了俄亥俄州立大学的篇论文,对轮回 Transformer 架构作念了两个枢纽推行。
个:系统泛化。
磨练时从没见过的学问组,理时轮回 Transformer 照样能答对,圭臬 Transformer 径直失败。
这证明轮回不是重迭筹画,是真确的"层念念考"。
二个:度外。
磨练时只教了 20 跳理链,测试时径直给 30 跳。
轮回 Transformer 的搪塞式等于在理时多加几轮轮回,圭臬 Transformer 径直崩溃。
这些服从说明刻下大模子在预磨练中仍是记着了多数事实,瓶颈在于学问组。
它们法将已知县实串联起走动复新颖问题。轮回似乎隐晦锁了这种组智力。
若是这些论断斥地,Scaling 的主流将从"磨练大的模子"转向"让现存模子在理时多想几遍"。
有了这些盘问服从,Anthropic 的 Mythos 是否果真用了这套架构,似乎仍是不首要了。
对轮回 Transformer 的估计仍是蛊卦了来自学术界的多数眼神。
多表面和推行考据正在路上。
GitHub:
https://github.com/kyegomez/OpenMythos#the-central-hypothesis
参考磋磨:
[ 1 ] https://x.com/KyeGomezB/status/2045660378844024994
[ 2 ] https://arxiv.org/abs/2604.07822
[ 3 ] https://arxiv.org/abs/2604.12946
键三连「点赞」「转发」「提神心」
接待在驳斥区留住你的成见!
— 完 —
� � 谁会代表 2026 年的 AI?
龙虾爆火,带动波 Agent 与繁衍产物波浪。
但真恰巧得经久眷注的 AI 公司和产物,大约不啻于此。
若是你正在作念,或见证着这些变化,接待通告。
让多东谈主看见你。� � https://wj.qq.com/s2/25829730/09xz/
键眷注 � � 点亮星标
科技前沿阐发逐日见
相关词条:玻璃棉 塑料挤出机厂家 钢绞线 管道保温 PVC管道管件粘结胶1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定,并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方,并积极配合修改。
3.凡用户访问本网页,均表示默认详情页的描述,不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》广安塑料挤出机,以此来变相勒索商家索要赔偿的违法恶意行为。