当前位置:文章 > 列表 > 正文

Representation:讯息如何决定模拟 Koopman Information Shapes - 智力外包

绿水青山就是金山银山。
📅 2026-04-23 16:52:04 🏷️ 贵金属开户平台 👁️ 829
Representation:讯息如何决定模拟 Koopman Information Shapes

1、长期预测误差,本原上来自逐步累积之讯息损失 Koopman表征修习疑难于于,Koopman 表征并不只为像旧俗潜方位修习法门,比如Autoencoder、Variational Autoencoder,一样「学一名能重修输入之 latent」。

基于上面之剖析,论文进一步构造之一名讯息论驱动之 Lagrangian 宗旨,把互讯息、架构一致性项、重修项以及 von Neumann entropy 一统到一名可改良框架中(图2(a))。

经济学。政坛

物理动力体系预测:如 Lorenz 63、Kármán vortex、Dam flow、ERA5 气象预测;高维视觉输入下之控制与表征修习:如 Planar、Pendulum、Cartpole;图架构动力学预测:如 Rope 与 Soft Robotics(如图1)。

上排较量之不同 baseline 法门于 latent space 中之轨迹分布,论文法门之 rollout 轨迹更接近单步预测,也更符合确凿动力学之极限圆演化架构;下排展示之 Koopman 谱分布,论文法门学到之特征值更多分布于单位圆附近,形成之更稳固之几何架构。

枢纽不再为能否找到一名线性化之潜方位,而为于有尽维约束下,哪些讯息为须被保留之,才能使动力学既可传播又可预测。

论文首先从讯息传播之角度剖析之 Koopman 潜方位传播之误差来源。

大多数全球模型工默认:只要学到一名好之 latent dynamics,疑难就处置之。

于此一视角下,Koopman 法门中之 simplicity 与 expressiveness 不再为调参阅历,而为被明确为一名讯息论上之改良宗旨。

Koopman 算子正为此样一种诱者之框架,它试图将繁体系嵌入潜方位,使其演化近似线性。

图5:于其余两类图架构与视觉输入动力学体系上之泛化表现。

文忠路

然而,此种线性化并不为免费之,它依赖于一名精心构造之表示方位,而此名方位本身才为最难修习之部分。

2、不为所有讯息皆一样重要。

实验结局:不仅更准,而且更稳 此篇论文之切入点,为把此名疑难重新放回到讯息瓶颈(Information Bottleneck, IB)框架下体谅。

MI 项对应于Temporal Coherence,强调光阴上之稳固传播;线性 forward 一致性项对应于Structural Consistency,保证潜方位演化与 Koopman 线性架构一致;VNE 项对应于Predictive Sufficiency,帮模型保留足够丰富之有效模态;再结合 reconstruction / ELBO 项,使整名模型能够于实际操练中稳固改良。

社会治理。

左为图架构动力学场景,以带有噪声之 Rope 与 Soft Robotics 两名差事为例;右为视觉输入场景,以 Planar、Pendulum 与 Cartpole 控制差事为例。

最左列为确凿物理场,最右列为本文法门之预测结局。

论文发觉,MI之确会优先把讯息分发给最稳固、最有收益之少数模态,但此也会带来副作用:讯息过度集中到几名 dominant modes 上,导致潜方位有效维度降,现mode collapse。

英国University College London (UCL) 博士程小远、新加坡Nanyang Technological University (NTU) 博士元文瑄(master project),为本文共同第一作者;法国Institut Polytechnique De Paris 程思博教授、美国Santa Fe Institute 施密特学者章元肇等,为本文协作者,上海财经大学助理教授孙卓,为本文通讯作者。

它之作用,不为简再加一名正则项,而为尽量免除模态讯息过度集中,让潜方位保必要之模态多样性。

Temporal Coherence:潜方位表示要能稳固地随光阴传播;Structural Consistency:潜方位中之演化要尽量符合 Koopman 之线性架构;Predictive Sufficiency:表征里要保留足够多、足够枢纽之动力学模式,才能支撑长期预测。

此篇工之重要性,于于它把 Koopman 表征修习从一名技巧性法门,重新嵌入到全球模型之基本疑难之中。

断语甚直观: 一名自之思路为:若非线性动力学难以建模,能否把它转变为线性疑难。

截至发稿,华勤技艺报86.5港元/股,较发行价涨11%,总市值约929亿港元。

图6: Kármán vortex 差事上之 latent space 几何分布与 Koopman 谱架构可视化。

level

1、若 latent 保留之讯息太多,表征会更丰富,但甚难维持简稳固之线性架构; 对应到 Koopman learning,此里形成之一名动态之讯息瓶颈公式: 全球模型于Koopman表征下难之,不只为「学一名 latent」 论文地址:https://openreview.net/forum?id=Szh0ELyQxL代码地址:https://github.com/Wenxuan52/InformationKoopman 此就带来之两名需权衡之疑难: 为什么互讯息重要,但只靠互讯息还不够。

但只能通过互讯息来量化error还不够,因此只能告诉吾等损失之多少,却不能告诉吾等损失之为哪一类讯息。

主持人

相比易现谱倒退与轨迹漂移之 baseline,加入 MI 与 VNE 后,模型学到之特征模态更加稳固,长期轨迹也更接近确凿动力学架构。

此项工从动态讯息瓶颈之角度重新审视 Koopman 表征修习,明确 Koopman learning 真正所需之讯息,并据此构造出一名可改良之宗旨。

简来说,此篇论文之核心洞察就为:MI 负责保住「对之模态」,VNE 负责保住「足够多之模态」(图2(c))。

彼么,一名甚自之想法为:既然temporal-coherentinformation最重要,彼为不为只要尽量增大此部分互讯息就够之。

于有尽容量下,一名好之 Koopman 表征,到底该保留什么讯息。

家庭

也就为说,该论文将 "一名好之 Koopman 表征该保留什么讯息" 此名疑难,转换成之一名可改良之操练宗旨。

消博会。

故,该论文真正想回答之疑难不为 "再加一名模块",而为顺之此名Trade-off: 图2:讯息论 Koopman 框架。

更重要之为,此名宗旨与 Koopman learning 之三名核心性质为一一对应之(图3): 结局表明,此套法门于短期与长期预测误差上优于多种 Koopman baseline(图4与5)。

有机统一。

上方为从理论剖析得到之一统 Lagrangian:由互讯息项、von Neumann entropy项、重构项共同构成;下方为对应之可操练宗旨,进一步对应到 Koopman 表征修习中之三名性质。

全球模型关之从来不为表示本身,而为一名表示为否包含足够之讯息去支动力学之预测与控制。

相较量而言,它还需同时知足三名更强之性质: 针对质疑,上述客服者员表示,已将相关疑难回馈至上级与相关技艺部门,将进一步之解实在情况并改良相关机制。

图3:提出之Information-shaped Koopman 宗旨及其可改良样貌。

3、只最大化 MI,会导致 mode collapse 从讯息瓶颈角度看待修习动力学之疑难 因此,真正之核心疑难不为如何修习一名隐变量表征,而为:于有尽维表示中,究竟哪些讯息须被保留,才能支撑稳固之动力学传播与长期预测。

围绕此名宗旨,论文给出之三名相互衔接之理论断语。

此一思路于物理表示、气象预测与流体控制中具有极强吸引力。

但此名设想本身为可疑之——什么样之讯息,才足以支撑一名可预测、可传播之动力学。

依山傍水。
无人驾驶

目前,该成果已被 ICLR 2026 Oral 接收。

2、若压缩得太狠,又易丢掉长期预测真正需之枢纽模态。

Techno-logy。

(a) 带有 Information-shaped 改良宗旨之 Koopman 表征修习架构总览;(b) Koopman 模态与互讯息项对应关系;(c) 互讯息(MI)与冯·诺依曼熵(VNE)对模态中讯息分发之水填充效应。

图4:全球气象场包括寰宇重力势能、温度、湿度与风速。

小s

彼么核心宗旨就变成:修习一种 Koopman representation ,使其对前景状态具有最大之线性可预测性(Relevance↑),同时保尽或架构紧凑(Complexity↓)。

本文从讯息论出发,重新审视此一先决。

为此,UCL、ICL、Santa Fe Institute、Institut Polytechnique De Paris、上海财经大学最新联手提出Information Shapes Koopman Representation。

此意味之,Mutual Information(互讯息,MI)直接关系到 Koopman 表征能够保住多少预测本领。

经典之讯息瓶颈强调:一名好之表征,并不为尽量把输入中之所有讯息皆搬进 latent,而为于压缩之同时,保留对下游差事最重要之讯息。

图1:软体机器者之模拟以及控制 当原始非线性体系被 Koopman 表征近似时,每一步传播皆会损失一部分预测相关之讯息,而长光阴预测误差,就为此些小损失一步步累积起来之结局。

车厘子

因而疑难生之转变。

从理论走向算法:一名真正「information-shaped」之 Koopman 宗旨 实验部分,论文于三类差事上验证之此套法门: 尤其为于 Kármán vortex 之可视化中,于谱性质与manifold 架构上,论文展示之一名甚有说服力之表象(图6): 为之缓解此名疑难,论文又引入之von Neumann entropy(VNE)。

上一篇:头部具身大脑公司获数亿元融资,多家海外基金加注、曾获阿里注资|硬氪首发 下一篇:门将只拿过一次金球?诺伊尔:吾等接受,甚少者之解此名位置