CHlNAESEⅩⅩⅩⅩⅩ无需TransformCHlNAESEⅩⅩⅩⅩⅩer,简单滤波器即可提高时间序列预测精度_ZAKER新闻
无需TransformCHlNAESEⅩⅩⅩⅩⅩer,简单滤波器即可提高时间序列预测精度_ZAKER新闻
进入4月后,美国开始降低对华调门,国务卿布林肯、财政部长耶伦、总统国家安全事务助理沙利文等官员先后表达希望与中方对话沟通的意愿,并试图通过不寻求对华 “脱钩”、不寻求两国冲突等表态释放缓和信号。随后的4月24日,中国国家主席习近平在人民大会堂接受70位驻华大使递交国书,其中包括美国驻华大使伯恩斯。尽管这并非一对一的会见,但时值中美关系的困难时期,同样引发外界关注。
无需 Transformer,简单滤波器即可提高时间序列预测精度。由国家信息中心、牛津大学、北京理工大学、同济大学、中国科学技术大学等机构的团队提出了一个FilterNet。目前已被 NeurlPS 2024 接收。准确预测时间序列,对于能源、气象、医疗等领域中来说都非常重要。目前很受欢迎的一类预测模式是基于 Transformer 网络进行建构的。但是,Transformer 并不是万能的,尤其是对于时间序列预测这样的问题来说,它的结构显得有点过于复杂。以 iTransformer 模型为例,它存在很多问题,比如对高频信号的响应较弱从而导致全频段信息利用受限、计算效率低下等,这些问题会大大影响模型的预测精度。那么,FilterNet 有哪些创新之处?研究动机:现有模型架构存在频段信息利用瓶颈时间序列信号往往由不同频段信号组成,为了探究现有模型能否对频域信号进行准确捕捉,团队设计一个简单的模拟验证实验。首先,他们利用低频、中频和高频分量合成的信号作为实验数据(见图 1 ( a ) )来测试时序模型的预测性能。从图 1 ( b ) 可以看出,当前时序预测的先进模型 iTransformer 表现不佳。这表明,即使是由三种不同频率成分组成的简单信号,当前先进的基于 Transformer 的模型仍无法充分学到相对应的频谱信息。相比之下,在传统的信号处理(signal processing)领域,简单的频率滤波器具备许多优秀特性,例如频率选择性、信号调制和多速率处理。这些特性有望显著提升模型在时间序列预测中提取关键信息频率模式的能力。因此,受信号处理中滤波过程的启发,研究团队提出了一种非常简单并且高效的学习框架— -FilterNet,用于时间序列预测任务。研究方法:滤波器网络(FilterNet)FilterNet 的设计极其简单,整体框架如下图所示:FilterNet 的核心模块是频率滤波模块(Frequency Filter Block),包含团队设计的 2 种可学习滤波器:1.Plain Shaping Filter:使用最简洁的、可学习的频率滤波器,实现信号滤波与时间关系的建模。2.Contextual Shaping Filter:针对利用滤波后的频率与原始输入信号的兼容性,进行依赖关系的学习。具体来说,FilterNet 的各个组件有:1. 实例归一化(Instance Normalization)时间序列数据通常是在较长时间跨度内收集的,这些非平稳序列不可避免地使预测模型面临随时间变化的分布偏移。像很多时序预测模型一样,团队采用了可逆 Instance Normalization,如下所示:2. 频率滤波模块(Frequency Filter Block)时间序列预测器可以视为针对关键信号的捕捉,从某种程度上,也可以看作在频域上进行了一次滤波过程。基于此,研究人员直接设计了一个滤波器模块来建模相应的关系,具体为:文中包含两类滤波器,分别为 plain shaping filter ( PaiFilter ) 和 contextual shapingfilter ( TexFilter ) 。PaiFilter 直接通过初始化一个权重参数来模拟对应的滤波器,具体为:相对应的,TexFilter 则通过一个可学习的神经网络来生成相应的滤波器,完成对应的滤波学习,具体为:3. 前馈神经网络(Feed-forward Network)频率滤波模块建模了时间序列数据中的一些主要时间依赖关系,随后他们利用前馈神经网络(Feed-Forward Network)建立这些时间依赖关系和未来 τ 个时刻数据的关系,最后进行预测,并对预测值进行反归一化操作。FilterNet 在各种场景下都表现优越1. 预测结果实验在八个时间序列预测基准数据集上进行了广泛的测试,结果表明,与最新的预测算法相比,FilterNet 模型在不同预测场景中均表现出卓越的性能。其中,PaiFilter 在小数据集上(变量数较小,如 ETT、Exchange 数据集)表现更好,而 TexFilter 则在大数据集上(变量数较多,关系更为复杂,如 Traffic、Weather 数据集)表现出强有力的竞争力。2. 频率滤波器的可视化图 7 是学习到的滤波器的频率响应特性的可视化图表,表明 FilterNet 具备全频段的信号处理能力。此外,如图 8 所示,在 ETTm1 数据集上针对不同预测长度进行的可视化实验进一步证明了 FilterNet 的强大处理能力。3. 预测结果的可视化与其他最新模型相比,FilterNet 在预测未来序列变化方面展现了出色的准确性,充分证明了其卓越的性能。4. 效率分析团队还在两个不同的数据集上对 FilterNet 进行了相应的效率分析实验,实验结果表明,无论数据集大小,FilterNet 都表现出比 Transformer 方法更高的效率。虽然在每个 epoch 训练时间上,FilterNet 比 DLinear 略差,但是 FilterNet 效果比 DLinear 要好。为时间序列预测提供新思路这篇论文是首次尝试将频率滤波器直接应用于时间序列预测的工作,从信号处理的角度切入是一个非常有趣的新思路。研究团队提出了一种简单而高效的架构—— FilterNet,该架构基于他们设计的两类频率滤波器来实现预测目标。在八个基准数据集上的全面实验证明了 FilterNet 在效果和效率方面的优越性。此外,团队成员还对 FilterNet 及其内部滤波器进行了细致深入的模型分析,展示了其诸多优秀特性。他们表示,希望这项工作能够推动更多研究,将信号处理技术或滤波过程与深度学习相结合,提高时间序列建模与精确预测的效果。Paper Link:https://arxiv.org/abs/2411.01623Code Repository:https://github.com/aikunyi/FilterNet— 完 —投稿请发邮件到:ai@qbitai.com标题注明【投稿】,告诉我们:你是谁,从哪来,投稿内容附上论文 / 项目主页链接,以及联系方式哦我们会(尽量)及时回复你点这里关注我,记得标星哦~一键三连「分享」、「点赞」和「在看」科技前沿进展日日相见 ~koa12jJid0DL9adK+CJ1DK2K393LKASDad
编辑:谢大海
TOP1热点:冬去春会来 雪化花会开
据安徽日报报道,今年“三夏”期间,安徽省计划投入联合收割机约20万台,机收率预计在98.5%以上,力争用10天左右时间基本完成该省小麦抢收任务。。
双方举行会谈后,在美国商务部发布的声明中,雷蒙多表达了她致力于在中美两国元首2022年11月在印度尼西亚巴厘岛的接触的基础上继续跟进的决心。
TOP2热点:冬去春会来 雪化花会开
山东一饲料厂工作人员向中新经纬介绍,河南今年已经收割的芽麦,大多都流入了饲料厂,价格低至0.5元/斤。“比玉米便宜太多了,只要能拉过来,我们自己烘干也划算。”
网传“5月31日,津南某桂园东门八里台路地面发生波浪状凸起,路面胀开,附近楼居民部分撤离”。刚刚,津南区政府发布情况通报——
TOP3热点:当中国留子把外国同学带回中国14may18_XXXXXL56endian_MBA
“整体看,持续降雨天气影响到的主要为黄河以南陆续进入收割期的小麦,以及黄河北部部分早熟小麦品种。目前部分地区已经陆续放晴开始抢收新季小麦,在颗粒归仓之前难言整体产情,还需持续关注。”王晓康预计,待6月中旬小麦集中收割上市后,短期小麦供应的增加或导致小麦市场整体价格重心下移,在探至相对低点后,在多方竞收下价格或再度缓慢上涨。(中新经纬APP)
TOP4热点:没有你们,就没有我今天的成就,感谢全国网友的支持与喜爱!嘿呦一二呦
卓创资讯小麦分析师王晓康表示,在成本面与供需面的影响下,5月面粉市场价格先降后涨,变动幅度相对较大。展望后市,新麦集中上市到面粉厂实际使用仍需时间,6月上旬成本面或支撑面粉价格底部,市场心态观望,面粉价格或仍在相对高位运行,随着新粮集中上市,供需面转松,6月中下旬面粉价格有自高位回落可能。
在山东章丘,陈麦价格也在上涨。“现在都盯不住价格,一天一个价,两三天时间就从1.26元/斤涨到了1.35元/斤。”章丘某粮食收购商称。
TOP5热点:巅峰再现!直面新神!1.0老将希儿跨越两个大版本的1金0t!四川少妇BBw搡BBBB槡BBBB
美国为一己之私,不顾地区国家求稳求治的诉求,通过利诱胁迫,把别国顶在前面当枪使,根子上是唯美独尊的霸权体系,是在损害地区安全和发展。美国加大地区兵力部署,常态化开展针对性极强的演训活动,四处侵权挑衅,耀武扬威,破坏地区和平稳定,动摇各国追求发展繁荣根基,美国的这些做法及其背后用意值得高度警惕。
TOP6热点:小女子勇敢去做一面亲一面膜下的免费
受影响的不止河南。据九派新闻报道,在安徽临泉县的各个高速路口,临时搭建的农机跨区作业接待站点,村民李田(化名)凌晨4点就来这里等候。他想找一台收割机,趁着天晴收了小麦,但等了12个小时,一台收割机都没有等到。旁边的张生(化名)蹲在地上,眉头紧锁,他和李田凌晨“前后脚”到的服务站,来等机器的农户越来越多,却看不到收割机的踪影。
《2022年上海市网络安全产业创新攻关目录》主要涉及基础技术、应用技术和服务业态创新三个类别,包括隐私计算、新一代数字身份认证、人工智能安全等15个方向。
TOP7热点:OPPO 新春影片《外婆的日历》今日上映!欧美人与人动人物2020
6月2日,五得利面粉销售一部相关工作人员向中新经纬证实了涨价一事,但其同时提到实际涨幅并不像网传“一袋涨20元”那么夸张。“<strong>一袋大概是涨了十多元,各地涨幅不一样,都是根据原粮成本去核算的。</strong>”该工作人员称。
TOP8热点:逆 天 银 魂 拜 年白袜大学生宿舍打✈️Tv漫画
王晓康向中新经纬表示,春节之后,小麦整体价格重心处于下行状态。“从国内供需面来看,制粉需求持续低迷,而前期售粮进度偏慢,粮商陆续认价出货,市场余粮供应宽裕,且轮换粮持续投放市场,小麦进口量环比增加,市场整体供大于求,价格重心走低。”
TOP9热点:一个关于攀岩的困难游戏,掘地求升2公交车被多人伦㢨系文字
我们在台海周边组织的军事反制行动,针对的就是“台独”分裂活动和外部势力干涉,天经地义,无可指摘。改变现状的帽子扣不到我们的头上。美方“以台制华”、“台独”挟洋自重才是改变现状,破坏稳定。
中新经纬6月2日电 (闫淑鑫 实习生赵薇)近期,受降雨影响,河南等地小麦收割受到社会各界关注。随着全国小麦陆续进入集中收获期,多地打响了“小麦抢收战”。
TOP10热点:羊村第四季(5)汉字を
中新经纬在北京朝阳区某超市内看到,五得利面粉最近并未调价,分产品类别,每袋(5kg)25-32元不等。“还没收到涨价通知,不知道下一次进货的时候会不会涨。”该超市工作人员称。
中新经纬在北京朝阳区某超市内看到,五得利面粉最近并未调价,分产品类别,每袋(5kg)25-32元不等。“还没收到涨价通知,不知道下一次进货的时候会不会涨。”该超市工作人员称。