XX X18HD19HD无需Transformer，简单滤波器即可提高时间序列预XX X18HD19HD测精度_ZAKER新闻
无需Transformer，简单滤波器即可提高时间序列预XX X18HD19HD测精度_ZAKER新闻
仲夏时节，走进位于江西省南昌县的省农业科学院附近的试验田，只见超级水稻研究发展中心的科研人员头戴草帽，赤脚撸袖，左手攥秧把，右手插秧苗。“现在正是早稻扬花季、中稻插秧期。我们紧抓试验的关键节点，发挥党支部战斗堡垒作用，开展田间技能大赛等活动，让党建为科研添动力。”中心党总支书记刘秀梅说。
无需 Transformer，简单滤波器即可提高时间序列预测精度。由国家信息中心、牛津大学、北京理工大学、同济大学、中国科学技术大学等机构的团队提出了一个FilterNet。目前已被 NeurlPS 2024 接收。准确预测时间序列，对于能源、气象、医疗等领域中来说都非常重要。目前很受欢迎的一类预测模式是基于 Transformer 网络进行建构的。但是，Transformer 并不是万能的，尤其是对于时间序列预测这样的问题来说，它的结构显得有点过于复杂。以 iTransformer 模型为例，它存在很多问题，比如对高频信号的响应较弱从而导致全频段信息利用受限、计算效率低下等，这些问题会大大影响模型的预测精度。那么，FilterNet 有哪些创新之处？研究动机：现有模型架构存在频段信息利用瓶颈时间序列信号往往由不同频段信号组成，为了探究现有模型能否对频域信号进行准确捕捉，团队设计一个简单的模拟验证实验。首先，他们利用低频、中频和高频分量合成的信号作为实验数据（见图 1 ( a ) ）来测试时序模型的预测性能。从图 1 ( b ) 可以看出，当前时序预测的先进模型 iTransformer 表现不佳。这表明，即使是由三种不同频率成分组成的简单信号，当前先进的基于 Transformer 的模型仍无法充分学到相对应的频谱信息。相比之下，在传统的信号处理（signal processing）领域，简单的频率滤波器具备许多优秀特性，例如频率选择性、信号调制和多速率处理。这些特性有望显著提升模型在时间序列预测中提取关键信息频率模式的能力。因此，受信号处理中滤波过程的启发，研究团队提出了一种非常简单并且高效的学习框架— -FilterNet，用于时间序列预测任务。研究方法：滤波器网络（FilterNet）FilterNet 的设计极其简单，整体框架如下图所示：FilterNet 的核心模块是频率滤波模块（Frequency Filter Block），包含团队设计的 2 种可学习滤波器：1.Plain Shaping Filter：使用最简洁的、可学习的频率滤波器，实现信号滤波与时间关系的建模。2.Contextual Shaping Filter：针对利用滤波后的频率与原始输入信号的兼容性，进行依赖关系的学习。具体来说，FilterNet 的各个组件有：1. 实例归一化（Instance Normalization）时间序列数据通常是在较长时间跨度内收集的，这些非平稳序列不可避免地使预测模型面临随时间变化的分布偏移。像很多时序预测模型一样，团队采用了可逆 Instance Normalization，如下所示：2. 频率滤波模块（Frequency Filter Block）时间序列预测器可以视为针对关键信号的捕捉，从某种程度上，也可以看作在频域上进行了一次滤波过程。基于此，研究人员直接设计了一个滤波器模块来建模相应的关系，具体为：文中包含两类滤波器，分别为 plain shaping filter ( PaiFilter ) 和 contextual shapingfilter ( TexFilter ) 。PaiFilter 直接通过初始化一个权重参数来模拟对应的滤波器，具体为：相对应的，TexFilter 则通过一个可学习的神经网络来生成相应的滤波器，完成对应的滤波学习，具体为：3. 前馈神经网络（Feed-forward Network）频率滤波模块建模了时间序列数据中的一些主要时间依赖关系，随后他们利用前馈神经网络（Feed-Forward Network）建立这些时间依赖关系和未来 τ 个时刻数据的关系，最后进行预测，并对预测值进行反归一化操作。FilterNet 在各种场景下都表现优越1. 预测结果实验在八个时间序列预测基准数据集上进行了广泛的测试，结果表明，与最新的预测算法相比，FilterNet 模型在不同预测场景中均表现出卓越的性能。其中，PaiFilter 在小数据集上（变量数较小，如 ETT、Exchange 数据集）表现更好，而 TexFilter 则在大数据集上（变量数较多，关系更为复杂，如 Traffic、Weather 数据集）表现出强有力的竞争力。2. 频率滤波器的可视化图 7 是学习到的滤波器的频率响应特性的可视化图表，表明 FilterNet 具备全频段的信号处理能力。此外，如图 8 所示，在 ETTm1 数据集上针对不同预测长度进行的可视化实验进一步证明了 FilterNet 的强大处理能力。3. 预测结果的可视化与其他最新模型相比，FilterNet 在预测未来序列变化方面展现了出色的准确性，充分证明了其卓越的性能。4. 效率分析团队还在两个不同的数据集上对 FilterNet 进行了相应的效率分析实验，实验结果表明，无论数据集大小，FilterNet 都表现出比 Transformer 方法更高的效率。虽然在每个 epoch 训练时间上，FilterNet 比 DLinear 略差，但是 FilterNet 效果比 DLinear 要好。为时间序列预测提供新思路这篇论文是首次尝试将频率滤波器直接应用于时间序列预测的工作，从信号处理的角度切入是一个非常有趣的新思路。研究团队提出了一种简单而高效的架构—— FilterNet，该架构基于他们设计的两类频率滤波器来实现预测目标。在八个基准数据集上的全面实验证明了 FilterNet 在效果和效率方面的优越性。此外，团队成员还对 FilterNet 及其内部滤波器进行了细致深入的模型分析，展示了其诸多优秀特性。他们表示，希望这项工作能够推动更多研究，将信号处理技术或滤波过程与深度学习相结合，提高时间序列建模与精确预测的效果。Paper Link：https://arxiv.org/abs/2411.01623Code Repository：https://github.com/aikunyi/FilterNet— 完 —投稿请发邮件到：ai@qbitai.com标题注明【投稿】，告诉我们：你是谁，从哪来，投稿内容附上论文 / 项目主页链接，以及联系方式哦我们会（尽量）及时回复你点这里关注我，记得标星哦～一键三连「分享」、「点赞」和「在看」科技前沿进展日日相见 ~koa12jJid0DL9adK+CJ1DK2K393LKASDad
编辑:张伍
TOP1热点：中国医师节
陕西宝鸡――。
TOP2热点：来电科技创始人袁冰松失联
本报南宁7月3日电（记者庞革平）近日，记者从广西壮族自治区医疗保障局召开的新闻发布会上获悉：今年7月1日起，广西职工基本医疗保险（含生育保险）和城乡居民基本医疗保险参保人员在参保统筹地区外、自治区内定点医药机构异地就医，实行“免备案”管理服务。
TOP3热点：腾讯控股二季度净利润增 53%XX X18HD19HD
实现伟大梦想需要一代一代青年矢志奋斗。在第二十七届“中国青年五四奖章”获得者中，奥运冠军切阳什姐以10多万公里的训练里程向金牌冲击；快递员秦文冲每天驾驶百多公里将货物安全送达家家户户；科研工作者吴丹面对技术难题和未知挑战百折不挠、孜孜不倦……他们高扬奋斗风帆，在实现个人价值的同时创造社会价值。新时代是奋斗者的时代。幸福源自奋斗，奋斗才会成功。广大青年当以永不懈怠的精神状态、永不停滞的前进姿态，接续奋斗、苦干实干，为强国建设、民族复兴铺路架桥、添砖加瓦。
TOP4热点：当事老板娘回应穿着清凉被拍小雪尝禁果又粗又大的中国地图
既要解剖典型，又要把握全局。
TOP5热点：樊振东孙颖莎取关早田希娜麻花传MD0174苏蜜清歌
“国家发展靠人才，民族振兴靠人才。天津大学历来高度重视人才工作。”在天津大学第三次人才工作会上，中国工程院院士、天津大学校长金东寒深入分析了做好新时代人才工作的战略性与紧迫性，持续加强党的创新理论武装，优化干部选育管用工作，全方位培养、引进、用好人才，成为新时代人才强校战略的“天大方案”。
TOP6热点：绝味食品被证监会立案👙mofos👙فىلىم.
贵州还探索建立货车司机联系机制，全省3588名乡镇（街道）组织委员或村（社区）党组织书记联系党员货车司机5179名，这些党员货车司机再联系27220名货车司机，党组织、党员的力量和作用得到充分发挥。
TOP7热点：7 月社会消费品零售总额增长 2.7%小雪好湿⋯好紧⋯太爽了漫画
理想是指引青年成长进步的灯塔。有了理想，奋斗才有目标，人生才有航向。习近平总书记曾寄语广大高校毕业生“把个人的理想追求融入党和国家事业之中，为党、为祖国、为人民多作贡献”。今天，乡村振兴、科技创新、产业报国、教书育人……党和国家事业发展为青年实现理想、施展抱负提供了广阔舞台。一个人可以有很多志向，但人生最重要的志向应该同祖国和人民联系在一起。广大青年结合自身兴趣与所学，把个人理想融入民族复兴伟大梦想，与时代同步伐、与人民共命运，就一定能让青春在强国建设、民族复兴的火热实践中绽放绚丽之花。
TOP8热点：广东中山汽车碰撞行人8人受伤触摸八重神子的欧派
顺着山路向下的引水沟渠，如今早已闲置。取而代之的是一条条粗壮的封闭式蓝色输水管道直通田间。
TOP9热点：美国7月cpi同比上升2.9%小孩半夜喂姐姐吃钢筋
边巴拉姆表示，1949年通过的《中国人民政治协商会议共同纲领》专门规定了各民族一律平等的原则，确定了包括西藏在内的少数民族聚居地区实行民族区域自治的制度。根据《共同纲领》对于民族地区的精神，1951年，中央政府与西藏地方政府签订了《十七条协议》。该协议以法律性的文件在中央政府与西藏地方政府协商下制定而成，是一国政府更替后对于该国领土、政治管辖等方面进行国家继承的有效体现，是对该国主权的继续行使履行法律形式上的替换义务，对于维护国家统一具有现实重大意义。
TOP10热点：山西五家医院涉嫌欺诈骗保把坤放进欧派会怎么样
本报南宁7月3日电（记者庞革平）近日，记者从广西壮族自治区医疗保障局召开的新闻发布会上获悉：今年7月1日起，广西职工基本医疗保险（含生育保险）和城乡居民基本医疗保险参保人员在参保统筹地区外、自治区内定点医药机构异地就医，实行“免备案”管理服务。