日剧《轮到你了》多模态模型免微调接入互联网，即插即用新框架，效果超闭源商用方案_ZAKER新日剧《轮到你了》闻
多模态模型免微调接入互联网，即插即用新框架，效果超闭源商用方案_ZAKER新日剧《轮到你了》闻
日方试图制造一种舆论，即不信任机构报告就是损害机构权威。但日方处心积虑地钻空子，限制机构在福岛核污染水排海问题上的审查授权，导致报告的结论不完整、有前提，这才是对机构权威的最大伤害。根据日本最新民调，仍有四成受访民众反对排海。《韩国日报》和日本《读卖新闻》的联合调查显示，八成以上韩国人不赞成日方排海。太平洋岛国、菲律宾、印度尼西亚、南非、秘鲁等多国专家和民众纷纷发声抗议，中国老百姓对日方所作所为更是强烈反对。令人遗憾的是，日方装聋作哑，混淆视听，顽固称将在今夏如期启动排海，对其他国家表达正当关切百般诋毁，甚至将核电站正常排水同向海洋倾倒核事故污染水混为一谈。这绝非负责任国家所为。
一个 5 月份完成训练的大模型，无法对《黑神话 · 悟空》游戏内容相关问题给出准确回答。这是大模型的老毛病了。因为《黑神话》8 月才上市，训练数据里没有它的相关知识。众所周知，大模型的训练和微调会消耗大量计算资源和时间，这意味着频繁更新大模型的参数是不切实际的。然而，现实世界中的信息是实时产生的且不断变化的。这使得大模型在完成训练后，对于后续新产生的信息感到陌生，所以无法提供准确可靠的反馈。为此，上海人工智能实验室、北京理工大学、浙江大学、香港大学联合提出即插即用的SearchLVLMs 框架，可以无缝整合任意的多模态大模型。该框架在推理阶段对大模型进行互联网检索增强，使得大模型无需微调即可对实时信息进行准确的反馈。研究团队提出首个辅助多模态大模型对实时信息进行反馈的开源检索增强框架 SearchLVLMs。该框架主要包括查询生成、搜索引擎调用、分层过滤三个部分。以视觉问答为例，该框架会基于问题和图片生成查询关键词，并调用搜索引擎查找相关信息，再由粗到细地对检索结果进行过滤，得到对回答该问题有帮助的信息。这些信息会以 prompt 的形式在推理阶段提供给模型，以辅助回答。同时，团队提出一个数据生成框架 UDK-VQA，它可以自动生成依赖实时信息进行回答的视觉问答数据。基于此框架，数据集可以完成动态更新，以保证测试数据的时效性。目前已有 UDK-VQA-240401-30、UDK-VQA-240816-20 两个版本的数据集，涉及到的时间跨度分别是 2024 年 4 月 1 日 -2024 年 4 月 31 日和 2024 年 8 月 16 日 -2024 年 9 月 5 日。研究者在超过 15 个开源、闭源模型上进行了实验，包括 GPT-4o、Gemini 1.5 Pro、InternVL-1.5、LLaVA-1.6 等。在 UDK-VQA 数据集上的回答准确率，则配备了 SearchLVLMs 的 SOTA LVLMs 超过了自带互联网检索增强的 GPT-4o 模型 35%。开源框架 SearchLVLMsSearchLVLMs 框架主要由三部分组成：查询生成搜索引擎调用分层过滤在查询生成阶段，需要对问题和图像进行充分地理解，以转化为适用于搜索引擎的文本查询。对于问题而言，直接使用手工设计的 prompt 调用 LLM 得到问题查询词。对于图像而言，调用必应视觉搜索得到包含该图像或与该图像相关的网页，提取这些网页的题目 / 快照的最长公共子串作为图像查询词。在搜索引擎调用阶段，用户可以根据问题类型自主选择调用的搜索引擎类别。比如：对于实时性较强的新闻相关问题，可以选择调用必应新闻搜索；对于常识性问题，可以选择调用必应通用搜索。调用搜索引擎后会得到多个网页的题目、摘要和链接。在分层过滤阶段，首先调用网页过滤器对得到的网页进行初筛，基于网页的题目和摘要对这些网页进行重排。对于排序靠前的网页，使用爬虫获取网页的文本内容，每三句切分成一个片段，使用内容过滤器对这些片段进行重排。对于排序靠前的片段，基于 CLIP 特征对它们进行聚类，选择离每个聚类中心的最近的片段，以避免内容重复片段对大模型预测带来的误导。被选择的片段被直接拼接在一起，用于提示大模型。其中，网页过滤器和内容过滤器是两个独立训练的 LLaVA-1.5 模型，作用是为网页 / 片段进行打分——网页 / 片段对于回答该问题的帮助程度。为了训练这两个过滤器，也为了测试大模型对实时信息的反馈能力，研究团队进一步提出了一个数据生成框架—— UDK-VQA，如下图所示。五个步骤完成数据生成UDK-VQA 数据生成主要遵循五个步骤：分别是查询搜集、问题生成、图像分配、伪标注生成、人为验证。第一步，查询搜集。查询搜集主要包括两方面，一方面是从谷歌每日搜索趋势上爬取热门搜索词，另一方面是人为搜集一些热门搜索词来对前者进行补充。第二步，问题生成。研究人员首先根据搜集到的搜索词调用搜索引擎得到相关的新闻，将新闻内容进行切分，得到多个内容片段。然后要求 GPT 根据内容片段自问自答，得到 < 问题，答案 > 的集合。在第三步图像分配阶段，团队会提取出问题中的实体，使用图片搜索引擎得到实体的图片，并将问题中的实体单词替换为其上分位词，与图片一起组成视觉问答样本。第四步，伪标注生成。为了训练网页过滤器和内容过滤器，需要对网页 / 片段进行打分。对于一个视觉问答样本和一个网页 / 片段，研究者基于两个原则进行打分：① 如果该样本是基于该网页 / 片段生成的，分数为 1.0。② 如果该样本不是基于该网页 / 片段生成的，使用 5 个开源模型在该网页 / 片段下尝试回答该样本，根据模型回答的正确率进行打分。基于这样的伪标注方法，研究人员构造了 ~80w 样本用于训练。最后一步，人为验证。构造测试集时，研究者对第 3 步得到的视觉问答样本进行了人为筛选，确保测试样本的正确性。为了避免训练数据和测试数据需要参考相似的实时信息，在构造训练集和测试集时，研究过程中使用不同时间区间的谷歌每日搜索趋势来爬取热门搜索词。下图中 ( a ) 、 ( b ) 、 ( c ) 分别展示了训练样本、测试样本和测试样本的分布。基于数据生成框架 UDK-VQA，很容易可以构造出需要实时信息进行回答的视觉问答样本。研究团队声明会不断更新测试集，保证测试样本的时效性。目前，研究人员已经构造了两个版本的测试集，分别涉及到 2024 年 5 月份和 2024 年 9 月份的信息。实验结果与结论SearchLVLMs 框架团队在 UDK-VQA 上测试了 15 个现有的 LVLMs，主要实验结果如下表所示。其中，Raw 表示模型的原始版本（没有检索增强功能）、Long-Context （LC）表示将搜索引擎返回的网页爬取内容后，直接拼接起来提示模型，IAG 表示使用了模型内嵌的互联网检索增强能力。Gen.、Cham. 和 CLIP → FID ( C → F ) 分别表示 [ 1 ] 、 [ 2 ] 和 [ 3 ] 中的方法。从实验结果中可以有以下发现：1、接收长上下文输入可以一定程度上避免对搜索引擎的返回内容进行二次筛选。Gemini Pro 1.5 ( LC）的性能高于内嵌互联网检索增强的 GPT-4V 和 GPT-4o，但是长上下文会引入额外的计算消耗，并引入一些不必要的信息对模型造成误导。经过 SearchLVLMs 的分层过滤模型进行二次筛选还有，可以进一步提升模型性能。2、具备检索增强能力的闭源商用模型在性能上显著高于不具备检索增强能力的开源模型。GPT-4V 和 GPT-4o 由于内嵌互联网检索增强模块，在准确率上大幅领先开源模型，如 LLaVA-1.6 和 InternVL-1.5，差距约为 20%~30%。3、SearchLVLMs 框架可以整合任意的多模态大模型，并大幅度提高它们对于依赖实时信息的问题的回答能力。无论是在闭源商用模型 Gemini 1.5 Pro、GPT-4o、GPT-4V，还是开源 SOTA 模型 LLaVA-1.6 和 InternVL-1.5 上，SearchLVLMs 均能带来超过 50% 的性能提升。4、SearchLVLMs 带来的性能提升，远高于已有方法。研究对比了检索增强方法 Gen.、C → F 和调用搜索引擎来辅助回答的框架 Cham.，SearchLVLMs 在应对实时信息检索任务时，表现出明显的优越性。5、使用 SearchLVLMs 整合开源模型，性能可以大幅超过内嵌互联网检索增强能力的闭源商用模型。InternVL-1.5+SearchLVLMs 的准确率为 92.9%，远高于 GPT-4o（IAG）的 57.8%。这一发现表明，开源模型具有巨大的潜力，SearchLVLMs 在性能、可定制性和透明度上具有显著的优势。参考文献 [ 1 ] Yu et al. Generate rather than retrieve: Large language models are strong context generators. arXiv 2023. [ 2 ] Lu et al. Chameleon: Plug-and-play compositional reasoning with large language models. NeurIPS 2023. [ 3 ] Chen et al. Can pre-trained vision and language models answer visual information-seeking questions? EMNLP 2023.文章链接 : https://arxiv.org/abs/2405.14554项目主页：https://nevermorelch.github.io/SearchLVLMs.github.io/— 完 —投稿请发邮件到：ai@qbitai.com标题注明【投稿】，告诉我们：你是谁，从哪来，投稿内容附上论文 / 项目主页链接，以及联系方式哦我们会（尽量）及时回复你点这里关注我，记得标星哦～一键三连「分享」、「点赞」和「在看」科技前沿进展日日相见 ~koa12jJid0DL9adK+CJ1DK2K393LKASDad
编辑:高大山
TOP1热点：2025春节档影片你最期待哪部
7月4日，中共中央总书记、国家主席习近平给南京审计大学审计专业硕士国际班的留学生回信，鼓励他们为深化国家间友谊与合作积极贡献力量。。
如今，在海门区的县道正麒线，红色警示灯闪烁，容易发生交通事故的两个道口已经封闭，过往车辆不用再担心电动车的“鬼探头”了。这得益于海门区人大代表、常乐镇麒新村党总支书记、村委会主任何耀红提出的一条建议。
TOP2热点：要继续推动冰雪运动普及发展
“微山湖哎，阳光闪耀，片片白帆好像云儿飘……”
TOP3热点：邓紫棋卷发姐感好浓双人游戏by春雨惊蛰
李约瑟（1900―1995）出生于英国伦敦，是世界著名生物化学和科学史学家。他所著的《中国科学技术史》让西方重新认识了中国古代科学界的辉煌，彻底颠覆了西方人对中国科技乃至中国古代文明的看法。
TOP4热点：鸡腿诺回应程鑫凯爱情公寓320集版本下载
相关单位全力配合运行试验，有序开展设备维护；提前做好新线新站人员储备，加强业务技能培训，全面满足开通运营要求。
TOP5热点：刘亦菲总台视后全身没有衣服的美女照片
走进湖南省长沙市的“中国工艺美术大师李艳刺绣艺术工作室”，便见到一只斑斓猛虎静卧于前，颔首张目，不动声色而又凛凛生威、栩栩如生――这是湘绣非遗代表性传承人李艳在2012年创作的作品《虎凝》，也是她迄今为止最满意的湘绣技艺创新性作品之一。
随着数字经济快速发展，线上线下营商环境面临重构，新的营商环境又对市场竞争格局和全社会资源配置方式及其效率产生影响。对此，需加强规范，引导数字经济健康发展。
TOP6热点：猫 叽歪啥没看见在吵架吗K8s经典大全
《规划》提出7个方面的主要任务。一是挖掘弘扬长江文化内涵，深入研究长江文化的起源特质和发展脉络，注重用社会主义先进文化、革命文化、中华优秀传统文化培根铸魂，彰显长江文化时代价值。二是全面推进长江文物和文化遗产系统保护，建设长江国家文化公园，加强长江文物保护管理，推动长江文物活化利用，提高长江非物质文化遗产保护水平。三是推出长江题材优秀文艺作品，发挥文艺成风化人的作用，加强艺术创作生产引导和扶持，推出更多体现长江文化的文艺精品。四是提升长江流域公共文化服务水平，优化供给、创新机制、提高效能，加强资源整合和共建共享，推动长江文化融入公共文化产品和服务。五是推动长江流域文化产业和旅游业提档升级，丰富优质文化产品供给，发挥旅游在传播弘扬长江文化方面的独特优势。六是加强长江文化国际交流传播，提高长江文化走出去水平，向世界讲好长江故事。七是发挥长江文化的引领作用，突出文化和旅游在长江经济带高质量发展中的独特优势，推进长江文化融入城乡建设，促进长江上中下游协同发展，提升长江经济带沿线经济社会整体发展水平。
TOP7热点：苏新皓 抄袭mantahaya1777kino8月15日
贵州榕江，“村超”看台上人声鼎沸；陕西华山，游客举起手机频频打卡……这些鲜活场景，显露出老百姓对美好生活的热切向往。恢复和扩大需求是当前经济持续回升向好的关键所在，而强烈的消费意愿要想转化为消费行动，离不开消费能力和稳定收入预期的支撑。在这个意义上，想方设法增加居民收入，可谓切中扩内需、稳增长的肯綮。
我曾想象过她的容貌：她该是高山深谷中的秘境森林，还是苍凉高原上姿态各异的七彩丹霞，亦或是众山群峦环抱着的一汪清水？
TOP8热点：西藏多地悼念地震126名遇难同胞欺诈都市合约之买卖合约
《规划》提出7个方面的主要任务。一是挖掘弘扬长江文化内涵，深入研究长江文化的起源特质和发展脉络，注重用社会主义先进文化、革命文化、中华优秀传统文化培根铸魂，彰显长江文化时代价值。二是全面推进长江文物和文化遗产系统保护，建设长江国家文化公园，加强长江文物保护管理，推动长江文物活化利用，提高长江非物质文化遗产保护水平。三是推出长江题材优秀文艺作品，发挥文艺成风化人的作用，加强艺术创作生产引导和扶持，推出更多体现长江文化的文艺精品。四是提升长江流域公共文化服务水平，优化供给、创新机制、提高效能，加强资源整合和共建共享，推动长江文化融入公共文化产品和服务。五是推动长江流域文化产业和旅游业提档升级，丰富优质文化产品供给，发挥旅游在传播弘扬长江文化方面的独特优势。六是加强长江文化国际交流传播，提高长江文化走出去水平，向世界讲好长江故事。七是发挥长江文化的引领作用，突出文化和旅游在长江经济带高质量发展中的独特优势，推进长江文化融入城乡建设，促进长江上中下游协同发展，提升长江经济带沿线经济社会整体发展水平。
“这条曾被认为‘存活’不了30年的沙漠铁路，至今已平稳运行60余年”
TOP9热点：涉事厂家回应原切牛肉卷疑合成肉880×600
具体检查哪些内容？据了解，本次专项工作重点监督检查用人单位是否按照《防暑降温措施管理办法》的规定，对从事高温作业的劳动者进行职业健康检查；是否在高温天气期间落实关于劳动时间和劳动强度的规定，合理安排工作时间、轮换作业；是否为高温作业、高温天气作业的劳动者提供足够的符合卫生标准的防暑降温饮料及必需药品等。
TOP10热点：大逃脱5阵容荧被丘丘人繁衍后代剧情解析
经陕西省文物鉴定研究中心鉴定评估：涉案汉代绿釉熊足陶仓及汉代绿釉陶樽盖均为汉代一般文物。经陕西省考古研究院鉴定：该项目范围内墓葬年代应集中于汉代，对研究汉长安城东郊墓葬分布及内涵具有重要意义。