100流氓软件_体育焦点_空间智能版ImageNet来了！李飞飞吴佳俊团队出品100流氓软件

空间智能版ImageNet来了！李飞飞吴佳俊团队出品100流氓软件_ZAKER新闻

　　而此次在7月底国务院常务会议、中央政治局会议层面单独聚焦城中村改造，足见决策层对其重视程度之高。联系到当下房地产市场低迷的状态，人们很容易将这一轮城中村改造视为“二次棚改”。

空间智能版 ImageNet 来了，来自斯坦福李飞飞吴佳俊团队！HourVideo，一个用于评估多模态模型对长达一小时视频理解能力的基准数据集，包含多种任务。通过与现有模型对比，揭示当前模型在长视频理解上与人类水平的差距。2009 年，李飞飞团队在 CVPR 上首次对外展示了图像识别数据集ImageNet，它的出现极大推动计算机视觉算法的发展——懂 CV 的都是知道这里面的门道有多深。现在，随着多模态迅猛发展，团队认为 " 现有的视频基准测试，大多集中在特定领域或短视频上 "，并且 " 这些数据集的平均视频长度较短，限制了对长视频理解能力的全面评估 "。于是，空间智能版 ImageNet 应运而生。HourVideo 包含 500 个来自 Ego4D 数据集的第一人称视角视频，时长在 20 到 120 分钟之间，涉及 77 种日常活动。评测结果表示，人类专家水平显著优于目前长上下文多模态模型中最厉害的 Gemini Pro 1.5（85.0% 对 37.3%）。在多模态能力上，大模型们还任重而道远。HourVideo 如何炼成？之所以提出 HourVideo，是因为研究人员发现目前长视频理解越来越重要，而现有评估 benchmark 存在不足。多模态越来越卷，人们期待 AI 被赋予 autonomous agents 的类似能力；而从人类角度来看，由于人类具备处理长时间视觉处理的能力，因此能在现实视觉中感知、计划和行动。因此，长视频理解对实现这一目标至关重要。而当前的多模态评估 benchmark，主要还是集中在评测单张图像或短视频片段（几秒到三分钟），对长视频理解的探索还有待开发。不可否认的是，AI 评估长视频理解面临诸多挑战，譬如要设计任务、避免通过先验知识或简短片断回答等。因此，团队提出HourVideo。这是一个为长视频理解而设计的基准数据集。为了设计出需要长期理解的任务，团队首先提出了一个新的任务对应套件，包含总结、感知（回忆、跟踪）、视觉推理（空间、时间、预测、因果、反事实）和导航（房间到房间、对象检索）任务，共 18 个子任务。其中，总结任务要求模型对视频中的关键事件、主要交互等进行概括性描述，例如总结出脖子上挂了个相机的人在超市中有什么关键交互行为。感知任务由两部分构成，一个是回忆任务，包括事实回忆（比如脖子上挂了个相机的人，在超市拿起的乳制品）和序列回忆（比如那个人在超市称完西红柿过后做了什么），以及对时间距离的判断（比如吃了多久的披萨才扔掉盒子）。还有一个是跟踪任务，主要用来识别脖子上挂了个相机的人在特定场景（比如超市、药店）中互动的独特个体。接下来是视觉推理任务，分为空间推理和时间推理。空间推理负责判断物体之间的空间关系、空间接近度（如微波炉与冰箱或水槽相比是否更近）以及空间布局（如选择正确描绘脖子上挂相机的人的公寓的布局图）。时间推理则包括对活动持续时间的比较、事件发生频率的判断、活动的先决条件、预测（如洗完衣服后最可能做的活动）、因果关系（如第二次离开车库的原因）以及反事实推理（如用烤箱做土豆泥会怎样）。导航任务包含了房间到房间的导航、对象检索导航。以上每个任务有精心设计的问题原型，以确保正确回答问题需要对长视频中的多个时间片段进行信息识别和综合，从而有效测试模型的长期理解能力。与此同时，研究人员通过 pipeline 来生成了 HourVideo 数据集。第一步，视频筛选。团队从 Ego4D 数据集中手动审核 1470 个 20 到 120 分钟的视频，让 5 位人类专家选择了其中 500 个视频，至于为啥要从 Ego4D 中选呢，一来是其以自我为中心的视角与 autonomous agents 和助手的典型视觉输入非常一致；二来是它具有广泛的视觉叙述，有助于创建多样化的题；三来 Ego4D 的访问许可非常友好。第二步，候选 MCQ 生成。这需要在长视频中跨多个时间片段，进行信息分析和合成。具体来说，研究人员以 20 分钟为间隔分割了视频，提取信息转化为结构化格式供大模型处理。最终一共开发了 25 个特定任务的 prompts。第三步，LLM 优化与人工反馈。在这个阶段，团队实现了一个人工反馈系统，7 名经验丰富的人员人工评估每个问题的有效性、答案准确性、错误选项合理性。最终收集了 400 多个小时的人工反馈，然后设计 prompt，自动优化 MCQ ₂得到 MCQ ₃。第四步，盲选。这一阶段的目标是消除可以通过大模型先验知识的问题，或者消除那些可以在不用视频中任何信息就可以回答的问题。团队用两个独立的大模型—— GPT-4-turbo 和 GPT-4，对 MCQ ₃进行盲筛，确保剩余 MCQ ₄高质量且专门测试长视频语言理解。第五步也是最后一步，专家优化。这一步是用来提升 MCQ ₄质量，将宽泛问题精确化，经此阶段得到高质量 MCQ ₅。4 个专家干的事 be like，把 " 挂着相机的人把钥匙放在哪里了？" 精确成 " 挂着相机的人购物回家后，把自行车钥匙放在哪里了？"如上 pipeline 中，研究图纳队使用了 GPT-4 来遵循复杂的多步骤指令，同时还使用了 CoT 提示策略。此外，pipeline 中涉及大模型的所有阶段的问题被设为 0.1。据统计，HourVideo 涵盖 77 种日常生活场景，包含 500 个 Ego4D 视频，视频时长共 381 个小时、平均时长 45.7 分钟，其中 113 个视频时长超过 1 小时。每个视频有约 26 个高质量五选一题，共计 12976 个问题。除因果、反事实和导航任务外，问题在任务套件中均匀分布。最好表现仍远低于人类专家水平在实验评估方面，HourVideo 采用五选多任务问答（MCQ）任务，以准确率作为评估指标，分别报告每个任务以及整个数据集的准确率。由于防止信息泄露是评估长视频中的 MCQ 时的一个重要挑战——理想情况下，每个 MCQ 应独立评估，但这种方法计算成本巨高，且十分耗时。因此，实际评估中按任务或子任务对问题进行分批评估，对于预测任务，提供精确的时间戳以便对视频进行有针对性的剪辑，从而平衡计算成本和评估准确性。研究团队比较了不同的多模态模型在零镜头设置下理解长视频的性能。主要评估了三类模型，所有这些模型都在一个通用函数下运行：盲 LLM：指是指在评估过程中，不考虑视频内容，仅依靠自身预先训练的知识来回答问题的大型语言模型。实验中以 GPT-4 为代表。它的存在可以揭示模型在多大程度上依赖于其预训练知识，而不是对视频中实际视觉信息的理解。苏格拉底模型：对于大多数当前的多模态模型，直接处理非常长的视频存在困难。因此，采用 Socratic 模型方法，将视频（总时长为 t 分钟）分割成 1 分钟的间隔，每个间隔独立加字幕，然后将这些字幕聚合形成一个全面的基于语言的视频表示，并与通用任务无关的提示一起作为输入进行长视频问答。实验中分别使用 GPT-4 和 LLaVA- NEXT-34-DPO 为视频字幕生成器，并最终使用 GPT-4 进行实际问题回答。原生多模态模型：像 Gemini 1.5 Pro 这样的原生多模态模型，在多模态数据（包括音频、视频、图像和文本）上联合训练，能够处理非常长的上下文长度 *（（2M +），适合直接对 HourVideo 进行端到端评估。为了与模型性能进行对比，实验人员从基准数据集中选取了 14 个视频，涵盖 >18 种场景，包括手工制作 / 绘画、烹饪、建筑 / 装修、园艺、清洁 / 洗衣和庭院工作等。然后邀请了3 位人类专家，对上述总时长 11.2 小时的视频内容进行进行评估，共涉及 213 个 MCQ。为确保评估的公正性，参与评估的人类专家未参与过这些视频的早期注释工作。最终，人类专家在评估中的准确率达到了 85.0% 。而盲 LLM 的准确率为 19.6%，Socratic 模型准确率略高，原生多模态模型准确率最高，达到了 37.3%，仍然远低于人类专家水平。此外，独立评估每个 MCQ 与按任务级别评估相比，性能下降 2.1%，但成本增加 3 倍以上，证明了任务级评估方法的效率和有效性。最后，团队表示未来计划扩展基准测试，包括更多样化的视频来源（如体育和 YouTube 视频），纳入音频模态支持，并探索其他感官模态。同时强调在开发模型时需考虑隐私、伦理等问题。团队成员HourVideo 项目来自斯坦福李飞飞和吴佳俊团队。论文共同一作是 Keshigeyan Chandrasegaran 和 Agrim Gupta。Keshigeyan Chandrasegaran是斯坦福大学计算机科学博士二年级学生，从事计算机视觉和机器学习研究，导师是李飞飞和斯坦福视觉与学习实验室（SVL）联合主任胡安 · 卡洛斯 · 尼贝莱斯。共同一作 Agrim Gupta是斯坦福大学计算机科学专业的博士生，2019 年秋季入学，同样是李飞飞的学生。此前，他曾在微软、DeepMind，有 Meta 的全职经历，也在 Google 做过兼职。2018 年时，他就跟随李飞飞一同在 CVPR 上发表了论文。目前，Agrim 的 Google Scholar 论文被引用量接近 6400 次。李飞飞是大家熟悉的 AI 教母，AI 领域内最具影响力的女性和华人之一。她 33 岁成为斯坦福计算机系终身教授，44 岁成为美国国家工程院院士，现任斯坦福以人为本人工智能研究院（HAI）院长。计算机视觉领域标杆成果 ImageNet 亦是由她一手推动。此前，李飞飞也曾短暂进入工业界，出任谷歌副总裁即谷歌云 AI 首席科学家。她一手推动了谷歌 AI 中国中心正式成立，这是 Google 在亚洲设立的第一个 AI 研究中心。并带领谷歌云推出了一系列有影响力的产品，包括 AutoML、Contact Center AI、Dialogflow Enterprise 等。今年，李飞飞宣布创办空间智能公司 World Labs，公司成立不到 4 个月时间，估值突破 10 亿美元。所谓空间智能，即 " 视觉化为洞察；看见成为理解；理解导致行动 "。吴佳俊，现任斯坦福大学助理教授，隶属于斯坦福视觉与学习实验室（SVL）和斯坦福人工智能实验室（SAIL）。他在麻省理工学院完成博士学位，本科毕业于清华大学姚班，曾被誉为 " 清华十大学神 " 之一。同时，他也是李飞飞创业公司 World Labs 的顾问。参考链接： [ 1 ] https://arxiv.org/abs/2411.04998v1 [ 2 ] https://www.worldlabs.ai/team [ 3 ] https://keshik6.github.io/

koa12jJid0DL9adK+CJ1DK2K393LKASDad

编辑:林君

TOP1热点：魏哲鸣刘畅逗鸟

　　目前，国内共有7个超大城市，分别是上海、北京、深圳、重庆、广州、成都、天津。14个特大城市，分别是武汉、东莞、西安、杭州、佛山、南京、沈阳、青岛、济南、长沙、哈尔滨、郑州、昆明、大连。。

　　“目前国内的合规人才非常稀缺”，但李岑岩也指出，合规官用专业知识去促进企业内合规体系的搭建，真正落实需要企业每一个人的参与。“人人都应当是自己岗位范围内的合规官，企业的董事长作为企业合规的第一责任人，业务主管是部门合规的第一责任人，每一个人是他自己岗位上的合规的第一责任人。”

TOP2热点：赵露思：我已经成功地爬起来了

　　2018年，针对企业商务合规，国务院国有资产监督管理委员会印发了《中央企业合规管理指引（试行）》文件，这一年被认为是“中国企业合规元年”。

　　[环球网报道]据“东网”“星岛网”等港媒报道，香港警方国家安全处今天（15日）拘捕2名男子，有消息称，2名被捕者是“乱港”艺人阮民安及其前妻胞弟，阮民安涉嫌在网上散播仇恨言论，煽动市民反对特区政府、司法制度及防疫政策，同时以协助涉及暴动罪人士为名募款近百万港元，并涉嫌趁机中饱私囊。

TOP3热点：厄德高：侯永永是个天才球员拯救精灵森林OVA第1集

　　<span>据路透社此前报道，今年的会议由斐济共和国军队和美国印太司令部联合主办，汇集了来自27个国家的高级军事将领，美军印太司令部司令海军上将约翰·阿奎利诺和斐济军事指挥官乔恩·洛加瓦图·卡卢尼瓦伊少将出席此次会议。</span>

TOP4热点：弗莱谈巴特勒禁赛事件吃瓜爆料qq群免费进最新2023

　　加快建设高质量教育体系。深入实施基础教育提质扩优专项行动，坚定不移推进“双减”，夯实基础教育的基础。深化现代职业教育体系建设改革，推动职业教育提质升级，切实提高职业教育的质量、适应性和吸引力。发挥高等教育的龙头作用，深化高等教育综合改革，推动高校在全面提高人才自主培养质量、造就拔尖创新人才上先行先试，在服务区域经济社会发展、优化结构布局上先行先试，在不同“赛道”上办出特色、办出水平。加快构建服务全民终身学习的教育体系，建立健全全民终身学习推进机制，促进人的全面发展。