FAXX和MAXX香港大学马毅：如何理FAXX和MAXX解智能的本质？_ZAKER新闻
香港大学马毅：如何理FAXX和MAXX解智能的本质？_ZAKER新闻
明确办理环境污染刑事案件的宽严相济规则。一方面，《解释》衔接有关环境保护法律法规，将实行排污许可重点管理的单位未取得排污许可非法排污的行为，明确为从重处罚情形，做到当严则严。另一方面，明确可以根据认罪认罚、修复生态环境、有效合规整改等因素，在必要时作从宽处理，体现恢复性司法理念，做到当宽则宽，确保案件处理取得良好效果。
作者| 马毅 香港大学计算与数据科学学院院长来源 | 知乎日报，管理智慧咨询合作 | 13699120588文章整理自 7 月 14 日第三届「知乎 AI 先行者沙龙」，演讲主题为：探索智能的本质，仅代表作者本人观点智能或者人工智能在最近几年引起大家广泛的关注，发展也非常快，大家对智能也有很多不一样的理解，今天也想跟大家讨论一下这方面的问题。我叫马毅，是香港大学计算与数据科学学院的院长，以前在加州大学伯克利电子工程与计算机系任教，最近也创办了一家公司，探索智能技术的公司，叫做忆生科技。今天的主题也很简单，我们为了探索智能的本质，必须回到理论，真正建立一套系统的理论把智能的本质搞清楚。生物与智能的演进大家看看生物进化的历程，生命就是智能的载体，整个自然界生物的进化，就是智能的机制起作用的结果，从低等的生物到高级的生物。实际上它这些机制大家都还比较清楚，比如说通过遗传物质传承生物物种的记忆给下一代。但是它也产生变异，在变异过程中通过自然选择，也形成了物种进化、改进，所以这个系统就带着智能的特征。整个自然生物界的进化，从最低等的单细胞生物，它主要依赖于先天基因的遗传传承下来。它的改进是通过变异，通过物种自然选择来进行，也叫 Phylogenetic，主要靠物种先天的基因传递来适应，个体的智能主要来自这个。逐渐的演进，大家看到这个过程，越来越高级的智能生物，它越来越依赖个体进行后天学习与适应，越来越改进自己的先天知识，使得它的适应性更加广泛、更强。为什么生命会在智能的机制下进化，能够越来越好？实际上跟一件非常本质的事情有关，就是我们的世界、我们生活的环境，它不是随机的，而是很大程度上是可预测的，生命、生物也就利用了这一点，使得它能够学习到环境中有利于它生存的信息，这是一个比较重要的观点。后来随着初等生物进化到人，从一定意义上，人的智能也产生了巨大的飞跃。人的智能的发展，一个最显著的特征倒不是个人作为生物个体的发展，它主要是一个群体智能的发展，人变成了社会的动物。尤其是发明了语言，他们的知识可以开始相互交流、相互分享，这是非常有力量的。以至于发明了语言以后，甚至开始出现了抽象的能力，以及数学、科学等等有群体知识的积累。实际上它所遵循的机制也是一样的，就是智能的机制在里面起作用。所以人的群体的智能，以及甚至科学的发展、方法都是智能机制起作用的结果。机器智能的起源这是整个历程，从有生命到高等动物、到人、到整个社会的发展。一直到了大概上世纪 40 年代，有一帮科学家就开始探讨，由于对生物界智能的关注，他们非常关心，他们就提出能不能把动物或者人的智能转移到机器的身上，通过机器来模拟这些智能的机制和行为？就带来了 40 年代一个非常蓬勃的发展期，最早的人工神经元和计算模型也在那时候被麦卡洛克和皮茨两个人提出，同时维纳、香农、冯诺伊曼、图灵等人就开始研究智能系统通过生物界的启发，它的各种特征和机制是什么，所以各自都提出智能系统不同的特征。比如说图灵就关心计算如何通过机器实现，维纳提出控制论，动物都是通过反馈、纠错来学习改进的。包括冯诺伊曼的博弈论也是，我们通过博弈，跟外部环境或者对手博弈，能够不断地提高我们的决策，这都是一个智能系统所展现出来的一些机制和特征。还包括香农说，我们都是从外部世界学习有用的信息，这些信息如何组织管理、衡量度量，这是《信息论》所关心的事情。他们那时候关心人也好、动物也好，如何通过感知学到外部世界有用的知识，能够对外部世界进行预测，就是这个层面智能的特征。大家也知道 40 年代之后，有了人工神经元的模型之后，开始建立了系统和网络，有了神经网络的概念，在过去大概 80 年的时间，神经网络几起几落，这是一个基本的进展历史。最早的 practise 由于比较粗糙，效果并不是很好，60 年代，导致了 70 年代进入了一个寒冬。当然理论上也发现神经网络也不是无所不能，还是有它的局限性，也让大家对神经网络的能力，在 70 年代产生了一些质疑。但是 80 年代、90 年代还是有不少人在坚持，比如辛顿、Lecun 等等，而且在设计越来越好的算法，如何去训练神经网络，包括 Backpropagation 等等。到 2000 年的时候，神经网络又进入一个寒冬，主要是原来他们在做分类的问题上，出现了一个支持向量机的工作，由于它的数学理论比较严谨、算法比较高效，所以对神经元也带来一些冲击，神经网络的研究进入第二个寒冬。自从 2010 年以后，神经网络随着数据以及算力的加持，它的性能得到逐渐的提高，带来了下一代神经网络现代的蓬勃发展。到目前为止，基本上大家在相对统一的神经网络框架，比如说 Transformer 下，不管是文本、图像，甚至在一些各方面的科学数据上都取得了非常显著的成效。AI 模型：从黑盒到白盒但它们有一个共同的特征，就是基于这些深度网络的人工智能系统都是基于经验或者试错的方式设计出来的，所以有些人把这个模型叫做黑盒模型，甚至有更极端的观点认为这种改进更加接近于炼丹术。从科学的角度来讲，为什么一定要把黑盒变成白盒呢？黑盒没法解释，它很难在性能上、安全上有所保障。另外对它的改进成本又很高，很多东西不是不能改进，但是代价很大，本身它的系统有很多缺陷，它没法自主、持续地学习。另外有一个问题就是很容易被人利用，任何黑盒的东西，大家不清楚机理的东西都容易被人利用，来制造一些恐惧。如何把黑盒变成白盒呢？知道机器智能或者机器学习到底在做什么，我们很可能就要问几个非常重要的本质的问题。智能也好，或者机器学习也好，到底要学什么，到底要做什么事，它的目的是什么？从这个角度来讲，信息论就会给我们一些比较好的指导。实际上我们都是为了得到外部世界有用的信息，从这个角度实际上是可以讲得非常明白的。当目标清楚之后，下一步就是怎么学。待会儿我们可以看到，实际上神经网络只是通过学习达到这个目的的一个手段，通过这个目的就理解就知道神经网络到底在做什么。有了手段，我们如何保证最后学到的知识是正确的、跟外部世界是一致的？它必须要有自我纠错的机制，要保证我们学到的知识真正能够跟外部世界观察的东西对齐、自洽。学什么，如何学我们要学什么？我们之所以有智能、之所以有生命的一个根本原因，很简单，我们世界不是随机的，而是可预测的。所以从某种意义上说，我们学习的目的就是要找到这些可预测的东西。实际上这件事情也不是新的东西，整个生命开始，人也好、动物也好，这个世界很多东西都是可预测的。比如说气候，一周、一年的气候，斗转星移、季节变化，动物都知道。这些都是可预测的，不是说明天的天气跟今天毫无关系，如果这样的话，我们也用不着记住任何东西了，如果是这样的环境，我想世界上也不可能有生物，也不可能有智能。另外还有很多物理现象，比如说 Gravity，物体的运动、自由落体等等，实际上每个动物，包括我们每个人，对这种物理现象，都在大脑里面有一个非常精准的模型，当一个东西掉下来的时候，我们自然知道怎么抓取它，速度、位置我们都判断得非常准，只是我们没有用微分方程或者数学的语言描述出来。包括狗、猫，它们都是牛顿，都早就有了对重力的模型在大脑里面，这就是它非常有利于精准预测外部世界会发生什么的模型，我们把它叫做世界模型。另外动物天生的会对有规律、可预测的事情产生记忆，这是在巴甫洛夫的反射试验里面就得出的结论，一个物理现象、一种因果关系自然会记住。这些现象我们怎么把它从数学和计算上统一起来呢？最近大家发现，在数学上所有可预测的信息都是通过这些高维数据内在的低维结构所体现出来的。比如说一个物体在一条直线上运动，不受外力影响，我们很容易判断它在下 5 秒钟出现在哪里，它不会出现在任何随机的地方，这个世界不是随机的。当然还有更复杂的可预测的东西，它可能不是一条直线，很可能是一个平面，或者是多条直线，或者多个平面、多个曲面等等，数据里面很多的信息就是通过这种结构所体现出来的。我们学习就要从这些观测到的高维数据（比如图像）里面的低维的结构学到，学到以后还要把它组织好、表示好。比如说非线性的变成线性，不正交的变成正交。如果这是一个目的的话，我们怎么从计算上去实现呢？它通过什么样的机制实现，怎么去组织，去找到这些结构，同时把它们组织规划好？自然界，包括人工智能，我们看到这么多的网络、算法，它的一个本质共同点，它们都在做同一件事情，就是对同类的物体、数据、信号相吸，异类相斥，把相似的东西聚在一起，不相似的东西分开，基本上就是做这个事情。这还只是一个原则或者想法，怎么通过可度量、可计算的方式做这件事情？这就跟信息理论要做的事情相关。我们怎么去度量这件事情，我做得好还是不好？信息理论提供一个平台，这件事情也很简单。比如说我们的世界，如果我们什么都不知道，什么事情都可以发生，你可以想像这个世界是整个蓝色的区域，任何一个球都可以发生，代表这个世界。从这个意义上讲，如果任何事情都可发生，我们就不需要记忆了，反正下一秒钟任何事情都可能发生，是随机的，记忆或者智能就无从说起。我们的世界因为不是随机的，它是可预测的，可能发生的事情就是这些绿色的球，在一些很低维的、很少量的区域才会真正发生。如果我找到这些绿色的区域，这就是对这个世界的信息有所增加，所以这叫信息增益。或者从表达的角度，我就用不着去把每个球都记下来，我只需要记住这些绿色的球，对这些球进行编号，球的编码量就会减少。所以你会看到，对世界的信息在增加，实际上也是一种编码减少的过程，就是一种压缩的概念，这个世界是可预测的，发生的事件存在的分布是被压缩的。这是第一点。第二，当我找到这些绿色球所在的地方之后，我还需要在我的大脑里面把它们组织好。比如说这两条线，一个代表苹果，一个代表梨子，我要把苹果和梨在我的大脑里面最大限度的分开，因为它是属于两类不同的物体，所以我们的大脑里面很希望我们对这两类物体的表示是非常正交，是不相关的，所以就把它变化成右边这个图像。我们学习的本质，就是这个事情，把同类的压在一起，把它们线性化，不同类的尽量分开。怎么高效做这个事情？一个很简单的办法，就是逐步去做。初始的时候可能离我们的目标还比较远，我们一步一步的对同类的东西进行去噪、压缩在一起，把不同类的东西逐渐的分开，这就是一个逐步迭代的压缩和去噪，去优化这个编码率，让信息增益得到增大。一旦这件事情明确，第一我们要学什么，第二是通过逐步迭代学习，事情就变得非常清晰了。比如说这个目标函数跟我们优化的编码率是相关的，我们要对得到表示的编码率进行优化。学过优化的同学就知道，逐渐优化的方法，就是做简单梯度下降。turns out 深度网络的本质就是在实现这个逐步迭代优化的梯度下降算法。每一层就跟我刚才的图像一样，就是一步一步逐步的在进行优化，把数据的分布、数据的结构找到，然后逐渐地朝着我们所需要的方向去变化，所以每一层都是让这个分布变得越来越好。这是让编码率减少，同时让它学到的表示变得越来越好。如何保证你最后得到的记忆是正确的呢？你不能通过压缩损失了一些信息，你不知道。其中一个方法来检验你学到的记忆，或者学到的数据的结构是正确的，一个简单的解决方式就是用它预测回到外部世界，帮它预测你所记忆下来的规律，是不是能够正确的预测现实世界会发生的事情，也就是所谓的解码，或者叫做生成、预测。从外部的信号进入大脑，我们进行识别、记忆，然后再通过我们的识别或者记忆，对下一步会发生的事情进行重复、仿真、预测或者重现，这就是一个生成的过程，或者在数学上叫做解码的过程。整个过程从外到里、从里到外，就是一个自编码的过程，能帮助我们通过内部世界的模型，对外部世界进行预测。现在训练一个神经网络系统，从 X 到 Z、Z 到 X，我们提供相关的数据，让整个系统进行全局优化。但是在自然界，我们有时候并没有这个 option，相当于我们在训练一个神经网络的时候，对这个网络来说，我们是上帝，我们在纠正它的错误。在自然界，因为动物没有人去教它，它在一个环境中必须自己学习，这种机制是怎么回事呢？在 40 年代维纳或者冯诺伊曼，他们意识到自然界自主学习的机制，一定是一个闭环反馈纠错、自我改进，通过反馈控制和博弈来自我改进的机制。大家知道自然界所有的智能系统都是利用闭环机制来学习的。而现在的人工智能系统几乎没有，尤其现在大家看到的这些大模型都不是这样的机制。所以对智能的认识一定要搞清楚，大家想真正看清楚智能，不要只讲概念，不讲计算、不讲实现，对智能的认知必须建立在对实现智能计算复杂度的正确认知上，你不能说压缩很重要，我做压缩。最早提出压缩概念的 Kolmogorov 或者 Solomonoff，他们提出来的概念是根本没法算的，对工程实践一点指导意义都没有。直到图灵提出图灵计算机，好像能计算，告诉大家什么东西是可以计算的，通过机器来实现。但是即便这样，有些东西你也算不了，它的复杂度足够高，它是 NP 的 intractable，如何找到哪些问题是 tractable，是能够通过普通的算法实现的。神经网络做的事情不光是 tractable，tract 都不行。像这种高阶复杂度的算法实现不了，自然界没有这个资源，包括 DNN、BP，它都要 Scale 到百亿、千亿的参数，复杂度高的算法是没法实现的。即便这样，深度网络也好，反馈传导也好，这些东西自然界也没法承担它的成本。大家知道自然界纠错的机制都是一种闭环的机制，我们也不知道是不是这就是所有的。有了这些背景和认识，最后我想提一下，真正的智能是什么东西？这里我们提出一个对智能的定义，智能的系统必须具有自主改进和增加自身知识的机制。任何一个系统，不管它能力多大，知识多少，只要不具备自主纠正或增加知识的计算机制，它是没有智能的。所以我们经常举的一个例子是 ChatGPT 和一个婴儿，谁更有智能、谁更有知识，大家去想一想。从某种意义上说，我们认为智能是能够增加知识的，是知识的微分，知识是通过智能活动所积累起来的，它是智能的一个积分。为什么需要严格的定义，把这些理论开发出来？因为没有理论的智能研究，就如同一群瞎子在玩一个黑盒子，盲人摸象，大家就会说一些非常不靠谱的话，认为自己看到的那一块就是智能的整体、系统的整体。我们只需要深度网络，「Deep network is all you need」，「Reward is all you need」，「Attention is all you need」，「Foundation model is all you need」，一些非常片面的思想就会变得非常流行。当一个东西是黑盒子的话，大家就会感到它很神秘，比如大家说 ChatGPT，有人说大模型智能将超过人类，甚至已经具有人类自主意识了，会像原子弹、病毒一样可怕，会毁灭人类，现在不光是大众有这种概念，甚至有一些头部的研究人员也有这种观点。实际上从我们现在的了解，目前为止所有的人工智能算法，包括深度网络在做什么呢？无非在做数据的压缩而已。总结今天的演讲给大家梳理一下人工智能的发展历史以及相关的概念。我们非常兴奋地看到最近这几年的发展，实际上找到一个完整的甚至统一理论的基石是可能的。它也开始慢慢揭示了智能的本质，它的最本质的一些计算机理、原则，非常统一的原则和机理，只有当我们把这些原则和机理真正揭示出来，理解清楚以后，才能彻底地把网络智能、机器学习、机器智能的本质搞清楚，就像理查 · 费因曼讲到的「What I cannot create，I do not understand」（如不能自己创造，则无法真正理解），一定要通过第一性的原理，通过演绎的方法，把整个学习系统计算机理和机制搞清楚。只有我们搞清楚，真正理解了，才能创造新的东西，甚至才能远远超越目前的人工智能的系统。koa12jJid0DL9adK+CJ1DK2K393LKASDad
编辑:高尚德
TOP1热点：中方是否解除对美新任国务卿制裁？
近日，国务院印发《关于在有条件的自由贸易试验区和自由贸易港试点对接国际高标准推进制度型开放的若干措施》（以下简称《若干措施》），聚焦货物贸易、服务贸易、商务人员临时入境、数字贸易、营商环境、风险防控等6个方面，提出试点政策措施和风险防控举措，率先在上海、广东、天津、福建、北京等5个具备条件的自贸试验区和海南自由贸易港主动开展试点。《若干措施》对标国际经贸规则新趋势，开展改革开放先行先试，既是贯彻落实党的二十大有关要求，稳步扩大规则、规制、管理、标准等制度型开放的重要体现，也将为国际市场需求回落背景下的稳外贸发挥重要支撑作用。。
一花独放不是春，百花齐放春满园。顾爱云在做好专业教学与科研的同时，积极帮助青年教员，下力气做好“传帮带”。
TOP2热点：美总统就职典礼BGM中断 女歌手救场
变化是显著的。“博物馆年接待量从曾经的2万人次提升到20多万人次，来合浦去博物馆看文化，成了许多人的选择。”合浦汉代文化博物馆馆长廉世明说。
TOP3热点：知情人称刘诗诗吴奇隆好得很八重神子被丘丘人抓去繁殖
世界经济正处于疫后复苏的关键阶段。聚焦互联互通、深化务实合作的共建“一带一路”倡议，为全球合作注入新动能，为世界经济发展带来新机遇。中国倡导和平、发展、合作、共赢，为动荡的世界带来更多稳定性和确定性。今年中国将举办第三届“一带一路”国际合作高峰论坛，相信这一盛会将对践行真正的多边主义、提振全球经济、促进世界和平发展发挥重要作用。
在乘坐公交车过程中，市民的体验也很好。比如，遇到斑马线，公交车司机通常提前20米踩刹车，保证公交车稳稳停住。姜涛是301路公交车的常客，“师傅开得又快又稳，我出门很愿意坐公交车。”
TOP4热点：男子干电工因为太胆小成技术大神揉我胸⋯啊⋯嗯～出奶了黄
正是通过“拉家常”，他拉近与群众的距离，听到群众真实的呼声，为科学决策提供了依据。
因港而兴，因文得传，承袭千年后，21世纪海上丝绸之路必将令合浦这颗“明珠”更加光彩熠熠。
TOP5热点：法国总理呼吁欧洲积极应对美国新政府旗袍全开襟做双人运动人民网
2014年参加工作后，由于缺乏办公技能，古丽只能在多个工地上打零工，收入很不稳定。2018年，TKU公路项目开工建设，古丽作为第一批哈萨克斯坦籍员工入职中建新疆建工哈萨克斯坦分公司。从一名普通的办公室职员到今天的办公室负责人，古丽见证了TKU公路项目从第一次荒漠勘探到如今即将竣工的过程，用她自己的话说，是“中国企业培养我成长”。“刚到项目的时候，我就遇到了一位很好的中国老师，他耐心地教我使用办公软件、填报各类工作报表，现在我不仅能独立完成项目后勤保障等各项工作，收入也由刚开始每月20万坚戈（1元人民币约合62坚戈）涨到了每月35万坚戈，家里的生活条件得到很大改善。”古丽说。
TOP6热点：是否解除对鲁比奥制裁？外交部回应精品无线一线二线三线
当自己的学生、某旅一级军士长何贤达手中的火炬被她点燃，顾爱云不禁热泪盈眶——那一刻，她觉得自己传递的不只是火种，更是为战育人的使命。
“你给县委书记打个电话，没准行。”陕西安康石泉县喜河镇村民张女士指着村里张贴的“烦心事、操心事、找书记”海报，为犯难的何老伯支招儿。
TOP7热点：王菲 春晚班长让我吃她胸🐻摸她奶作
传统的经济安全观主要强调以减少外部依赖、提升自主性来保障经济安全。随着经济全球化深入发展，国内国际经验都表明，片面强调自主性、忽视开放性，不利于有效维护产业链安全稳定，坚持自主创新与开放合作相结合才是治本之策，必须在开放中创造机遇，在合作中破解难题。
TOP8热点：杨紫认证《国色芳华》有第二季Gay引诱外卖员com2o22
因港而兴，因文得传，承袭千年后，21世纪海上丝绸之路必将令合浦这颗“明珠”更加光彩熠熠。
TOP9热点：土耳其：已拘留4名涉酒店火灾案人员小孩半夜喂姐姐吃钢筋
现代乡村产业体系的加快构建，正在推动乡村产业全链条升级。截至目前，全国已建设140个优势特色乡村产业集群，全产业链产值超过3.8万亿元，辐射带动1000多万农户，一个个“土特产”变身大产业。
每月一次的“摆桌子听意见”居民接待日活动，成了密云区信访“接诉”的重要渠道。区信访办等单位听取群众意见建议，及时回应社会关切。
TOP10热点：老板抱怨太多货单要签字被员工回怼精品无线一线二线三线
发言人表示，7月31日至8月4日，应外交部邀请，巴基斯坦、马来西亚、伊朗、埃及、几内亚、哈萨克斯坦、乌兹别克斯坦、多米尼克、尼加拉瓜等25国驻华大使、高级外交官40人赴新疆参访。新疆维吾尔自治区党委、政府主要负责人同代表团会见。代表团先后前往喀什、阿克苏、乌鲁木齐三地，参观了老城改造、清真寺、伊斯兰教经学院、博物馆、智能农机公司、乡村振兴项目以及反恐和去极端化斗争主题展等，同当地宗教人士、少数民族群众等进行了交流，深入了解新疆经济发展繁荣、宗教信仰自由、历史文化传承和保护等真实情况，以及新疆反恐和去极端化斗争的正当性、正义性、必要性及其成果。