男生和女生拆拆很痛的轮滑鞋被质男生和女生拆拆很痛的轮滑鞋疑、抄袭、魔改，非主流大模型的诞生之路
被质男生和女生拆拆很痛的轮滑鞋疑、抄袭、魔改，非主流大模型的诞生之路
<span>在东部战区，浙江省委书记易炼红说，东部战区“积极保障杭州亚运会亚残运会，紧急驰援山林灭火、防台防汛等急难险重任务，助推共同富裕示范区建设，充分展现了威武之师、光荣之师、胜利之师的硬核担当和劲旅风采，是祖国安全稳定的坚强柱石，是浙江改革发展的坚强后盾和浙江人民幸福安康的坚强依靠”。</span>
出品 | 虎嗅科技组作者 | 王欣编辑 | 苗正卿头图 |《小丑》虎嗅注：RWKV创始人彭博是今天故事的主人公，在Transformer架构大行其道的当下，他一个人花了三年时间构建了RWKV架构，一种不同于Transformer架构的RNN架构。本文为虎嗅 《AI星火》系列 第 07篇稿件，《AI星火》系列聚焦AI细分行业的头部公司，通过记录AI创业者的故事，折射出他们对AI产业的共识与非共识。在见到RWKV创始人彭博之前，我也像一些人那样，怀疑过他是骗子或者“民科”。他的公司元始智能员工在小红书发表的，诸如“OpenAI走到死胡同”这样的“暴论”下面，评论区也不时会有对他们质疑和诋毁的声音，比如让他们拿出证据，证明他们自研的大模型架构RWKV6确实比OpenAI强。但彭博完全不在意这些声音，或许这就是成为另类的代价。——在诸多大模型公司都选择与OpenAI相同的Transformer架构时，彭博用了三年时间走上了另一条路，将Transformer改写成RNN形式，保留了较低的时间空间复杂度。“给我十万张卡和100个小弟，我把OpenAI干趴下。”彭博半开玩笑半认真地告诉虎嗅。虽然他们走的是完全不同于OpenAI的路子，但2023年春节，彭博收到了“竞对”OpenAI的入职邀请。元始智能联创罗璇解释说，这能够说明他们确实有颠覆OpenAI的可能性，而这个offer更像是一张用以招安的投名状，是对彭博一种另类的“认同”。图片注：彭博收到的Open AI offer但业内也有一些声音，认为RWKV架构与Transformer架构并没有本质上的区别。另外，他们在融资进程上也难言“丝滑”，资本对他们的认可度并不高。彭博毫不避讳地告诉我，一些投资人对他们的判断也是“野生科学家”。这导致了算力和人力资源限制，也影响了RWKV的硬指标。“现在大家scale得比较先进，炼的token也多，这方面我们相对还比较落后”，彭博表示，token多的模型先天有很大优势，但他也相信“等到token量上去了，他们就不能轻易黑我们了”。少有人走的路但相信RWKV路线的人，仍然存在。比如某技术出身的知名投资人，在2023年底，这位投资人给予了RWKV团队千万元级别的种子轮投资。为了获得RWKV团队的信任，他专程去彭博楼下的咖啡馆聊了两小时，认购了1%股权。让这样的知名投资人亲自登门拜访，并非创业者的常态。但彭博几乎足不出户，他需要足够的独处时间来“炼丹”。在大多数都做做模型层的工作时，彭博却选择了模型底层架构的研究，他认为现在的AI公司专注的是机械智力的提升，而他同时也关注创造力和智慧的提升。前者指向大脑，有明确的通路（如通过合成数据）；而后者最终指向心和意，路径却有待探索——但这将是真正有趣的问题，需要理解和创造灵性。最初做这件“希望改变世界时间线”的事情，初衷是因为彭博想探索AI是否能写出“真正有力量”的小说，特别是架空小说。彭博用“愚公移山”来形容这项工作，“这其实是体力活，需要实现和测试大量细节。”2020年，彭博开始做模型，起初是对transformer架构的改进——引入显式decay和短卷积。在优化attention机制时，彭博发现它可以写成RNN，引入RNN效率更高和形式优雅的优点后，效果仍然得以保持，通过这种方法，RWKV-2诞生了。在2016年，AI学术界最流行的架构是RNN循环神经网络的变种——LSTM；但半年后，与其对标的Transformer横空出世，使得曾经大火的RNN成为落伍的少数派。因此，RWKV可以称得上是RNN的复兴。2023年，彭博很快获得了开源社区的关注，LSTM之父Sepp Hochreiter也转发RWKV的推文，并介绍这是一种无需使用注意力机制，就能达到Transformer性能的RNN架构，运行速度很快。随着关注度的提升，对RWKV的质疑也接踵而至。有某头部AI公司技术负责人向虎嗅直言：“RWKV架构与Transformer架构并没有本质上的区别。”在7月的一次见面交流时，为了改变我将信将疑的态度，元始智能联合创始人罗璇特地给我展示了研究RWKV架构并发表论文的研究人员，这包括：上海人工智能实验室、阿里达摩院、腾讯优图实验室等等机构的学者，他们在官网rwkv.cn上展示了二十多篇在各种模态使用RWKV的论文。学术界一直在探索将物理世界压缩复刻到一个大模型的世界模型，而彭博坚信，RWKV架构作为RNN，是通往世界模型的最合适通路。彭博的逻辑是：因为RNN更接近人脑和宇宙的运作方式，RWKV是state大小恒定的RNN——正是固定大小的限制，迫使模型学到真正的东西，必须把世界压缩到它的state里去。就像在玩《星露谷》时，由于背包格数有限，玩家只能选择储存最重要的物品。彭博从物理学的角度向我解释了RWKV的优势。在物理上，宇宙的下一状态只与上一状态有关，这是所谓的locality和causality，量子场论遵循这一原则。而Transformer是一种state（KV cache）不断增大的RNN，它每个字都要和前面的字比对一遍，这相当于“超距作用”，不符合我们这个宇宙的物理。因此，在彭博看来RWKV更加接近这个世界的本质。彭博甚至更激进地表述：我们目标是做真正的智能，现在可以用混合模型作为过渡方案，以后一定是纯RWKV。而能做成这件事的信心，除了以上的优势外，“运气也很重要”，彭博自认为一向是个运气挺好的人。跳出循环出乎我意料的是，彭博身上并没有我所假设的——那些恃才傲物的刻板印象，他多次向我强调他其实是个谦虚和谨言慎行的人。例如，当有投资者问到RWKV目前的弱点和缺陷，他会直说，并给出解决改进方案。他也告诉我：“现在的算力和人力资源限制，在一定程度上影响了他证明RWKV架构的先进性。”这样的资源限制，是因为他们得不到太多来自资本的支持。虽然在2024年的奇绩创坛路演上，陆奇曾用“受北美尊重的公司”来介绍他们，但大部分时间他们并不是风投的宠儿。几乎每次见投资人，彭博都需要花费很长时间去解释RWKV，罗璇感觉“他们好像来学习”一样，学完之后，可能还会有人说被骗了，“这就是个民科”。很多投资人不敢投，是因为他们也看不懂这些大模型的底层技术，另外在大多数人都选择Transformer路线时，投资人对于RWKV这样非主流的路线更为谨慎。也会有一些来自Transformer主流路线的声音，干扰他们的判断。而彭博也不会过度花时间去向投资人解释，拉齐认知。因此，彭博选择只在自己家楼下见投资人，这也是一种筛选机制——“如果一个投资人要我过去见面才肯投的话，那说明他不懂我们在做的事情。”在对冲基金工作过的他，很清楚这样的投资逻辑： 大家追求风险较低的头部路线，有大佬或团队履历背书更佳，这样可以有较为稳定的退出策略。因此他也十分理解这些投资人的选择，“毕竟有认知有魄力的投资人是少数”。但大模型研发却需要巨量的资源，我粗略算了下，现在十万张GPU大概需要两百亿人民币。算力和人力资源是摆在彭博眼前的首要限制。“如果我们算力上去了，就很容易证明自己了”。虽然RWKV在一代代迭代下越来越强，但“在算力不够的情况下，有些硬指标确实是不好做的。”在大家都要看硬指标的情况下，难免会陷入被动的循环。在我表达这样的循环有些可惜后，彭博对此却非常平和自洽：“我觉得没有可惜的，这就是创新者的考验。你选择了更难的道路，就要承担这样的事情，如果你应对不了，就不要创新了，我觉得是很合理。”彭博认为，时间是站在RWKV这边的。目前资源的限制，会影响大模型的训练，但不会影响RWKV的迭代速度，反而可以成为他的动力：“以小搏大，更好玩。既然要做大事——构建人类所有AI模型的基础架构，就不妨证明自己有能力在任何环境把它做出来，这在后世看，只会更有戏剧性。”非共识的相遇为了做这样全新的架构创新，必须有足够的独处空间。彭博几乎没有参加过任何公开活动，因为他有一个关键帮手——元始智能联合创始人罗璇。罗璇就像美国大片里永远陪伴在男主角左右的靠谱配角一样，充当彭博代言人的角色，频繁出没于各种科技活动现场，积极布道RWKV架构。罗璇追随彭博，是因为他认为彭博是天才，“他似乎是生来就要做这件事情的”，而彭博认为他只是“很擅长看到其它人难以看到的角度”，他会用更高的视角看待AI与人类的关系。见面之后我发现，一头长发酷似艺术家的彭博，远比我想象中要鲜活得多。在工作之余，他也会玩《崩坏：星穹铁道》，关注社会和人心，在今年还开始了情感关系咨询的“新业务”。而在听罗璇讲述了彭博的故事后，我逐渐开始理解罗璇：彭博6岁从三年级读起，16岁参加高考，他的第一志愿是南大物理系，但最终高考分数超出广东省清华分数线40分，在南大入学后，彭博很快就以全奖奖学金转学去了香港大学。没有选择计算机系的原因是：感觉不需要专门学。在大学任教的父母都认为计算机编程是未来的方向，因此从六岁时彭博就开始写代码，在高中时就出版过游戏编程的书籍。2006年，彭博在香港大学毕业后去了当时全球最大的外汇对冲基金，做量化模型，并在后来成为其中的几位基金经理之一，在二十多岁管理六千多万美金。2013年，彭博从香港回到深圳，开始智能硬件创业——禀临科技。2019年，他观察到市场需求，开始做没那么智能的全光谱灯，知乎上也有人戏称彭博为卖灯泡的。这时还在天猫精灵AI Lab的罗璇，发现智能音箱是一个当时仍然不成立的故事，于是开始了物流机器人创业。随后疫情来临，公司销量受影响，彭博保持公司运作，专心投入AI模型底层架构的研发，RWKV架构的诞生之路也由此开启。而罗璇所在的行业也受疫情影响，他开始投身组织、参与黑客松活动——用编程解决实际问题的线下活动。在一次罗璇组织的黑客松上，他跟彭博第一次见面，两个人的命运也由此交汇。见面时彭博告诉罗璇，他可能是实现AGI的最佳人选——那时他已经独立做了RWKV-1到RWKV-4，并在海外有了不少拥趸。罗璇之前也见过不少天才，但彭博是天才中比较有意思的那类，虽然罗璇当时觉得彭博的说法有些神经病，但他非常认同彭博所做的事情和底层逻辑，于是决定加入元始智能。而彭博选择罗璇的原因也非常简单：罗璇能够帮彭博做很多他没法分心去做的事情，而且做得不错，两个人非常互补。“我们正在走向一个正确的非共识，而且这个非共识绝对是没有共识。”罗璇这样形容他加入元始智能后的感想。“漫长的路，自己选的，自己走。”未来彭博会按照计划，一代代迭代，去解开这个死循环。他说未来的RWKV8会是一个非常有意思的东西。“你认为人与人本质区别是什么？”——在交流的最后，善于从本质出发的彭博问我。“是认知”，他告诉我：“我只能说我后面做的方向是他们做梦也想不到的。”koa12jJid0DL9adK+CJ1DK2K393LKASDad
编辑:李书诚
TOP1热点：外设玩家，用外设游戏春节时光
报道显示，国务院办公厅秘书三局、各省（自治区、直辖市）政府办公厅和金融办（金融工作局）有关同志出席会议。证监会相关司局负责同志、各证监局主要负责同志、沪深证券交易所负责同志参加会议。。
TOP2热点：日本制铁公司对美国政府提起诉讼
据证监会官网6日消息，2月5日上午，证监会上市司召开推动上市公司提升投资价值专题座谈会。会议围绕加强以投资者为本的上市公司文化、着力提升上市公司投资价值、大力推动公司高质量发展的主题，听取上市公司有关情况及意见建议。12家上市公司代表参会。会议认为，上市公司是国民经济“基本盘”、“压舱石”、“优等生”，是资本市场投资价值的源泉，必须诚实守信、真实透明、规范治理，通过专注主业提高公司成长性，增强回报投资者能力，让投资者更多共享公司发展成果。今年以来，上市公司通过回购、分红、强化投资者关系和预期管理等方式积极维护公司市值，积累了有益经验和做法。
冻雨又叫“凝冻”或“凌冻”，是指低于0℃的雨滴，降落到低于0℃的物体上时，立刻冻结成外表光滑而透明的冰层，又称为“雨凇”。
TOP3热点：美国怎么又烧起来了494949大但人文艺术
另据介绍，2015年至2020年，张勇利用担任万山区委常委、组织部部长、党校校长等职务便利，为商人何某某在项目承揽方面提供帮助，以借款形式索取、非法收受何某某财物共计48万余元；2020年至2022年，张勇利用担任铜仁市生态环境局党委书记、局长的职务便利，为商人谭某（另案处理）在环保治理项目承揽、项目招标代理、环保处罚等方面提供帮助，索要、非法收受谭某财物共计74万余元……经查，张勇大搞权钱交易，利用职务便利先后为17名商人老板提供帮助，累计收受他人财物524万余元。
TOP4热点：24年快递业务量突破1700亿件雷电将军与丘丘人繁衍后代
金壮龙强调，2024年将“大力推进新型工业化，加快建设制造强国和网络强国，为以中国式现代化全面推进强国建设、民族复兴伟业作出新的贡献”。
TOP5热点：穿新衣，戴新帽，漂漂亮亮过大年荧被丘丘人繁衍后代剧情解析
银河证券认为，央行降准带来约1万亿中长期资金释放，短期也起到呵护春节流动性作用，叠加以往经验显示春节前后资金面在央行维护下波动已较小，1月中下旬以来存量逆回购不断上行资金相对充盈也显示央行维稳意图，2月资金面波动情况可能下降，资金利率上行压力有限。
预计，2月6日08时至7日08时，贵州中东部、湖南大部、湖北东南部、江西西北部山区、安徽南部山区、浙江西部山区等地的部分地区有冻雨，累计冻雨量1~6mm，局地10mm左右。
TOP6热点：陈柏阳刘毅晋级八强侄女18岁成人礼送什么礼物
国信证券策略报告则认为，现阶段，股市面临较为复杂的多空因素，降准降息、北向流入是多方力量，但基本面偏弱、交易情绪不高也阻碍了股市上行。展望2月份，经济数据和政策发布偏滞后，春节假日效应对成交量修复或有所拖累，股市预计仍处震荡区间。
TOP7热点：如何看待全国各地古镇相似度高达 99%新西厢记电影版免费观看
第一条 为贯彻落实《横琴粤澳深度合作区建设总体方案》，根据《中华人民共和国海关法》《中华人民共和国进出口关税条例》等相关法律、行政法规和《财政部、海关总署、税务总局关于横琴粤澳深度合作区货物有关进出口税收政策的通知》（财关税〔2024〕1号，以下简称《通知》）等有关规定，制定本办法。
TOP8热点：央行明确释放稳汇率信号按在电竞椅上c
记者从自然资源部获悉，今天（2月7日），我国南极秦岭站正式开站。这是我国在南极建设的第五个科学考察站。据悉，南极秦岭站填补了中国在南极罗斯海区域的考察空白 。1985年2月，我国第一个南极考察站——长城站在南极洲乔治王岛建设完成；随后，中山站、昆仑站、泰山站也先后落成。
李强在国务院第二次廉政工作会议上指出，过去一年，各级政府和各部门坚决落实党中央决策部署，推动政府党风廉政建设和反腐败斗争取得新的进展。
TOP9热点：哪吒汽车称官网已恢复正常并已取证倒闭谣言暴躁少女CSGO最强角色推荐
公开简历显示，1965年出生的田惠宇是上海财经大学基建财务与信用专业学士、哥伦比亚大学公共管理专业硕士。田惠宇年轻时一直在建行工作，从基层起步，随后步入管理层。他曾就职于中国信达旗下的信托公司，担任副总裁5年后，于2003年进入上海银行，担任副行长职务。从上海银行卸任后，田惠宇赴建设银行任职，先后担任上海分行副行长及深圳分行主要负责人、行长职务，2011年起调任建设银行零售业务总监兼北京市分行主要负责人、行长。直到2013年5月从建行“空降”加入招商银行，成为招行行长，而当时他刚刚47岁。
上周（1月29日—2月4日），中央纪委国家监委网站受权发布信息：19人被查，19人被处分，56起违反中央八项规定精神问题。
TOP10热点：新手无货源开网店老公亲我的小花园爱我吗怎么回答
去年3月18日，也就是田惠宇被宣布落马前一个月，招商银行发布2021年年度报告，田惠宇在年报致辞中说道：“为客户创造价值，呼唤一支秉持‘价值观高于KPI’的员工队伍……大企业的绩效考核从来都是道难题，但我们必须直面、破解，因为商业模式决定我们发展的高度，而价值观决定我们能走多远。”