中阳期货官网

上个月刚宣告离任谷歌的Transformer论文作者“Llion Jones”，最新动向尘埃落定。

据金融时报音讯，Llion Jones将和前谷歌大脑*研讨人员David Ha，一起在东京兴办人工智能研讨公司Sakana AI。据泄漏公司将集合做生成式大模型，创建一种依据“天然启示的新式智能根底模型”。

音讯一出，圈内闻名话唠、英伟达科学家Jim Fan也*时刻发来贺电。

Llion Jones作为前谷歌科学家，他与其他七名作者一同宣布的论文《Attention is All You Need》现在已经成为大部分大模型的“奠基研讨”，引证次数更是高达8w 。现在OpenAI的GPT模型、谷歌的Bard模型均以Transformer架构进行规划。

另一位创始人David Ha，则具有“谷歌日本人工智能研讨部前负责人”和“Stability AI前研讨主管”双重身份。

Llion Jones（左）David Ha（右）

大模型范畴炽热众所周知，除掉像Google、Microsoft、Meta、OpenAI等不差钱的巨子玩家，还有包含Cohere、Personter.AI、Anthropic等在内的很多草创公司。

在外界看来，Sakana AI的大模型挑选以Transformer为架构也是水到渠成的事，但这次两人计划摒弃Transformer，玩点不相同的。

在采访中，Jones和Ha指出，当时AI大模型的建构就像工程学，神经网络就像一座桥，它们被规划成软弱且不行改动的结构。

比方，像GPT这类大模型虽才能极强，但也很简略被黑客操作生成有害或风险的内容，就像手机越狱相同。而以现在的技能，想要防止这种状况的产生，就需要开发者手动更新模型参数。

简略来说，由于模型结构被规划的十分严厉，立异也变得很困难。

相比之下，天然体系中的团体智能则更灵敏呼应环境改变。因而，两人希望能使用演化核算的原理来构建人工智能模型，使其像天然体系相同可习惯改变、节约本钱并提高安全性。

具体来说，便是经过制作多个较小的人工智能模型，每个模型都有自己一起的优势和较小的数据集，让他们像鱼群相同协同起来，一起处理一个问题。

这个理念也反应在公司姓名上，Sakana来源于日语中鱼的一个单词“さ yl”（sa-ka-na），意在“将一群鱼集合在一同，用简略的规矩组成一个连接的实体”的主意，类似于天然界中的进化论、团体才智等概念 。

在公司官网logo规划上，能够看到一群鱼在游走，其间竞争对手就像一只只黑色的鱼，依循同一方向，而Sakana是那只赤色的鱼，朝向另一个天壤之别的方向，也代表着两人创建公司的初衷便是想玩点新的。

依据官网介绍，这种新式AI模型首要以两种方式落地。一方面像大模型用于生成文本、图画、代码等多个模态的内容。另一方面也能给ChatGPT这样产品供给支撑、协同更多大模型产品作业，完结才能上的“无缝联接”。

事实上，这一次的另辟蹊径也并非忽然奇想。创始人之一David Ha在曩昔一段时刻已发布多篇关于“深度学习呈现团体才智构思研讨”的论文和博客。

比方，他在2021年宣布的论文《The Sensory Neuron as a Transformer: Permutation-Invariant Neural Networks for Reinforcement Learning》中提出一种AttentionNeuron的网络层，能够将每个输入通道连接到一个独立的神经网络模块，每个模块只处理各自的部分输入，然后经过注意力机制交流信息。

论文中，研讨人员将一个完好的图画进行打乱切块，然后输入到多个部分神经网络模块中，每个模块只看到一小块图画，然后经过注意力机制整合一切模块的输出。

试验标明，在自动驾驶CarRacing环境中，即便输入的图画块已被随机打乱次序，AttentionNeuron在没学习过环境内容的状况下，也能够完结必定程度上的自动驾驶，表现出更好的鲁棒性和泛化才能。

最近，David Ha还与DeepMind科学家Yujin Tang合著了一篇论文《Collective Intelligence for Deep Learning: A Survey of Recent Developments》，体系探讨了机器学习中越来越受欢迎的依据杂乱体系的主意，例如集体智能、自组织、紧迫行为等。

除此以外，关于为何没有把公司建立在炽热的硅谷，两人也有自己的主意。

Jones表明，谷歌和其他公司现在都把很多精力放在技能商业化层面，这意味着进行前沿研讨的空间会越来越小。创建Sakana的首要方针是想专注做研讨，挑选东京一方面能够防止遭到“硅谷炒作AI”的影响，另一方面也有当地方针惠顾的原因。

总结一句话便是：不搞炒作，专注做LLM研讨。

到现在，两人并未泄漏过多关于融资的音讯，仅表明会考虑这方面。

不过，Transformer论文的八位作者出走之后，不少人都挑选了创业，成为这波生成式AI浪潮中的重要创业力气，估值也水涨船高。

此前，Transformer八位作者之一“Noam Shazeer”创建的Character.AI，在本年三月完结1.5亿美元A轮融资，仅用16个月时刻就成为一家独角兽公司。

别的一名作者Aidan Gomez，他在2019年兴办的Cohere，别离于2021年9月和2022年2月先后取得总计2亿多美元融资，投资者不乏图灵奖取得者Geoffrey Hinton、闻名人工智能研讨员李飞飞、UC伯克利大牛Pieter Abbeel等大牛。

本年6月，Cohere更是拿到了由英伟达等参投的2.5 亿美元融资，当时估值已达20亿美元。

参阅这些Transformer协作者创业伊始就取得百万美元融资的事例，媒体和外界猜想Sakana AI的融资应该很快会有发展。

偶然在于，一位网友按耐不住留言表明，马斯克刚发帖说今日到日本了。

尽管他并未泄漏此行意图，仍是引得不少网友猜想，莫非马斯克又要出手了？？

参阅链接：

[1]

[2]

[3]

[4]