中阳期货官网

今年以来，由游戏设计师杰森·艾伦使用 AI 绘图工具 Midjourney 绘制的作品《太空歌剧院》夺下了美国科罗拉多展览会的年度艺术竞赛的首奖，引起艺术家和社交媒体的热议，也让AIGC（人工智能自动天生内容）看法成为AI界年度热词，并掀起了一股AIGC投资热潮。AIGC真如外界所宣传的那般美妙吗？其背后的创新创业生态将若何构建？

从2012年AlexNet取得深度学习里程碑式的突破以来，启明创投在已往的十年中都是中国最活跃的人工智能投资机构之一，我们见证了人工智能从算法到应用的一次次突破和生长，对人工智能的远景我们始终保持着热情和理智。启明创投开设硬科技前瞻专栏，希望从创投视角深度解读前瞻手艺突破，多维度剖析行业趋势，寻找新锐科技气力。

若是我和你说，未来AIGC可能有两种天下：一种天下是多个大模子基础公司，为上游应用提供API和模子服务，上游应用公司只需要专注于开发产物逻辑和上层算法；而另一种天下则犹如今天的AI公司一样，每家公司都凭证自身需求研发底层大模子，为自身应用提供手艺支持。

你对任何一种天下的信托都将组成你当下投资和创业的选择，固然，这两种天下也可能存在相互交织的过渡形态，但需要你来对过渡形态的连续时间举行判断，你会选择信托哪一种天下？

AIGC的两种天下

先不用着急给出你的谜底，再问你两个问题：

1、若是GPT-4，或者3年、5年后*的模子比GPT-3大100倍甚至1000倍，作为创业公司是否还要自研？

2、在某个领域的底层基础模子尚未成熟的时刻，选择在该领域举行创业是很好的timing吗？

若是你对未来的AIGC天下和这两个问题感兴趣，我们将进入今天的文章。我们将简朴回首近期热闹的AIGC，从中探寻AIGC在今年火爆的基本缘故原由，并将连系强化学习奠基人之一Rich Sutton的“AI70年凄惨的教训”和Jasper.AI、Copy.AI等公司的生长，做出我们对于这个天下的判断。信托看完以后，你也将会得出自己的谜底。

引爆用户的AIGC

若是用一个字形容已往几个月的AIGC（AIGenerated Content）/Generative AI那么应该是“火”。Midjourney的作品获得美国科罗拉多州展览会的数字艺术竞赛一等奖，引发关注和普遍争论，有人戏称AIGC让每个画师都在忧郁失业。与此同时，今年相对幽静的VC迎来新风口，延续轰炸的AIGC公司的融资新闻和新闻让VC又一次发生FOMO(Fear of Missing Out)的情绪；DreamStudio、Midjourney等AI作画应用相符视觉消费的时代主题，引爆了C端热情。

实在AIGC并不是一个新颖的看法，AIGC即用AI算法天生文本或者图像等内容，种种NLG(自然语言天生) 模子和GAN（天生匹敌网络）及其变种模子都是此前的天生式AI模子。若是你打开谷歌搜索AIGC，会发现排在前面的基本都是中文网站，因此有人说AIGC是一个国产看法，与之对应的外洋看法是Gartner在2019年提出的Generative AI，为统一明白，本文将接纳AIGC来表达AI天生内容。

我们考察到新一波AIGC浪潮起源于2020年的预训练大模子GPT-3，现在火爆的图像天生、视频天生、3D天生等，本质是大模子从文本天生扩展到多模态，并连系原有模态算法举行实现（固然，以图片天生图片等本模态之间的AI天生，以及图像天生视频、2D天生3D等跨模态天生也是AIGC，例如VAE、StyleGAN、Nerf等与AI天生相关的模子都在GPT-3宣布之前或之后提出，但这些偏向的事情并非引爆新一波AIGC的主要缘故原由）。因此，我们看到的大量AIGC应用，现在的显示形式大多为输入一句话，天生一句话/一张图/一段视频/一串代码等。

1750亿参数的GPT3曾一度是AI历史上*的机械学习模子，相比于15亿参数目的GPT2，GPT3参数目提高约117倍，预训练的数据量也从50 GB提高到的570 GB。2020年宣布GPT3的时刻，OpenAI并没有将事情重点放在模子结构的创新上，反而是举行了大量工程化的事情，充实展示GPT3通过Zero-Shot、One-Shot和Few-Shots（即不需要分外数据举行微调，直接给出几个样例就可以让模子做出准确的天生）等Prompt方式完成多种NLP义务的通用性和泛化能力。通过释放出API接口供民众挪用，GPT-3的商业化也正式提上日程。GPT-3展示出惊人的效果后，一年后*实验室和科技大厂陆续宣布自己的NLP预训练大模子，模子参数目出现指数级其余增进。

深度学习模子中参数数目的指数级增进

随后的一年内，OpenAI举行了多次多模态的探索，其中最着名的是Text-to-image系列模子DALLE和DALLE2。

OpenAI在2021年1月宣布初代Text-to-Image 模子 DALL-E，虽然相比于此前作画模子希望惊人，但效果并未让民众惊艳，因此只在学界引发了伟大的关注。2022年4月，OpenAI再次宣布第二代Text-to-Image 模子 DALL-E 2，效果极好，但OpenAI仅用一篇未宣布细节的论文展示其功效，并仅为审核通过的开发者提供接面试用。2022年8月，借鉴Dall-E 2的思绪，Stable Diffusion模子开源，至此，AI图像天生最先发作。

DALLE、 DALL-E2和其他开源模子的宣布时间线与效果

时间轴图片泉源：State of AI Report 2022,

总结AI天生图像生长滞后于天生文本，但却在2022年下半年发作的缘故原由，我们不难发现如下纪律，上一层级的AIGC往往依赖于下一层级的AIGC生长到一定水平，如Text-to-Image依赖于Text-to-Text自己的算法生长相对成熟，同理，我们推测Text-to-Video也需要依赖Text-to-Image和其他视频展望算法（如视频插帧）的生长成熟，因此，我们可以对差异庞大度的AIGC内容的进化蹊径得出以下推论：

AIGC中差异内容的进化蹊径

AIGC为何引起新一波热潮？

若是剖析新一波AIGC获得生长的缘故原由，最直接的结论是由于大模子（如GPT-3、Dalle2、StableDiffusion等）带来了异常好的效果和泛化能力。

实在从GPT-3泛起之前，早在2018年3.4亿参数的Bert模子在那时已经算是巨无霸级其余存在，只是没有想到短短2年内，模子参数就提高到了GPT-3的1750亿。3.4亿参数的Bert将SQuAD 1.1的F1得分提高到93.16分，跨越人类的显示，并用屠榜的成就赢得了多项NLP测试。但直到GPT-3的泛起，NLP模子才可以更好地完成NLG义务，而且对Few-shots的运用加倍娴熟。

大模子还展示出了壮大的泛化能力，GPT-3的API接口让下游的应用公司可以不需要迁徙学习就直接将AI能力应用到自己的义务中，API接口宣布不到1年内就吸引了约300家公司挪用其API，也印证了在2021年8月斯坦福大学教授李飞飞等100多位学者联名揭晓的200多页的研究讲述On the Opportunities and Risk of Foundation Models中关于大模子（统一命名为Foundation Models）可以集中来自多种模态的所有数据的信息，并直接适用于多种下游义务的构想。借助GPT-3的API接口，OpenAI也逐渐从自力的实验室走向大模子的基础设施公司。

图片泉源：论文On the Opportunities and Risk of Foundation Models

但若是进一步对为什么大模子能够带来更好的效果和泛化性举行剖析，我们现在还只能通过实验而非清晰的理论举行注释。简直大多数情形下更大规模的模子会带来更好的效果，但详细缘故原由尚未被探明，学术界也存在许多探讨。在最新的一篇关于大模子的研究论文中，作者通过实验证实晰大多数义务的效果随着模子的增大而提高——在一些义务中，随着模子增大而效果类似线性相关地变好的情形，作者将这类义务界说为LinearityTasks，同样，也有一些义务需要模子规模跨越某个临界点后，会突然泛起响应的能力，往后在随着模子规模的增大而提升效果，作者将这类义务界说为BreakthroughnessTasks。（固然，也存在少部门义务的效果随着模子增大而降低）。

图片泉源：论文Beyond the Imitation Game: Quantifying and extrapolating the capabilities of language models

同样，论文Emergent Abilities of Large Language Models中也有类似的实验证实，当模子达莅临界巨细时，许多NLP能力会不能展望地泛起——涌现纪律。

若是再进一步追问为什么模子可以越做越大，则不得不提到Transformer的优点。Transformer解决了并行化训练和长依赖问题，能够容纳更多的参数规模，为模子进一步做大提供了基础，而大模子带来了更好的效果和泛化性，提供了跨越以往的天生能力，引发了新一波AIGC的发作。

Transformer提供的并行化和对全局信息掌控能力，对算力的充实挖掘和行使，也近乎*地相符2019年 DeepMind卓越科学家、强化学习的奠基人之一的Rich Sutton在文章The Bitter Lesson中叙述的看法——从已往70年的人工智能研究中可以获得的*教训，是行使盘算的一样平常方式最终是最有用的，而且效果提升幅度很大。

在文章中，Rich Sutton通过枚举深度搜索跨越人类知识设计的算法而在盘算机国际象棋中击败人类冠军、隐性马尔可夫模子在语音识别领域战胜基于人类知识的算法、盘算机视觉中深度学习使用卷积跨越此前搜索边缘和以SIFT特征为基础的方式，论证了为了追求在短期内有所作为的改善，研究职员更倾向于行使人类对该领域的知识，但从久远来看，*主要的是对盘算的行使。

然而， Rich Sutton关于“久远来看，*主要的是对盘算的行使”的看法，那时并没有引发业界的强烈关注，甚至在大模子促进AIGC蓬勃生长的今天，许多创业者和投资人仍然没有对这句话的意义足够重视。

未来的天下

现在关于GPT-4盛行着两种传言，*种是天生GPT-4并不会比GPT-3的参数规模大太多，预计是几千亿级其余参数目，但会使用更大量的数据举行训练；另一种传言是GPT-4的规模将会比GPT-3大至少一个量级。不管哪一种传言是对的，若是我们认真思索Rich Sutton的“久远来看，*主要的是对盘算的行使”这一看法，则很难阻止的需要回覆这样一个问题“若是GPT-4，或者3年、5年后*的模子比GPT-3大100倍甚至1000倍（这里的100倍，可能是模子参数目、也可能是训练使用的数据量），作为AIGC应用侧的初创公司照样否要自研？”

2012年至今，显示*的模子参数每18个月增添35倍，增速远超摩尔定律

我们在今天热闹的AIGC创业气氛中，有时会听到这样的一种乐观言论—市场上能够挪用的大模子API效果并欠好，我们需要获得一笔融资，去研发自己的大模子，有了自研的大模子，我们想要做的杀手级其余应用（如写作助手、图画天生等等）就会取得更好的效果，最终赢得客户。持这种论调的创业者，大多有着不错的手艺靠山，而且也许率在AI领域有过一些值得人尊重的功效。然而，Rich Sutton之以是得出凄惨的教训，正是由于基于这样的历史考察：1）人工智能研究者经常试图将认知加入到他们的模子中，2）这在短期内总是有辅助的，而且对研究者小我私人来说是知足的，然则3）从久远来看，它的影响趋于平稳，甚至抑制了进一步的希望，4）突破性的希望最终通过一种与之对立的方式，是基于搜索和学习这样能够扩展盘算的方式。

这样的考察与上文我们考察到的一些论调异常相似，今天创业者希望通过行使与自身营业相关的数据、履历、技巧等去自己构建当下的*的大模子，简直有时机在自身领域带来跨越今天大模子基础设施公司公然提供API的效果，然而这也同样意味着企业要一直分配一大部门精神和资金在基础模子的研发上，那自然放在营业上的资金和精神则会削减。PMF(Product-market fit)以及PMF之后的营业拓展，都需要企业投入所有的精神来完成，这大模子所需要花费的研发投入和资金成本显然与集中精神做PMF有一些矛盾。

对于以上的问题，现在AIGC创业公司中已经实现PMF和商业化拓展的两个代表性公司Copy.AI和Jasper.AI并未纠结。前者在确立的一年内实现了1000万美元的ARR，尔后者则更是厉害，在确立的2年内实现了4000万美元的ARR，预计在今年实现9000万以上的ARR。两者的配合点都是基于选择了使用GPT-3提供的API举行创业，并在GPT-3提供的API的基础上，在前端做了大量的控制算法和产物逻辑，并集中精神打磨产物。

值得小心的是，大模子是一直在提高的，花费的成本也越来越高。OpenAI1750亿参数的GPT-3花费了约莫500万美元的训练资金，Stability.AI也在维护一个4000 多个Nvidia A100 GPU组成的集群来训练AI模子，显然这么大的训练用度对于创业公司是一个压力。虽然Stable Diffusion已经开源，但在图文天生领域另有更多提高的空间，现在来看Stability.AI的偏向并非成为图像侧的应用公司，而是成为大模子领域的基础设施公司（可能类似于huggingface）。那么不禁要问，若是有一天Stability.AI像OpenAI一样，并不再开源其*进的模子，而是提供商业化挪用的时刻，创业公司是否还要选择自研大模子来保持*进，若是回覆是Yes的话，资金又要从那里召募呢？

另外一个值得注重的问题是，现在Stablediffusion开源模子所展示的效果并没有在图像领域杀青如GPT-3在NLP领域一样的效果，虽然其C端火爆的征象仍然连续，然而若是真的转化成B端的通用生产力工具，Stablediffusion还存在无法针对图像做更细节的天生（如手部效果等）、无法制订某个特定区域修改甚至修改后与原场景十分融洽、无法控制画作中差异元素（实体）举行单独修改等诸多问题（停止发稿前，Stablediffusion2.0已经在11月24日宣布，转变包罗对分辨率的提升、引入图片编辑功效等，但上述问题仍然未获得充实解决）。简而言之，现在除了NLP领域的大模子是相对成熟以外，图像的AIGC模子尚且处于早期，视频、3D、游戏等内容的AIGC模子则处于更早期阶段。因此创业者需要回覆的另一个问题是“当底层基础模子尚未成熟的时刻，是选择在该领域举行创业很好的timing吗？是否应该等到底层模子相对成熟且API就位后才是更好的创业timing？”

以Text-to-Image领域为例，自然会有一些勇敢的创业者会去提高当前Stablediffusion的效果，自己训练前端的CLIP模子，甚至自己训练后端的Diffusion模子。简直，在当前模子没有生长到一定水平时，拿到一笔钱后做出比当下市场上*的模子效果还要好的模子，并为营业发生更好的效果的想法确实异常诱惑，这个想法下能够展示出的Demo、优异的AI团队，可能也是令VC陶醉的。但回首NLP的历史，若是Copy.AI、Jasper.AI并未在2020年OpenAI研发出GPT-3并开放接口后再选择创业，而是在2015年、2018年拿着那时的模子去选择做营销助手的创业，其乐成的概率会有多大？而从现在的市场情形来看，图像、视频领域则尚未泛起与Jasper.AI和Copy.AI类似的、已经实现跨越万万ARR的新的应用类创业公司，更多是原来已经存在的应用公司通过新的模子举行营业能力的增添。信托除了StableDiffusion模子开源的时间尚短以外，也有着当前*的模子亦尚未成熟的缘故原由。也许，在图像等其他内容领域，现在时代还在呼叫着与OpenAI类似的提供API的基础设施类公司，然后才是应用生态繁荣的最先。

参考外洋AIGC差异类型的公司泛起的节奏，可以发现如下纪律：

*步，*实验室研发革命性的模子

第二步，实验室或者AI科学家确立基础设施公司，提供API和模子对外服务

第三步，具备行业履历的产物人才行使基础设施公司提供的API，专注于打磨自身应用，服务客户

从NLP到其他模态（如图像、视频、3D等），以上纪律频频泛起。

当前NLP海内外都已经泛起基础设施公司提供API接口，外洋有OpenAI、Cohere等公司，海内也泛起了智谱华章这样研发出超大规模预训练模子（效果在多个公然评测集上性能跨越GPT-3）并提供模子服务市场（Model as a Service）的基础设施公司。

有了基础设施公司提供相对成熟的API服务，启明创投将连续关注NLP杀手级应用；而图像、视频、3D等领域，尚未泛起能够提供商用API的基础设施公司（StableDiffusion和Midjourney有可能是*批图像领域的基础设施公司）。

启明创投同样会关注在大模子时代前就确立，专注于垂直领域的应用公司，他们将在新一波AIGC浪潮中借助大模子的能力，推出新产物和或者大幅提升原有产物效果（例如Notion和RunwayML）。此外，在两个天下过渡的历程中，能够拿到高额融资的垂直一体AI公司仍然有可能在时间窗口中占有有利职位（例如AI21lab和Character.ai），我们对此类时机同样保持关注，但会加倍郑重。

固然，就像是恐龙时代中，哺乳动物作为弱小的生物并不显眼，但却最终面临种种恶劣的环境生计下来并开枝散叶一样。从2012年AlexNet取得深度学习里程碑式的突破以来，启明创投在已往的十年中都是中国最活跃的人工智能投资机构之一，我们见证了人工智能从算法到应用的一次次突破和生长，对人工智能的远景我们始终保持着热情和理智。我们将对目宿世长的元学习、新一代AI推理或者其他使用更小数据量和参数目的模子生长保持关注，也许未来有一天transformer不再是*范式，垂直应用的天下会再次到来。

然则，在此之前，第二种天下向*种天下的过渡看起来无法阻止，要知道虽然恐龙最终灭绝，但灭绝之前，他们曾作为霸主统治地球1.6亿年。

关于作者

署名作者均为启明创投TECH投资团队成员，周志峰是启明创投合资人，胡奇是启明创投投资司理。