文｜周鑫雨

裁剪｜苏建勋

Luma AI在视频范畴叫板OpenAI故事，好比半途改打网球的杜兰特，打赢了网球男单大满贯纳达尔。

最近，这家斥地于2021年的硅谷AI公司，在和《智能流露》的交流中，复盘了视频生成模子Dream Machine AI爆火的过程。

在硅谷率先发布一款成果能对标OpenAI Sora的视频模子，对一家初创公司而言并遮蔽易——更并且，Luma AI在视频生成范畴算得上是“半谈削发”：

2024年前，这照旧个主攻3D生成、范畴在10东谈主驾驭的小公司。Luma AI数据家具厚爱东谈主Barkley Dai告诉《智能流露》，2023年12月决定转型作念视频生成后，团队才推广了视频范畴的东谈主才，范畴加多到了50东谈主。

他提到，Luma AI能成为视频生成范畴的蚂蚁雄师，时代实力、发布时机和运营策略不可偏废。

东谈主才，是这家公司认为作念出视频模子最焦虑的钞票。2023年12月，决定从3D转型作念视频生成后，Luma AI吸纳了40个AI范畴的东谈主才。

而和OpenAI、Google打擂台，Luma AI又对模子的算法和Infra作念了诸多优化。Barkley对《智能流露》暗示，团队在Sora同款DiT架构的基础上，选择了独家纠正的架构，保证生成成果的同期，还简约了老练和推理本钱。

视频模子“Dream Machine AI”的发布时代，2024年6月13日，踩中了视频模子赛谈的空舛误——这也让Dream Machine AI具有了稀缺性，除了快手“可灵”除外，这是惟一真确对众人灵通的视频模子；

而模子的“限免”策略，又坐窝诱惑了多数试用者：上线4天，Dream Machine AI的用户量就破了百万。Barkley对《智能流露》领路，Dream Machine AI的投流用度是0，全靠KOL自愿安利，和用户的口碑发酵。

爆火之后，提高用户留存，不让光芒好景不长，是Luma AI如今的命题。

2024年11月26日，在视频模子发布后近6个月，Luma AI在iOS和web端上线了Dream Machine AI创意平台。与之配套发布的，还有Luma AI自研的首款图像生成模子，Luma Photon。

△Dream Machine iOS界面。

Luma AI家具遐想师Jiacheng Yang（杨家诚）告诉《智能流露》，与Midjourney、Adobe等专科遐想用具不同，Dream Machine不需要用户学习如何写Prompt（指示词），也不需要用户懂遐想，“咱们的盘算即是作念一款AI小白和遐想小白皆能简约上手的AI视觉用具”。

据他先容，Dream Machine共有5个中枢功能：

（1）用天然语言进行对话，竣事图片的创作生成和裁剪；

（2）由AI提供创意点子，凭据用户输入的Prompt，自动提供创意、立场选项；

（3）视觉参照，凭据用户输入的相片，生成带有疏通主体或者立场的图片；

（4）将AI遐想的图片转动为视频，供用户稽查图片中主体在不同角度下呈现出的细节；

（5）将统统AI生成的素材发布在面板上，并生成可供共享的贯穿，有助于团队进行头脑风暴。

△Dream Machine视觉参照功能。

为什么遴礼聘图像遐想平台，去邻接视频模子的用户？“想要扩大AI视觉范畴用户的盘子，只好视频生成是不够的。图像生成的诈欺场景会更芜俚，是以咱们想作念一个很好上手的遐想平台，用户能够简约上手的同期，也能展现咱们的模子才能。”Barkley提到。

行业竞争，是算作初创企业的Luma AI不得不濒临的问题。他们认为，打出相反化上风，是让模子和家具在行业中具有辨识度和获客的要津。

比如濒临Midjourney等图像家具的竞争，Dream Machine把语言领略才能作念到了“天花板”。以及，这亦然一个最会遐想字体的模子——相较于Midjourney和GPT生成的带翰墨的图片，Dream Machine图片中翰墨的遐想感和明晰度是最高的。

△Dream Machine在图片中生成的配文。

和视频模子一样，Luma AI给Dream Machine破耗的投流预算，是0。在Barkley看来，烧钱营销看的是报酬率，这意味着最终照旧要用家具语言。以及，“AI市集还很小，我以为对AI公司来说，烧钱营销还为先锋早。还不如把营销的钱，投到家具研发上”。

以下《智能流露》与Luma AI增长厚爱东谈主Barkley Dai、Luma AI家具遐想师Jiacheng Yang的交流，内容略经《智能流露》裁剪：

烧钱营销，AI公司还为先锋早

《智能流露》：2024年6月发布视频模子Dream Machine的时候，团队有莫得预感到会爆火？

Barkley：其实其时是远超咱们预期的，咱们一度出现劳动器和GPU资源莫得办法承受的情况。

《智能流露》：如果要回归爆火的告诫，你以为是什么？

Barkley：其实最早发布的版块，还不是成果最佳的版块。但咱们决定全量免费放给统统的用户去使用。

在其时，还莫得一个视频模子能够作念到这样。是以短时代内诱惑了许多用户的关注。

《智能流露》：关于创业公司来说，作念免费的决定是不是还挺遮蔽易的？

Barkley：其实咱们其时也给免费培植了一个额度，我以为这是一个行业的standard practice（基本操作）。

仅仅其时的峰值对咱们来说过高，多数的用户在短时代内涌入，劳动器后台收到了太多的request。

《智能流露》：公司能包袱流量带来的推理本钱吗？

Barkley：其实咱们照旧在时代层面作念了许多本钱的优化，比如不竭去擢升视频生成的速率，最初始咱们的模子生成5秒的视频需要120秒，当今只需要20秒。

以及在保持原有生成质地的情况下，视频模子的推理还有许多优化的空间。是以在半年时代里，视频模子的本钱是鄙人降的。

是以我以为推理本钱对咱们来说不是终点大的包袱，天然亦然一笔开支，但改日会变低。

《智能流露》：你提到Dream Machine是有免费额度的，那么使用完免费额度后的用户付费率若何？

Barkley：说真话咱们免强费率彻底莫得任何预期。因为其时咱们对Dream Machine的定位是涵养用户的家具，让用户知谈Luma AI视频生成的后劲有多大。其时市面上还莫得一个视频模子是按照对标Sora的水平发布的，是以咱们免强费率彻底莫得对标的对象。

但当今发布的AI遐想平台，咱们的定位是最终去获客的家具。是以当今咱们对它的收入和付费率有更高的期待。

《智能流露》：Dream Machine在营销上参预了几许？

Barkley：0，咱们在发布的时候莫得作念任何的营销付费。

天然咱们提前往测度了许多创作家，他们试用后皆以为很忻悦，以致大多数东谈主之前用过Runway，还有东谈主用过可灵。但他们用了咱们的家具后，皆以为说“This is the next big thing”，在推特上自愿帮咱们实行。

但咱们莫得作念任何的投放，因为咱们照旧敬佩收效的身分即是家具自身。

《智能流露》：烧钱营销，这一套打发在硅谷AI公司常见吗？

Barkley：我嗅觉硅谷大部分照旧比拟家具驱动的，运营这一套主如果中国公司。

视觉范畴的市集还很小，我以为对AI公司来说，烧钱营销还为先锋早。即便ChatGPT的用户许多，然则像一些视觉模子，用户照旧很少数。

这个时候如果你作念投流，去作念赛马圈地，留存肯定不高，还不如把这些钱参预到模子和家具的研发上，用更好的模子和家具吸援用户的增长。

《智能流露》：在发布视频模子之前，Luma AI的时代和家具照旧围绕3D生成的。团队是什么时候决定作念视频生成模子的？

Barkley：大要在2023年12月。

《智能流露》：为什么从3D转向作念视频和图像模子？

Barkley：咱们本来其实也不会说我方是一个3D公司，公司的定位照旧视觉范畴的AI公司，咱们想去领略这个寰宇在视觉上的构造，是如何匡助AI对寰宇进行领略的。

从首创团队的有计划配景来看，一初始3D是Luma AI比绝大多数公司和团队更擅长的事。后续咱们也照实作念了许多3D生成上的时代冲破。

然则3D不错被用于老练的数据量级，相较于图片和视频来说皆会少许多。同期在使用场景上，当前手机和电脑照旧主要的家具载体，但3D也会比视频更受到截止。

然则当咱们有更多的算力、更多的东谈主才，也有更多的才能去鞭策咱们的愿景，也即是更好地了解寰宇，咱们也天然地会从3D转向作念视频。

《智能流露》：这会不会让公司看起来政策有些扭捏？

Barkley：从我算作一个里面成员的视角来看，我以为无论是3D照旧视频生成，一直皆是合理的。

因为无论是3D，照旧视频和图片，皆仅仅一种模态。如果咱们最终想作念到的是对这个寰宇的领略，那么无论是一种模态、一种生成，照旧一种创意的线路，我以为只消盘算不变，这些序论就仅仅帮咱们达成盘算的技巧。

《智能流露》：从3D转型作念视频生成，时代有碰到什么贫苦吗？

Barkley：我以为通盘过程照旧比拟胜仗的，因为咱们在作念3D生成的时候，团队也就在十几东谈主的范畴，但当咱们作念视频生成以后，引入了许多视频范畴的东谈主才，当今团队范畴依然跨越了50东谈主。

这个过程其实是吸纳了更多新成员去鞭策盘算的竣事，而不是说本来环球就在常常地换主见。仅仅本来作念3D的东谈主，当今也在渐渐初始作念视频方面，比如数据等各方面的责任。

《智能流露》：作念3D的资格对视频生成有匡助吗？许多反映说Dream Machine的指点轨迹作念得很好，这和3D积贮下的空间领略才能关连吗？

Barkley：我以为可能不一定有那么径直的关系。

但从咱们发布最早版块的视频模子初始，咱们对相机的轨迹指点，包括视频里有几许机位的变化，是十分侧重的。

是以其时用户也会宽阔反映说，Luma AI的模子固然无意候生成扫尾不是那么富厚，然则它能给到许多的机位的移动，以及复杂的东谈主物指点轨迹。

我以为当年在3D上的一些告诫，能够让咱们在作念视觉模子的时候，相识到擢升机位的丰富度和指点轨迹的复杂度，能够提高用户对视频生成内容的蚀本意愿。

不外我以为当年的告诫，包括模子自身之间，其实莫得那么大的关联性和鉴戒真理。

《智能流露》：是以时代转型最焦虑照旧补充新的时代东谈主才是吗？

Barkley：是的。

邻接住模子的爆火，需要有家具

《智能流露》：6月份Dream Machine走红后，你们如何琢磨用户留存的问题？

Barkley：咱们发布Dream Machine的时候，就知谈背面一定要有家具去邻接用户持续富厚的需求。

比如你算作一个ChatGPT的耐久用户，即便后续会出来许多才能作念得和GPT差未几的模子，你照旧好像率会遴聘使用ChatGPT。因为ChatGPT通过耐久的深度学习，依然主理了用户习气，能够更好地领略你的意图。

行业里永恒会有更好的模子出现，但家具最终是能够让用户留存的点。

《智能流露》：团队是从什么时候规划作念这样AI遐想平台的？

Barkley：这个想法其真是咱们最初始作念视频模子的时候就有了。是以家具的想法是客岁（2023年）12月和视频模子同步鞭策的。

仅仅在家具的遐想过程中，咱们自后相识到，要想把通盘遐想经过涵盖，也必须要作念到能够生成图片。是以在视频模子发布5个月以后，咱们以为图片模子也饱胀好的时候，把两部分同期整合成一个家具。

《智能流露》：平台的盘算用户是哪些东谈主？专科遐想师照旧众人？

Barkley：其实咱们以为本来的Dream Machine，更多的用户照旧偏专科的，至少是有作念AI电影的告诫，或者知谈如何用Prompt去生成更好的成果。

但其实咱们更但愿当今的家具，让之前没灵验过AI以致莫得遐想告诫的东谈主用起来。比如，如果他们在责任中需要用这样的经过，不错相配容易地通过一轮一轮地和AI进行对话去竣事。

咱们在6月份发布的视频模子Dream Machine，其实照旧需要一些使用门槛的。咱们在那时候就在想，但愿正常东谈主也能access这些视觉用具，就好比视觉里的GPT。

但视觉是一个很小众的垂类范畴。咱们作念遐想平台的想法即是，如何去扩大这个群体。只好扩大群体，才能让视觉范畴的AI赢得更好的发展。

《智能流露》：非专科遐想师很难把一整套遐想的责任流用得很潜入。我的大部分生图需求，可能输入一个浅薄的Prompt，用GPT，或者Midjourney就能清闲。

Jiacheng：咱们的想法是，把用户能简约感受到分歧的功能作念到最佳，比如咱们图像才能比GPT好，然则语言领略才能比Midjourney要好。

我用并吞个最基础、彻底不复杂的Prompt，让Dream Machine和Midjourney对比一下：i want to make a poster for my brother band “crazy avocado”.（我想为我昆季的乐队“猖狂牛油果”作念一张海报。）

△Dream Machine凭据“i want to make a poster for my brother band ‘crazy avocado’”生成的乐队海报。

△Midjourney凭据“i want to make a poster for my brother band ‘crazy avocado’”生成的乐队海报。

你看Midjourney生成的海报，既不Crazy，也莫得Avocado的元素，也看不出来是个乐队的海报。

语义领略的才能其实比你假想的焦虑，会影响许多场景的落地。因为生树立时的、悦目的图片，在实用场景中真理不是很大。

如果要让Midjourney真确收复你的意图，你需要写许多Prompt，包括海报的遐想、上头写的翰墨、评释Crazy的立场等等。学会写Prompt，我好像花了两三个月时代。

但我信赖ChatGPT的大部分用户是不会去学的，他们即是进来问一个问题，得到一个论断。

咱们作念遐想家具的想路，亦然一样的。按照之前市面上的家具，如果我想要得生成收复我意图的图片，领先，我要花20好意思金买Claude或者GPT，帮我生成Prompt；其次，我要再花20好意思金到40好意思金买Midjourney，生成图片；终末我还要花20好意思金的订阅，把这些图片造成视频。

算下来，文生视频起码要花60-80好意思元。当今用Dream Machine，可能10好意思元就能处分了。

《智能流露》：Dream Machine语言领略才能的开头，亦然自研模子吗？

Barkley：语言模子用了第三方的API，咱们再去构建了一个Agent。这个Agent能够领略用户意图，然后通过不同的Prompting的表情，把用户意图转动为图像和视觉模子能够领略的指示。

《智能流露》：Luma AI当今既有模子，又有家具，如何去作念生意化？

Barkley：家具照旧会选择订阅的表情。模子即是提供API。

《智能流露》：不作念定制化？

Barkley：定制化不太稳妥初创公司，会踱步元气心灵。

当前莫得专科视觉用具，在界说交互范式

《智能流露》：一个俗套的问题，你们如何看待巨头下场？按照国内的情况，字节和快手的下场，依然给许多初创公司带来了融资和获客上的压力。

Barkley：咱们发现，这个问题其实是公司和股东之间的问题。只好股东才会温存：如果哪天一个巨头把你这个事情作念了，会如何样？

但实质上，咱们公司许多Research皆有这样的嗅觉：当公司达到一定例模，需要你去相助多样各种的东西的时候，你鞭策的速率会变得终点慢，改进的速率也会掉下来。

固然Luma AI的团队在当年一年多的时代里也推广了许多，但照旧保持着快速改进、快速迭代的节律。

我以为有一个类比终点好：其实你在大公司里，真确去作念视频模子和相应家具的团队，可能也只好几十个东谈主。比如OpenAI看起来很大，但Sora的团队也就这样多。

天然说到更大的公司，比如Google，他们可能有比咱们更好的distribution channel（扩散渠谈），但他们相通会受制于多样经过上，一个新家具会有生意化等许多方面的concern，鞭策的速率不会那么快。

《智能流露》：Luma AI的迭代节律有多快？

Barkley：全体迭代速率一直是以几个月，以致是1-2个月来策动的。时代会加入新的功能，底层模子的成果也在擢升。

就像Dream Machine 1.0在2024年6月发布，1.5版块是在8月发布。1.6版块加了camera control（镜头限度）功能，在9月底发布。

《智能流露》：一个新的遐想用具型家具，如何去获客？

Jiacheng：我以为领先不错去分析ChatGPT是如何获客的。你会发现，ChatGPT不光最佳的要领员在用，你近邻的大叔大妈也在用。

我以为AI用具带来的最大的变化是，由于它自身的可塑性和天真性，它不错劳动险些统统有视觉需求的东谈主。

我并不以为当前特定的视觉专科的软件，有相配好的交互，换句话说，当前莫得专科视觉用具界说了通盘行业的交互范式。

《智能流露》：你如何界说“好的交互范式”？

Jiacheng：比如ChatGPT就界说了通盘行业ChatBot的交互范式，像当今好意思国的小孩皆不是说ChatGPT，他皆是说你有么有问你家的“Chat”。

这里的“Chat”，依然成了一个像“Google一下”的举止。

咱们作念Dream Machine亦然一样的。谁能先把正常众人的假想，通过一个畅通、浅薄的步调，呈现出一个悦目真理，然后能共享给别东谈主的或者灵验的图片，谁就能在这个范畴有上风。

《智能流露》：从立项到上线，时代你们对交互款式进行了哪些探索？

Jiacheng：咱们当前来说，包括行业对咱们的观点，皆是一个视频模子科研公司。

然则如今的AI时代是一个相配以用户体验为中枢的家具，时代型家具的盘算和迭代过程很昭彰，即是最佳的用户体验。

咱们能预料的最佳的用户体验，即是用最天然的交流表情，把Dream Machine当成一个创意助手或者Creative Partner。你如何和遐想师互动，就如何和系统互动。

有了这样一个盘算，咱们就会去了解咱们的图片和视频模子，能够提供若何的才能。同期也去了解通盘行业处于若何的发展阶段，第三方的语言模子能够给咱们若何的匡助。

时代，多样各种的Agent软件用具也在迭代，环球关于AI诈欺层的想考也有变化。是以一年以来，咱们的家具即是一个持续迭代的过程，具体即是一个月凭据行业变化打磨，再花一个月去修改。

这些东西总体统筹、会通起来，才有了当今这样的成果。

Barkley：时代咱们也发现，在AI视频生成范畴，当前图生视频比文生视频愈加受宽宥，因为用户在乎可控性。

是以统统能够擢升可控性的，皆是用户相配需要的功能点。

《智能流露》：时代行业哪些家具或者观点的动向，会对公司的家具研发节律产生影响？

Barkley：其实我以为当年一年时代里，咱们的家具策略莫得变太多，照旧一直想作念能让统统东谈主质问使用模子的家具，不会跟着其他AI家具的发布去作念任何的策略提拔。

我以为家具团队更温存的事一些Research上的动态和进展，比如咱们想作念立场改换、立场移动的功能，就会去查有哪些最新的学术有计划和论文，以致家具团队会加入Research团队的参议，去看研发功能的可行性。

《智能流露》：家具团队在日常责任中是如何和算法团队交流的？

Barkley：立项的时候，咱们会从用户的角度，以为立场鉴戒这样的功能很焦虑。

然则从Research的角度，其实他们不细目这个功能能不成作念出来，以及能达到若何的成果。是以Research会先去作念许多的实践，直到他们把算法作念出来以后，咱们看到这个功能的极限，再去想考如何把功能融入到全体家具和体验上。

是以其实Research是一个愈加不细目的过程，常常需要比拟长的时代，也不知谈要花多长时代老练。

《智能流露》：时代也会铁心许多暂时不够好的功能。

Barkley：对。是以其实许多功能咱们会从用户的角度去想，有的功能Research团队能够在短时代内作念出来，有的功能咱们又赓续参预，去作念更长的研判，体当今改日的家具里。

宽宥交流！