[SaaS] 广告创意中stable-diffusion的应用

深度对谈：广告创意领域中 AIGC 的应用这个领域非常快速发展，所以你应该保持好奇心，不断尝试新事物，不断挑战自己。https://mp.weixin.qq.com/s/ux9iEABNois3y4wwyaDzAQ我对AIGC领域应用调研，除了MaaS服务之外，我会将大部分类似于广告创意应用、平台（鹿班、玲珑）等全部归结为SaaS服务，主要因为创意平台主要还是提供程序化的应用和服务。这篇文章对我的印象还挺深刻的，以往做木牛流马平台时，木牛平台虽然也有各种服务，但是当时刚出来工作，其实对Saas服务以及整体业务的理解很浅，到现在AIGC重构传统的创意平台时，稍微有一些理解。根据内容，目前在信息流中的主要应用模式还是：提示词->GPT->SD->组合。此外更广泛的stable diffusion应用可能还是生成原始素材。我看一些网上关于sd的应用大多还是在设计师侧，可以用webui去作图，主要是如何做出更好的设计图，但是在SaaS产品侧，肯定不能把webui搬上来。

1.大模型是如何被应用到广告创意中的

        广告创意是一种以营销传播为目的的多媒体内容，其主要目标是吸引目标用户，让用户完成行为转化，通常是与产品或服务相关的互动。品牌广告通常涉及明星代言的产品推广，信息流广告，也称为原生广告，信息流广告包括各种类型的宣传，如产品促销、电商促销和打折产品推广，此外，还覆盖了视频广告，例如事实热点内容、小说类内容等。        

        广告的生产方是大广告主，有特定的推广目标，旨在推广自己的产品或促使用户执行特定行为，增加日活，下单等，消费侧是大众。

        传统广告创意：信息流广告通常需要标配的是广告优化师和剪辑师的团队协作，一般情况下，一个广告优化师会搭配两个剪辑师，在传统的工作方式中，广告优化师通常会提供一些关键词或指导，然后剪辑师根据这些信息进行创作，创作完成后，这些素材将被交给投放师进行进一步的处理，这可能是一种自由创作的方式，也可能是有一些固定的输入输出模版。创意方向通常是基于广告优化师的过往经验来确定，然后传达给剪辑师。在信息流广告领域，主要关注的是最终的数据消耗，因为信息流广告多种多样，既包括了品牌广告等不同类型，多取决于广告主的需求，平台以数据为基础的来提供反馈。

        在木牛流马的信息流DPA中，我们提供了一品牌品类的系列id，系列id下绑定模版组id，模板组id可以实现动态的更新和删减，由业务方提供，使用DPA受限智能合成产生创意，并且提供了定制化的一些逻辑，使用创意优选来增加创意输出的效果。

        广告创意的特点：1.合规性；2.可耗尽的产品，一般只会被用户看到一次或者很少几次；3.广告的体量和消耗量非常庞大，如果一批创意的表现不佳，需要更换广告，重新探索人群。

        AIGC对广告创意的重构：1.推广小说类广告和视频类广告，视频类广告有其特点，通常需要涵盖实时热点，因为数据反馈表明实时热点可以更好的吸引用户的转化行为。如何收集和筛选实时热点由GPT完成，比如当天热门榜单的标题，需要对标题进行改写。2.设计音频和图文素材的版权上，原始资源不足，要为饿了么做广告，需要下沉式图片和视频，展示美食、夜市烧烤、炸鸡等，但是这些商业资源是有限的，如果需要成千上万张素材，收集成本很高，AIGC来生成素材。这一点在电商平台上也比较明显，但是目前做SaaS的产品倾向于端到端，而不至于做素材，但其实从创业平台来讲，素材非常重要。

        对改写的技术实现，精度要求不高，通常不需要深度定制，通过prompt engineering即可完成。按时按需生成广告创意，以满足不同需求。比如小说类广告，可能需要不同的画面质量、色彩搭配进而视觉效果。如果有这些先验，其实用程序化创意合成即可，而这些先验即是模版沉淀。

        在视频信息流广告生成领域，将话题引入，利用GPT改写，用stable diffusion生成图像，再生成音视频。小说信息流广告：选题根据小说内容，用GPT从小说中抽取，生成标题之后，需要考虑如何将它们和stable diffusion结合，之后，将标题与分镜扩写相匹配。通常，处理数据反馈时使用通用的prompt，但是像小儿书风格插画，社区中可能没有，就需要自行训练适合这种风格的lora模型，大概100张图片，用的sd的插件训练的。

        剧情式广告，目前AIGC还无法实现将文本直接转化为非常接近真实视频质量的广告创意，现在的形式更像呢些在抖音上看到的解说小说或漫画的视频，通过配音和幻灯片等形式呈现，它们包含剧情元素，就像小说中的情节一样，这个难度很大，例如，如果要生成一个10分钟的小说文本，可能需要配以30多张stable diffusion或midjourney图像，然后这些图像需要剪辑、混合，并和配音和字母配合，同时还需要考虑视频剪辑的方式，目前有自动化的技术。像十几张像ppt讲完一个故事的视频，效果并不好。

        PIKA LABS，提供一个提示，然后生成一张图片，并为这张图片添加一个两到三秒的动画效果。为这些图片配上一些文字，创作一个故事。

        目前采用GPT将中文翻译成英文，很多服务都是这么干的。

2.广告投放效果管理

        建立了一个程序化创意平台，但前提是有足够充足的高质量原始资源，是指那些在创意生成之前的图像、文本、音频和视频素材，因为这些广告可能需要满足一些审核要求，同时需要添加差异化的图层、广告标识以及文案。比如创作广告，可能需要输入1000张图像，生成1000张不同的广告创意图片。会将那些在广告搭配中成功的、获得良好数据反馈的模版存储下来。广告创意是一种消耗品，但它有自身的生命周期，比如中秋节，月饼相关的电商广告创意可能表现更好。

        一个成功的AIGC应用，先决条件是拥有垂直领域的高质量数据。

        目前，AIGC影响最大的是内容生产者，原始资源采集，用于商业用途的图像、文本和音视频，需要专业团队拍摄，成本很高。sd可以解决这个问题。