当前位置: 首页 > news >正文

快手可灵大模型开放视频续写功能,可生成最长约3分钟视频

6月21日,可灵再度进化,正式推出图生视频功能,支持用任意静态图像生成5s视频,并且可搭配不同的文本内容,实现丰富的视觉叙事 。

同时,可灵还发布了业内领先的视频续写功能,可为已生成的视频(含文生视频及图生视频)提供便捷的一键续写和连续多次续写,将视频最长可延伸至约3分钟,充分显示了可灵强大的想象力与精细的可控性,极大地拓展了视频大模型的创作边界。

化静为动,按需定制视觉叙事

此前,“可灵”在文生视频方面已经展现出了创造逼真运动场景、精确模拟物理特性的强大能力,以及将复杂概念巧妙融合的高超技艺,其输出堪比电影级画质,并允许用户自由调节视频的纵横比。

而这些卓越特性,如今都被完美融入到了图生视频模型。用户只需上传一张图片,“可灵”即能基于对图像的深度解析,变静为动,赋予其5秒的鲜活生命力。

上传经典的蒙娜丽莎,可灵能够让蒙娜丽莎戴上墨镜,并赋予她灵动的眼神交流。让名画中的人物活灵活现。

得益于其基础模型架构中的3D时空联合注意力机制,可灵在构建复杂时空运动方面也展现了卓越能力。这使得模型在转换静态图像为动态视频时,能够细腻而准确地实现大幅度运动场景。

例如,只需上传一张牧羊犬追球的静止照片,模型就能生成一段生动的视频:牧羊犬活灵活现地奔跑追逐网球,其耳朵轻轻晃动,毛发随风飘扬,而网球则在空中弹跳,视频整体自然而流畅。

再以一张汽车飞驰的图片为素材,可灵能创造出身临其境的驾驶场景。在这段视频中,汽车不仅在公路上展现出疾速前行的姿态,而且巧妙地融入了对向车道上连续不断的车流。

同时,道路两旁的树木快速向后掠去,模拟出强烈的行驶速度感,而虚化处理的隔离带进一步增强了视觉上的动态效果与速度印象,整体画面宛如出自精心策划的广告大片。

可灵图生视频模型还融入了强大的提示词融合技术,深化了对图像语义与用户指令的理解整合。这意味着,模型能够根据用户提供的不同文本指令,精妙地变换视频中的动态表现。

举例来说,当使用一张女孩的照片生成视频,模型默认生成的效果可能是轻风中她发丝轻轻飘动,周遭花朵摇曳,水面闪烁着细腻的波纹。而如果用户具体输入“女孩转身背对镜头”,视频便会智能添加女孩优雅转身的动作,并细腻捕捉到转身瞬间的微笑和眨眼,展现了自然而生动的细节处理能力。

再比如用巨龙图片生成视频,输入“正在捕食的巨龙,飞扬的沙子,奇幻风格的电影”,视频便呈现巨龙昂首展翅掀起漫天黄沙,嘴部开合仿佛在咆哮的生动效果与奇幻场景。通过这种文本与图像意义的紧密联动,可灵将按需定制的视觉叙事提升到了一个新高度。

此外,可灵图生视频模型支持不同风格的图像输入,不论是自然写实还是风格化图像都能轻松处理,同时兼容各种长宽比的图像输入,展示出强大的灵活性和适应性。例如这张骑士拿剑的竖版图片,生成视频中骑士黑袍飞舞,亮剑仙气环绕,拉满氛围感。

业内领先,视频续写可生成最长约3分钟视频

可灵大模型还新推出了业内领先的视频续写功能,用户只需一键操作,即可在已生成视频的基础上延续生成约5秒内容,该功能同时适用于文生视频和图生视频。更令人瞩目的是,通过连续多次续写,能够最长生产约3分钟的连贯视频。基于对物理运动的深入理解,视频续写不仅确保新生成部分与原视频间的运动连贯性及物理合理性,还能巧妙融入大幅度的动作变化,提升视频的生动性。

此次升级的一大亮点是集成文本控制机制于视频续写中,这意味着用户能够通过自定义提示词,为每段视频续写注入个性化创意。

得益于此,模型利用高效的提示词融合技术,平滑地在场景间过渡,响应用户的每一个灵感火花。

举例来说,一个关于古堡的视频片段,用户既可以选择让它先“太阳落下去,天空变暗”,继而“太阳升起来,天空变亮”,亦可探索另一路径:“太阳落下去,天空变暗,灯光渐亮”,随后“灯光亮起,雾气氤氲”,以此创造出各具特色的连续视觉叙事,完美贴合用户的多样化需求。

注:视频前5秒为输入视频,后9秒为续写两次后的结果

6月6日,可灵文生视频大模型正式亮相(可灵官网:https://kling.kuaishou.com),不仅在效果上比肩Sora,还即时在快影App上启动了邀测体验,截至目前,已有累计超过14万人排队申请。

此次进化,可灵文生视频基础大模型的强大能力被无缝整合到图生视频和视频续写功能中,将为用户带来更为丰富、灵活的视频创作体验。

恰逢近日CVPR2024在美国举行,在这一国际顶级计算机视觉和模式识别领域学术盛会上,快手也同步发布了可灵大模型的图生视频和视频续写等最新功能,引起现场的强烈反响。公开资料显示,今年快手共有8篇论文入选CVPR2024,彰显了其在该领域的深厚研究功底。

据「TMT星球」了解,快手还将在下月召开的2024世界人工智能大会(WAIC)上,举办以“新AI·新应用·新生态”为主题的大模型技术生态论坛。届时,快手将发布最新的大模型技术与应用战略,包括快手大模型技术矩阵全景、基座模型技术创新、应用和落地情况等。

相关文章:

快手可灵大模型开放视频续写功能,可生成最长约3分钟视频

6月21日,可灵再度进化,正式推出图生视频功能,支持用任意静态图像生成5s视频,并且可搭配不同的文本内容,实现丰富的视觉叙事 。 同时,可灵还发布了业内领先的视频续写功能,可为已生成的视频&…...

【代码随想录】【算法训练营】【第45天】 [198]打家劫舍 [213]打家劫舍II [337]打家劫舍III

前言 思路及算法思维,指路 代码随想录。 题目来自 LeetCode。 day 45,周五,坚持不了一点~ 题目详情 [198] 打家劫舍 题目描述 198 打家劫舍 解题思路 前提: 思路: 重点: 代码实现 C语言 虚拟头…...

python安装目录文件说明----Dlls文件夹

在Python的安装目录下,通常会有一个DLLs文件夹,它是Python标准库的一部分。这个文件夹包含了一些动态链接库(Dynamic Link Libraries,DLL),这些库提供了Python解释器和标准库的一些关键功能。以下是对这个文…...

java实现持续集成

要使用Java实现Jenkins持续集成,你可以使用Jenkins的Java客户端库来执行一些常见的操作,例如创建任务,触发构建等。下面是一个简单的示例代码,展示了如何使用Java实现Jenkins持续集成: java import com.offbytwo.jenk…...

ClickHouse安装与下载22.3.2.2

ClickHouse安装与下载 目录 1. ClickHouse简介 1.1 ClickHouse优点: 1.2 ClickHouse缺点: 1.3 ClickHouse引擎: 1.3.1 数据库引擎 1.3.2 表引擎 2. ClickHouse下载安装 2.1 ClickHouse下载安装 2.2 ClickHouse使用 1. ClickHouse简…...

【Go语言】Gin 框架教程

Gin 框架教程 1.第一个 Gin 程序 1.1 Gin 安装 # 执行执行如下操作即可,安装Gin前需要安装Go环境 go get -u -v github.com/gin-gonic/gin # -v:打印出被构建的代码包的名字 # -u:已存在相关的代码包,强行更新代码包及其依赖包…...

MySQL性能问题诊断方法和常用工具

作者介绍:老苏,10余年DBA工作运维经验,擅长Oracle、MySQL、PG数据库运维(如安装迁移,性能优化、故障应急处理等) 公众号:老苏畅谈运维 欢迎关注本人公众号,更多精彩与您分享。MySQL运…...

CGFloat转NSString保持原有的精度,末尾不添加0

问题阐述: 我们进行CGFloat转NSString可能会遇到一个问题 例如有一个CGFloat的值为2.1,转化成NSString后显示2.1000... 解决办法: 方法一: 如何解决呢,可以使用%g格式符,可以保证传入的不管是2还是2.1…...

UDS服务——TransferData (0x36)

诊断协议那些事儿 诊断协议那些事儿专栏系列文章,本文介绍TransferData (0x36)—— 数据传输,用于下载/上传数据时用的,数据的传输方向由不同的服务控制:0x34服务表示下载,0x35服务表示上传。通过阅读本文,希望能对你有所帮助。 文章目录 诊断协议那些事儿传输数据服务…...

jQuery 基本操作

01-简介 jQuery 是一个功能丰富且广泛使用的 JavaScript 库,它简化了 HTML 文档遍历和操作、事件处理、动画和 Ajax 操作。jQuery 通过其易用的 API,使复杂的 JavaScript 编程任务变得更加简单,并且兼容各种浏览器。 1、jQuery特点 简化 DOM …...

有玩家在2011年的MacBook上成功运行了Windows XP 还安装了触摸屏

我们已经在许多不同的设备上看到过 Windows XP 正在运行。这个古老的操作系统于 2001 年正式推出,现在已经老到其最后一次软件更新是在近十年前。一位好奇的玩家试图在 2011 年的触摸屏 MacBook 上为 Windows XP 打造了一个新家,复古技术探索者 Michael …...

高纯PFA容量瓶PFA试剂瓶在半导体材料的应用

在半导体生产过程中,为避免金属污染对硅器件性能造成不利影响,碳化硅产业链不同阶段产品(如衬底、外延、芯片、器件)表面的痕量杂质元素浓度表征至关重要。 在实验人员使用质谱法高精度检测第三代半导体碳化硅材料的痕量杂质浓度…...

AudioSep:从音频中分离出特定声音(人声、笑声、噪音、乐器等)本地一键整合包下载

AudioSep是一种 AI 模型,可以使用自然语言查询进行声音分离。这一创新性的模型由Audio-AGI开发,使用户能够通过简单的语言描述来分离各种声音源。 比如在嘈杂的人流车流中说话的录音中,可以分别提取干净的人声说话声音和嘈杂的人流车流噪声。…...

Prompt 提示词工程:翻译提示

近期在对计算机学习时,许多内容需要看原始的英文论文,对于我这种学渣来说特别不友好,🤷🏻‍♀️无奈只能一边看翻译,一边学习。 之前有搜到过专门的翻译工具,无奈都是按照字数算费用的&#xf…...

【MySQL 的三大日志的作用】

在管理MySQL数据库时,了解和区分数据库使用的三大日志类型至关重要。这些日志对于确保数据的完整性、提供恢复机制以及维持数据库的稳定性发挥着关键作用。最主要还是小豆前段时间去参加面试被问到了这些内容,下面将详细讨论Redo Log、Binlog和Undo Log的…...

数据库中数据的id生成和算法

id生成策略 自增主键 一般使用整数类型的id可使用自增主键的策略去生成id 优点: 简单、易于使用和理解。保证唯一性,无需额外的查询操作。提高查询性能,因为ID是有序的,且支持索引。 缺点: 不适用于分布式系统&a…...

SystemVerilog Assertion精华知识

前言 断言主要用于验证设计的行为。断言也可用于提供功能覆盖率,并标记用于验证的输入激励不符合假定的需求。 在验证平台中,通常进行三个主要任务: 产生激励功能检查功能覆盖率度量 在当今的设计越来越复杂情况下,像波形调试…...

pdf怎么压缩到2m以内或5m以内的方法

PDF作为一种广泛使用的文档格式,已经成为我们工作和生活中不可或缺的一部分。然而,有时候PDF文件内存会比较大,给我们的存储和传输带来了很大的不便。因此,学会压缩 PDF 文件是非常必要的。 打开"轻云处理pdf官网"&…...

Butter Knife 8

// 部分代码省略… Override public View getView(int position, View view, ViewGroup parent) { ViewHolder holder; if (view ! null) { holder (ViewHolder) view.getTag(); } else { view inflater.inflate(R.layout.testlayout, parent, false); holder new ViewHolde…...

AMSR/ADEOS-II L1A Raw Observation Counts V003地球表面和大气微波辐射的详细观测数据

AMSR/ADEOS-II L1A Raw Observation Counts V003 简介 AMSR/ADEOS-II L1A Raw Observation Counts V003数据是由日本航空航天研究开发机构(JAXA)的AMSR (Advanced Microwave Scanning Radiometer)仪器收集的一组原始观测计数数据。这些数据是从ADEOS-I…...

理解 MCP 工作流:使用 Ollama 和 LangChain 构建本地 MCP 客户端

🌟 什么是 MCP? 模型控制协议 (MCP) 是一种创新的协议,旨在无缝连接 AI 模型与应用程序。 MCP 是一个开源协议,它标准化了我们的 LLM 应用程序连接所需工具和数据源并与之协作的方式。 可以把它想象成你的 AI 模型 和想要使用它…...

大学生职业发展与就业创业指导教学评价

这里是引用 作为软工2203/2204班的学生,我们非常感谢您在《大学生职业发展与就业创业指导》课程中的悉心教导。这门课程对我们即将面临实习和就业的工科学生来说至关重要,而您认真负责的教学态度,让课程的每一部分都充满了实用价值。 尤其让我…...

C#中的CLR属性、依赖属性与附加属性

CLR属性的主要特征 封装性: 隐藏字段的实现细节 提供对字段的受控访问 访问控制: 可单独设置get/set访问器的可见性 可创建只读或只写属性 计算属性: 可以在getter中执行计算逻辑 不需要直接对应一个字段 验证逻辑: 可以…...

虚拟电厂发展三大趋势:市场化、技术主导、车网互联

市场化:从政策驱动到多元盈利 政策全面赋能 2025年4月,国家发改委、能源局发布《关于加快推进虚拟电厂发展的指导意见》,首次明确虚拟电厂为“独立市场主体”,提出硬性目标:2027年全国调节能力≥2000万千瓦&#xff0…...

nnUNet V2修改网络——暴力替换网络为UNet++

更换前,要用nnUNet V2跑通所用数据集,证明nnUNet V2、数据集、运行环境等没有问题 阅读nnU-Net V2 的 U-Net结构,初步了解要修改的网络,知己知彼,修改起来才能游刃有余。 U-Net存在两个局限,一是网络的最佳深度因应用场景而异,这取决于任务的难度和可用于训练的标注数…...

区块链技术概述

区块链技术是一种去中心化、分布式账本技术,通过密码学、共识机制和智能合约等核心组件,实现数据不可篡改、透明可追溯的系统。 一、核心技术 1. 去中心化 特点:数据存储在网络中的多个节点(计算机),而非…...

高考志愿填报管理系统---开发介绍

高考志愿填报管理系统是一款专为教育机构、学校和教师设计的学生信息管理和志愿填报辅助平台。系统基于Django框架开发,采用现代化的Web技术,为教育工作者提供高效、安全、便捷的学生管理解决方案。 ## 📋 系统概述 ### 🎯 系统定…...

echarts使用graphic强行给图增加一个边框(边框根据自己的图形大小设置)- 适用于无法使用dom的样式

pdf-lib https://blog.csdn.net/Shi_haoliu/article/details/148157624?spm1001.2014.3001.5501 为了完成在pdf中导出echarts图,如果边框加在dom上面,pdf-lib导出svg的时候并不会导出边框,所以只能在echarts图上面加边框 grid的边框是在图里…...

内窥镜检查中基于提示的息肉分割|文献速递-深度学习医疗AI最新文献

Title 题目 Prompt-based polyp segmentation during endoscopy 内窥镜检查中基于提示的息肉分割 01 文献速递介绍 以下是对这段英文内容的中文翻译: ### 胃肠道癌症的发病率呈上升趋势,且有年轻化倾向(Bray等人,2018&#x…...

leetcode_69.x的平方根

题目如下 &#xff1a; 看到题 &#xff0c;我们最原始的想法就是暴力解决: for(long long i 0;i<INT_MAX;i){if(i*ix){return i;}else if((i*i>x)&&((i-1)*(i-1)<x)){return i-1;}}我们直接开始遍历&#xff0c;我们是整数的平方根&#xff0c;所以我们分两…...