【AIGC半月报】AIGC大模型启元：2024.11（上）
【AIGC半月报】AIGC大模型启元：2024.11（上）
- (1) Hunyuan-Large（腾讯开源大模型）
- (2) FLUX1.1 pro（文生图）
- (3) CogVideoX v1.5（智谱AI升级文生视频大模型）
(1) Hunyuan-Large（腾讯开源大模型）
2024.11.06 腾讯一出手就是个超大模型，开源的Hunyuan-Large是目前市面上最大基于 Transformer架构的专家混合（MoE）模型。一共有3890 亿参数，其中激活参数为 520 亿，具备处理长达256K上下文能力。
根据腾讯公开测试数据显示，Hunyuan-Large不仅超过了社交巨头Meta开源的最新、最大模型LLama3.1 - 405B，并且在激活参数数量显著减少的情况下，实现了高达3.2%的性能提升。在数学、日常推理、文本生成等方面非常优秀。
Hunyuan-Large采用了高效的MoE结构，使用多个专家替换了Transformer中的原始前馈网络。在训练过程中，只有一小部分专家会被激活，这样的设计使得模型能够更加高效地进行训练和推理。
一共包含共享专家和专用专家两种模式，不仅能够捕捉所有token所需的共同知识，还能够动态学习特定领域的知识。同时Hunyuan-Large还开发了一种新的回收路由策略，用于处理在原始top-k路由过程中被丢弃的token。这种策略通过将这些token重新分配给未超过容量的其他专家，以优化训练效率和稳定性。
Hunyuan-Large还对KV缓存进行了创新，使用了压缩技术。在传统的Transformer架构中，每层都会维护一个用于存储先前计算出的键值对的缓存，这对于支持长序列输入非常必要。但随着序列长度的增长，这种缓存机制会导致巨大的内存开销。
而KV缓存压缩技术通过减少KV缓存的存储需求来降低内存占用，同时保持了模型对于长序列处理的能力，可以有效地减少键值对的存储空间，而不牺牲准确性或速度。即使面对非常长的文本输入，模型也能高效运行，不会因为内存限制而受到阻碍。
推荐文章： 腾讯放大招，超Meta！史上参数最大，开源专家混合模型
开源地址：
- GitHub：https://github.com/Tencent/Tencent-Hunyuan-Large
- Huggingface：https://huggingface.co/tencent/Tencent-Hunyuan-Large
- 云开发平台：https://cloud.tencent.com/document/product/851/112032
(2) FLUX1.1 pro（文生图）
2024.11.07 BlackForestLabs团队又升级了他们最新的文生图模型FLUX1.1 pro。
本次升级主要是给FLUX1.1 [pro]增加了新的高分辨率功能，将其功能扩展到支持高达4倍的图像分辨率（最高可达4MP像素，对应2048x2048图像），而每个图像的生成时间仅需10秒。
这个生成高分辨率图像功能称为ultra模式。开启ultra模式可以使模型能够在保持标准版FLUX1.1 pro的提示遵循优势的同时，生成四倍于标准分辨率的图像，最高可达4MP像素。与许多在高分辨率下速度显著下降的高分辨率模型不同， FLUX1.1 [pro] 的性能基准测试显示，其生成速度比同类高分辨率产品快2.5倍以上，每样本的生成时间仅为10秒。此外，FLUX1.1 pro的价格具有竞争力，每张图像的生成费用为0.06美元，这为用户提供了一个高效且经济的高分辨率图像生成选项。
除了ultra模式，BlackForestLabs团队还推出了raw模式。开启这个功能可以生成具有更少的合成感和更自然的审美的图像。与其他文本到图像模型相比，原始模式显著增加了人物主题的多样性，并增强了自然摄影的真实感。
推荐文章： Flux再升级，推出Ultra模式：10秒生成2K高清大图！
开源地址： /
(3) CogVideoX v1.5（智谱AI升级文生视频大模型）
2024.11.08 自8月初以来，我们陆续推出了CogVideoX系列模型（2B、5B、5B-I2V），这些开源模型已成为行业领先，深受开发者喜爱。
经过持续迭代，我们在此发布并开源最新版本的视频模型 CogVideoX v1.5。
相比于原有模型，CogVideoX v1.5 将包含 5/10秒、768P、16 帧的视频生成能力，I2V模型支持任意尺寸比例，大幅提升图生视频质量及复杂语义理解。
此次开源包括两个模型：
- CogVideoX v1.5-5B
- CogVideoX v1.5-5B-I2V
除了ultra模式，BlackForestLabs团队还推出了raw模式。开启这个功能可以生成具有更少的合成感和更自然的审美的图像。与其他文本到图像模型相比，原始模式显著增加了人物主题的多样性，并增强了自然摄影的真实感。
推荐文章： CogVideoX v1.5，开源。
开源地址：
- GitHub：https://github.com/thudm/cogvideo
- huggingface：https://huggingface.co/THUDM/CogVideoX1.5-5B-SAT
相关文章：
【AIGC半月报】AIGC大模型启元：2024.11（上）
【AIGC半月报】AIGC大模型启元：2024.11（上） (1) Hunyuan-Large（腾讯开源大模型）(2) FLUX1.1 pro（文生图）(3) CogVideoX v1.5（智谱AI升级文生视频大模型） (1) Hunyuan-Lar…...
纯前端生成PDF（jsPDF）并下载保存或上传到OSS
前言 在工作中遇到了一个需求，就是把前端页面生成PDF并保存在本地，因为前端网站可能会展示各种表格，图表信息内容并带有比较鲜艳的色彩样式，如果让后端生产的PDF的话样式可能和前端页面展示的有所差异，所以这个任务就落…...
海外媒体发稿：旅游业媒体推广12个方面的注意事项-华媒舍
1.社交媒体推广过多 社交媒体是旅游业媒体推广的重要途径之一，过分依赖社交媒体将会成为一个常见误区。尽管社交媒体能够帮助旅行目的地提升知名度和曝光度，但如果过度投入精力与资源，可能忽视别的合理推广方式。 2.忽略SEO优化 搜索引擎提…...
)
分割回文串(DFS)
给你一个字符串 s，请你将 s 分割成一些子串，使每个子串都是 回文串。返回 s 所有可能的分割方案。 示例 1： 输入：s "aab" 输出：[["a","a","b"],["aa","b&qu…...
Qt第三课 ----------容器类控件
作者前言 🎂 ✨✨✨✨✨✨🍧🍧🍧🍧🍧🍧🍧🎂 🎂 作者介绍： 🎂🎂 🎂 🎉🎉🎉…...
打印菱形（C语言）
程序： #include <stdio.h> int main() { int i,j; for(i1;i<5;i){ for(j0;j<6-i;j){ printf(" ");} for(j0;j<i*2-1;j){ printf("*");} printf("\n");} …...
Oracle 19c 中启用 scott 用户
Oracle 19c 中启用 scott 用户 文章目录 Oracle 19c 中启用 scott 用户正常操作如果ORA-01918: 用户 SCOTT 不存在?/sqlplus/admin/scott.sql 没有 scott.sql 怎么处理 正常操作 连接到 Oracle 数据库： 使用 sqlplus 工具或者其他 SQL 客户端工具（如 S…...
git commit 校验
commitlint官方链接 1. npm install --save-dev commitlint/config-conventional commitlint/cli 2. 配置commitlint.config.cjs(项目根目录中） module.exports {extends: [commitlint/config-conventional],rules: {type-enum: [2,always,[Feat, Fix, Doc, Style,…...
【AtCoder】Beginner Contest 377-B.Avoid Rook Attack
Problem Statement 题目链接 There is a grid of 64 64 64 squares with 8 8 8 rows and 8 8 8 columns. Let ( i , j ) (i,j) (i,j) denote the square at the i i i-th row from the top ( 1 ≤ i ≤ 8 ) (1\leq i\leq8) (1≤i≤8) and j j j-th column from the lef…...
江协科技STM32学习- P38 软件SPI读写W25Q64
🚀write in front🚀 🔎大家好，我是黄桃罐头，希望你看完之后，能对你有所帮助，不足请指正！共同学习交流 🎁欢迎各位→点赞👍 收藏⭐️ 留言📝…...
【Triton 教程】低内存 Dropout
Triton 是一种用于并行编程的语言和编译器。它旨在提供一个基于 Python 的编程环境，以高效编写自定义 DNN 计算内核，并能够在现代 GPU 硬件上以最大吞吐量运行。 更多 Triton 中文文档可访问 →https://triton.hyper.ai/ 在本教程中，您将编…...
npx创建项目时，error fetch failed.TypeError: fetch failed
npx创建项目时，报以下错误： error fetch failed. TypeError: fetch failedat node:internal/deps/undici/undici:12345:11at process.processTicksAndRejections (node:internal/process/task_queues:95:5)at async getTemplateVersion (C:\Users\ymt30…...
《Kotlin实战》-附录
附录 本部分内容只是简单列举下Kotlin应用以便指引进一步深入学习Kotlin。 附录A：构建Kotlin项目 本节只会记录下gradle的应用，其他需要时请自行搜索查看。 A.1 用Gradle构建Kotlin代码的项目 构建Kotlin项目的标准Gradle脚本如下： bui…...
yelp数据集上识别潜在的热门商家
yelp数据集是研究B2C业态的一个很好的数据集，要识别潜在的热门商家是一个多维度的分析过程，涉及用户行为、商家特征和社区结构等多个因素。从yelp数据集里我们可以挖掘到下面信息有助于识别热门商家 用户评分和评论分析 评分均值: 商家的平均评分是反映其…...
【Linux】进程信号全攻略（一）
🌈 个人主页：Zfox_ 🔥 系列专栏：Linux 目录 一：🔥 信号的概念 二：🔥 信号产生的方式 🦋 使用键盘🦋 系统调用函数🦋 软件条件🦋 进程异…...
linux文件重命名
Linux文件重命名 文件名显示异常问题出在哪里批量改名扩展 文件名显示异常 跑测CTS，linux环境看跑测结果log file显示没问题，倘若windows下看log file名却显示异常，不太方便操作。 问题出在哪里 linux环境下文件名可以显示正常࿰…...
如何选择适合的AWS EC2实例类型
在云计算的世界中，Amazon Web Services（AWS）提供了丰富的服务，其中Elastic Compute Cloud（EC2）是最受欢迎的服务之一。选择合适的EC2实例类型对于确保应用程序的性能和成本效益至关重要。我们九河云通过本文…...
【Uniapp】Uniapp Android原生插件开发指北
前言 在uniapp开发中当HBuilderX中提供的能力无法满足App功能需求，需要通过使用Andorid/iOS原生开发实现时，或者是第三方公司提供的是Android的库，这时候可使用App离线SDK开发原生插件来扩展原生能力。 插件类型有两种，Module模…...
【随手笔记】FLASH-W25Q16（三）
#include "bsp_w25q16.h"/*内部函数声明区*/ static HAL_StatusTypeDef bsp_w25q_Transmit(uint8_t * T_pData, uint16_t T_Size); static HAL_StatusTypeDef bsp_w25q_Receive(uint8_t * R_pData, uint16_t R_Size);/*内部函数定义区*//* 函数参数：1、T_…...
2024软件测试面试热点问题
🍅 点击文末小卡片 ，免费获取软件测试全套资料，资料在手，涨薪更快 大厂面试热点问题 1、测试人员需要何时参加需求分析？ 如果条件循序 原则上来说 是越早介入需求分析越好 因为测试人员对需求理解越深刻 对测试工…...
深度学习在微纳光子学中的应用
深度学习在微纳光子学中的主要应用方向 深度学习与微纳光子学的结合主要集中在以下几个方向： 逆向设计 通过神经网络快速预测微纳结构的光学响应，替代传统耗时的数值模拟方法。例如设计超表面、光子晶体等结构。 特征提取与优化 从复杂的光学数据中自…...
Admin.Net中的消息通信SignalR解释
定义集线器接口 IOnlineUserHub public interface IOnlineUserHub {/// 在线用户列表Task OnlineUserList(OnlineUserList context);/// 强制下线Task ForceOffline(object context);/// 发布站内消息Task PublicNotice(SysNotice context);/// 接收消息Task ReceiveMessage(…...
vscode（仍待补充）
写于2025 6.9 主包将加入vscode这个更权威的圈子 vscode的基本使用 侧边栏 vscode还能连接ssh？ debug时使用的launch文件 1.task.json {"tasks": [{"type": "cppbuild","label": "C/C: gcc.exe 生成活动文件"…...
Auto-Coder使用GPT-4o完成：在用TabPFN这个模型构建一个预测未来3天涨跌的分类任务
通过akshare库，获取股票数据，并生成TabPFN这个模型 可以识别、处理的格式，写一个完整的预处理示例，并构建一个预测未来 3 天股价涨跌的分类任务 用TabPFN这个模型构建一个预测未来 3 天股价涨跌的分类任务，进行预测并输…...
高等数学（下）题型笔记（八）空间解析几何与向量代数
目录 0 前言 1 向量的点乘 1.1 基本公式 1.2 例题 2 向量的叉乘 2.1 基础知识 2.2 例题 3 空间平面方程 3.1 基础知识 3.2 例题 4 空间直线方程 4.1 基础知识 4.2 例题 5 旋转曲面及其方程 5.1 基础知识 5.2 例题 6 空间曲面的法线与切平面 6.1 基础知识 6.2…...
MODBUS TCP转CANopen 技术赋能高效协同作业
在现代工业自动化领域，MODBUS TCP和CANopen两种通讯协议因其稳定性和高效性被广泛应用于各种设备和系统中。而随着科技的不断进步，这两种通讯协议也正在被逐步融合，形成了一种新型的通讯方式——开疆智能MODBUS TCP转CANopen网关KJ-TCPC-CANP…...
vue3 定时器-定义全局方法 vue+ts
1.创建ts文件 路径：src/utils/timer.ts 完整代码： import { onUnmounted } from vuetype TimerCallback (...args: any[]) > voidexport function useGlobalTimer() {const timers: Map<number, NodeJS.Timeout> new Map()// 创建定时器con…...
成都鼎讯硬核科技！雷达目标与干扰模拟器，以卓越性能制胜电磁频谱战
在现代战争中，电磁频谱已成为继陆、海、空、天之后的 “第五维战场”，雷达作为电磁频谱领域的关键装备，其干扰与抗干扰能力的较量，直接影响着战争的胜负走向。由成都鼎讯科技匠心打造的雷达目标与干扰模拟器，凭借数字射…...
06 Deep learning神经网络编程基础 激活函数 --吴恩达
深度学习激活函数详解 一、核心作用 引入非线性：使神经网络可学习复杂模式控制输出范围：如Sigmoid将输出限制在(0,1)梯度传递：影响反向传播的稳定性二、常见类型及数学表达 Sigmoid σ ( x ) = 1 1 +...
【C++进阶篇】智能指针
C内存管理终极指南：智能指针从入门到源码剖析 一. 智能指针1.1 auto_ptr1.2 unique_ptr1.3 shared_ptr1.4 make_shared 二. 原理三. shared_ptr循环引用问题三. 线程安全问题四. 内存泄漏4.1 什么是内存泄漏4.2 危害4.3 避免内存泄漏 五. 最后 一. 智能指针 智能指…...