LLaMA：挑战大模型Scaling Law的性能突破
实际问题
在大模型的研发中，通常会有下面一些需求：
- 计划训练一个10B的模型，想知道至少需要多大的数据？
- 收集到了1T的数据，想知道能训练一个多大的模型？
- 老板准备1个月后开发布会，给的资源是100张A100，应该用多少数据训多大的模型效果最好？
- 老板对现在10B的模型不满意，想知道扩大到100B模型的效果能提升到多少？
核心结论
大模型的Scaling Law是OpenAI在2020年提出的概念[1]，具体如下:
- 对于Decoder-only的模型，计算量𝐶(Flops), 模型参数量𝑁, 数据大小𝐷(token数)，三者满足: 𝐶≈6𝑁𝐷 。(推导见本文最后)
- 模型的最终性能主要与计算量𝐶，模型参数量𝑁和数据大小𝐷三者相关，而与模型的具体结构(层数/深度/宽度)基本无关。
固定模型的总参数量，调整层数/深度/宽度，不同模型的性能差距很小，大部分在2%以内
3. 对于计算量𝐶，模型参数量𝑁和数据大小𝐷
相关文章：
LLaMA：挑战大模型Scaling Law的性能突破
实际问题 在大模型的研发中，通常会有下面一些需求： 计划训练一个10B的模型，想知道至少需要多大的数据？收集到了1T的数据，想知道能训练一个多大的模型？老板准备1个月后开发布会，给的资源是100张A100，应该用多少数据训多大的模型效果最好？老板对现在10B的模型不满意，想…...
vue3 +elementPlus上传照片墙
获取到照片字符串然后push到fileList对应的URL中 if (formData.value.pictures) {let zz formData.value.pictures.split(",")zz.forEach((item) > {fileList.value.push({ url: item })})}对应表单 <el-form-item label"内容详情图"><el-up…...
Charles网络抓包工具安装和web抓包（一）
目录 概述 抓包工具对比 安装 下载 web抓包配置 按键说明 前言-与正文无关 生活远不止眼前的苦劳与奔波，它还充满了无数值得我们去体验和珍惜的美好事物。在这个快节奏的世界中，我们往往容易陷入工作的漩涡，忘记了停下脚步&#…...
mysql workbench使用schema视图导出表和列结构到excel
目的：导出所有表和列的名字和注释 很多时候没有正规的数据库文档，为了快速交流啊，需要一个快捷的基础。数据库建表的时候可能有注释，也可能没有注释。有当然好，查看注释就能清楚很多，没有的话最好一个一个补…...
Linux操作系统--软件包管理（保姆级教程）
RPM软件包的管理 大多数linux的发行版本都是某种打包系统。软件包可以用来发布应用软件，有时还可以发布配置文件。他们比传统结构的.tar和.gz存档文件有几个优势。如它们能让安装过程尽可能成为不可分割的原子操作。 软件包的安装程序会备份它们改动过的文件。如果…...
【uniapp】HBuilderx中uniapp项目运行到微信小程序报错Error: Fail to open IDE
HBuilderx中uniapp项目运行到微信小程序报错Error: Fail to open IDE 问题描述 uniapp开发微信小程序，在HBuilderx中运行到微信开发者工具时报错Error: Fail to open IDE 解决方案 1. 查看微信开发者工具端服务端口是否开放 打开微信开发者工具选择࿱…...
Rust详解日志
详解日志 相比起监控，日志好理解的多：在某个时间点向指定的地方输出一条信息，里面记录着重要性、时间、地点和发生的事件，这就是日志。 注意，本文和 Rust 无关，我们争取从一个中立的角度去介绍何为日志 日…...
某麦网自动刷新抢票脚本——手机端(高级版)
某麦网自动刷新抢票脚本——电脑端 小白操作-抵制黄牛–需要更好用更高级关注获取 如何用Python自动抢大麦网演出票？ 在数字化时代，购票已经成为我们生活的一部分，无论是音乐会、话剧、体育赛事还是各种展览，抢票几乎成了一项“…...
【MySQL】（基础篇十八） —— 触发器
触发器 本文学习什么是触发器，为什么要使用触发器以及如何使用触发器，还介绍创建和使用触发器的语法。 MySQL语句在需要时被执行，存储过程也是如此。但是，如果你想要某条语句（或某些语句）在事件发生自动执…...
[19] Opencv_CUDA应用之 基于形状的对象检测与跟踪
Opencv_CUDA应用之 基于形状的对象检测与跟踪 形状可以用作全局特征检测具有不同形状的物体，可以是直线、多边形、圆形或者任何其他不规则形状利用对象边界、边缘和轮廓可以检测具有特定形状的对象本文将使用Canny边缘检测算法和Hough变换来检测两个规则形状，即线和圆1. Cann…...
【Echarts】散点图 制作 气泡 类型图表
目录 需求主要代码效果展示注 需求 需参照设计图画出对应图表 主要代码 /**** 数据 ****/ this.dataList [...Array(8).keys()].map((item) > {return {ywlxmc: 业务类型 (item 1),sl: item > 4 ? 50 : 70} })/**** 气泡样式 ****/ const styleList [{offset: [56…...
深入理解Spring Boot的启动过程
深入理解Spring Boot的启动过程 大家好，我是免费搭建查券返利机器人省钱赚佣金就用微赚淘客系统3.0的小编，也是冬天不穿秋裤，天冷也要风度的程序猿！今天，让我们一起深入探讨Spring Boot的启动过程。Spring Boot作为一…...
【深度学习】卷积神经网络CNN
李宏毅深度学习笔记 图像分类 图像可以描述为三维张量（张量可以想成维度大于 2 的矩阵）。一张图像是一个三维的张量，其中一维代表图像的宽，另外一维代表图像的高，还有一维代表图像的通道（channelÿ…...
游戏AI的创造思路-技术基础-深度学习（3）
继续填坑，本篇介绍深度学习中的长短期记忆网络~~~~ 目录 3.3. 长短期记忆网络（LSTM） 3.3.1. 什么是长短期记忆网络 3.3.2. 形成过程与运行原理 3.3.2.1. 细胞状态与门结构 3.3.2.2. 遗忘门 3.3.2.3. 输入门 3.3.2.4. 细胞状态更新 3.…...
贪心算法练习题（2024/6/24）
1K 次取反后最大化的数组和 给你一个整数数组 nums 和一个整数 k ，按以下方法修改该数组： 选择某个下标 i 并将 nums[i] 替换为 -nums[i] 。 重复这个过程恰好 k 次。可以多次选择同一个下标 i 。 以这种方式修改数组后，返回数组 可能的最…...
大厂程序员上班猝死成常态？
大家好，我是瑶琴呀，拥有一头黑长直秀发的女程序员。 近日，连续看到大厂程序员猝死、低血糖晕倒的新闻，同为程序员感到很难受。互联网加班成常态这是既定事实，尤其在这个内卷严重、经济不景气的环境中，加班…...
深度学习 —— 1.单一神经元
深度学习初级课程 1.单一神经元2.深度神经网络3.随机梯度下降法4.过拟合和欠拟合5.剪枝、批量标准化6.二分类 前言 本套课程仍为 kaggle 课程《Intro to Deep Learning》，仍按之前《机器学习》系列课程模式进行。前一系列《Keras入门教程》内容，与本系列…...
Android 12.0 通知发送过程源码分析-Framework
以下NotificationManagerService简称 NMS 1. 通知的发送: NotificationManager.notify(int id, Notification notification) 开始. 源码路径: /frameworks/base/core/java/android/app/NotificationManager.java/***发布通知以显示在状态栏中。 如果通知带有* 相同的 ID 已被…...
提防远程攻击：了解正向 Shell 和反向 Shell 确保服务器安全
前言 在当今网络安全形势日益复杂的环境中，了解正向 Shell 和反向 Shell 的工作原理和使用场景，对于保护你的服务器免受远程攻击至关重要。本文不仅深入解析这两种常见的远程控制技术，还将提供有效的防护建议，帮助你提升服务器的…...
RabbitMQ中CorrelationData 与DeliveryTag的区别
在RabbitMQ中，CorrelationData是一个用于封装业务ID信息的类，它主要在消息确认机制中发挥作用。以下是关于CorrelationData在RabbitMQ中的详细作用： 封装业务ID信息： 当发送消息时，可以将业务ID信息封装在Correlation…...
多模态2025：技术路线“神仙打架”，视频生成冲上云霄
文｜魏琳华 编｜王一粟 一场大会，聚集了中国多模态大模型的“半壁江山”。 智源大会2025为期两天的论坛中，汇集了学界、创业公司和大厂等三方的热门选手，关于多模态的集中讨论达到了前所未有的热度。其中，…...
苍穹外卖--缓存菜品
1.问题说明 用户端小程序展示的菜品数据都是通过查询数据库获得，如果用户端访问量比较大，数据库访问压力随之增大 2.实现思路 通过Redis来缓存菜品数据，减少数据库查询操作。 缓存逻辑分析： ①每个分类下的菜品保持一份缓存数据…...
sipsak：SIP瑞士军刀！全参数详细教程！Kali Linux教程！
简介 sipsak 是一个面向会话初始协议 (SIP) 应用程序开发人员和管理员的小型命令行工具。它可以用于对 SIP 应用程序和设备进行一些简单的测试。 sipsak 是一款 SIP 压力和诊断实用程序。它通过 sip-uri 向服务器发送 SIP 请求，并检查收到的响应。它以以下模式之一…...
推荐 github 项目:GeminiImageApp(图片生成方向，可以做一定的素材)
推荐 github 项目:GeminiImageApp(图片生成方向，可以做一定的素材) 这个项目能干嘛? 使用 gemini 2.0 的 api 和 google 其他的 api 来做衍生处理 简化和优化了文生图和图生图的行为(我的最主要) 并且有一些目标检测和切割(我用不到) 视频和 imagefx 因为没 a…...
腾讯云V3签名
想要接入腾讯云的Api，必然先按其文档计算出所要求的签名。 之前也调用过腾讯云的接口，但总是卡在签名这一步，最后放弃选择SDK，这次终于自己代码实现。 可能腾讯云翻新了接口文档，现在阅读起来，清晰了很多&…...
为什么要创建 Vue 实例
核心原因：Vue 需要一个「控制中心」来驱动整个应用 你可以把 Vue 实例想象成你应用的**「大脑」或「引擎」。它负责协调模板、数据、逻辑和行为，将它们变成一个活的、可交互的应用**。没有这个实例，你的代码只是一堆静态的 HTML、JavaScript 变量和函数，无法「活」起来。 …...
DeepSeek越强，Kimi越慌？
被DeepSeek吊打的Kimi，还有多少人在用？ 去年，月之暗面创始人杨植麟别提有多风光了。90后清华学霸，国产大模型六小虎之一，手握十几亿美金的融资。旗下的AI助手Kimi烧钱如流水，单月光是投流就花费2个亿。 疯…...
React父子组件通信：Props怎么用？如何从父组件向子组件传递数据？
系列回顾： 在上一篇《React核心概念：State是什么？》中，我们学习了如何使用useState让一个组件拥有自己的内部数据（State），并通过一个计数器案例，实现了组件的自我更新。这很棒&#…...
Netty自定义协议解析
目录 自定义协议设计 实现消息解码器 实现消息编码器 自定义消息对象 配置ChannelPipeline Netty提供了强大的编解码器抽象基类，这些基类能够帮助开发者快速实现自定义协议的解析。 自定义协议设计 在实现自定义协议解析之前，需要明确协议的具体格式。例如，一个简单的…...
AT模式下的全局锁冲突如何解决？
一、全局锁冲突解决方案 1. 业务层重试机制（推荐方案） Service public class OrderService {GlobalTransactionalRetryable(maxAttempts 3, backoff Backoff(delay 100))public void createOrder(OrderDTO order) {// 库存扣减（自动加全…...