当前位置： 首页 > news >正文

llama 3 笔记

news 2026/2/9 13:06:39

0.简介

llama 3 是在 15 万亿个 Token 上预训练的语言模型，具有 8B 和 70B 两种参数规模，可以支持广泛的用户场景，在各种行业基准上取得了最先进的性能，并提供了一些新功能，包括改进的推理能力。

1.改进亮点

参数规模与模型架构：Llama 3提供了8B和70B两种参数规模的模型，参数数量的增加使得模型能够捕捉和学习更复杂的语言模式。同时，Llama 3采用了标准的纯解码器（decoder-only）Transformer架构，并引入了Group Query Attention（GQA）技术，提高了模型的推理效率和处理长文本的能力。

训练数据集的扩展：Llama 3的训练数据集比Llama 2大了7倍，包含了超过15万亿个token，其中包括4倍的代码数据，这使得Llama 3在理解和生成代码方面更加出色。

性能提升：通过改进的预训练和后训练过程，Llama 3在减少错误拒绝率、提升响应对齐和增加模型响应多样性方面取得了显著进步。

安全性增强：引入了Llama Guard 2等新的信任和安全工具，以及Code Shield和CyberSec Eval 2，增强了模型的安全性和可靠性。
多语言支持：Llama 3在预训练数据中加入了超过30种

相关文章：

llama 3 笔记

0.简介 llama 3 是在 15 万亿个 Token 上预训练的语言模型，具有 8B 和 70B 两种参数规模，可以支持广泛的用户场景，在各种行业基准上取得了最先进的性能，并提供了一些新功能，包括改进的推理能力。 1.改进亮点 参数规模与模型架构：Llama 3提供了8B和70B两种参数规模的模…...

编程日记 2025/1/21 18:59:21

写作利器：如何用 PicGo + GitHub 图床提高创作效率

你好呀，欢迎来到 Dong雨 的技术小栈 🌱 在这里，我们一同探索代码的奥秘，感受技术的魅力 ✨。 👉 我的小世界：Dong雨 📌 分享我的学习旅程 🛠️ 提供贴心的实用工具 💡 记…...

编程日记 2025/1/21 18:58:20

【文件篇】11.磁盘文件系统

上一篇博客中我们介绍到如果我们要访问文件首先需要打开这个文件，而文件是在磁盘上存储的，也就是说需要在磁盘上找到这个文件的路径。但是磁盘上有很多文件，这些文件都有自己的路径的，这些文件还有内容和属性，它们都是…...

编程日记 2025/1/21 18:56:14

嵌入式产品级-超小尺寸热成像相机（从0到1 硬件-软件-外壳）

Thermal_Imaging_Camera This is a small thermal imaging camera that includes everything from hardware and software. 小尺寸热成像相机-Pico-LVGL-RTOS 基于RP2040 Pico主控与RTOS，榨干双核性能实现LVGL和成图任务并行。ST7789驱动240280屏，CST8…...

编程日记 2025/1/21 18:51:59

三维扫描赋能文化：蔡司3D扫描仪让木质文化遗产焕发新生-沪敖3D

挪威文化历史博物馆在其修复工作中融入现代3D扫描技术，让数百年的历史焕发新生。 文化历史博物馆的工作 文化历史博物馆是奥斯陆大学的一个院系。凭借其在文化历史管理、研究和传播方面的丰富专业知识，该博物馆被誉为挪威博物馆研究领域的领先机构。馆…...

编程日记 2025/1/21 18:50:50

《自动驾驶与机器人中的SLAM技术》ch8：基于预积分和图优化的紧耦合 LIO 系统

目录 1 预积分 LIO 系统的经验 2 预积分图优化的顶点 3 预积分图优化的边 3.1 NDT 残差边（观测值维度为 3 维的单元边） 4 基于预积分和图优化 LIO 系统的实现 4.1 IMU 静止初始化 4.2 使用预积分预测 4.3 使用 IMU 预测位姿进行运动补偿 4.4 位姿配准部…...

编程日记 2025/1/21 18:48:46

Linux下PostgreSQL-12.0安装部署详细步骤

一、安装环境 postgresql-12.0 CentOS-7.6 注意：确认linux系统可以正常连接网络，因为在后面需要添加依赖包。 二、pg数据库安装包下载 下载地址：PostgreSQL: File Browser 选择要安装的版本进行下载： 三、安装依赖包 在要安…...

编程日记 2025/1/21 18:46:39

STL—stack与queue

目录 Stack stack的使用 stack的模拟实现 queue queue的使用 queue的模拟实现 priority_queue priority_queue的用法 priority_queue的模拟实现 容器适配器 种类 Stack http://www.cplusplus.com/reference/stack/stack/?kwstack stack是栈，后入先出 stack的…...

编程日记 2025/1/21 18:41:31

docker 使用远程镜像启动一个容器

使用前提： 首先你得安装docker,其次你得拥有一个远程镜像 docker run --name io_11281009 --rm -it -p 2233:22 -v .:/root/py -e ed25519_rootAAAAC3NzaC1lZDI1********Oy7zR7l7aUniR2rul ghcr.lizzie.fun/fj0r/io srv对上述命令解释： 1.docker run:…...

编程日记 2025/1/21 18:39:25

简述mysql 主从复制原理及其工作过程，配置一主两从并验证

第一种基于binlog的主从同步 首先对主库进行配置： [rootopenEuler-1 ~]# vim /etc/my.cnf 启动服务 [rootopenEuler-1 ~]# systemctl enable --now mysqld 主库的配置 从库的配置 第一个从库 [rootopenEuler-1 ~]# vim /etc/my.cnf [rootopenEuler-1 ~]# sys…...

编程日记 2025/1/21 18:38:22

oracle之行转列

对于Oracle的行转列功能一直云里雾里，马马虎虎，对行转列的使用场景和使用方法都不够深刻，最近有空理解一下。 Oracle 11g后有专门的函数pivot，对于特定的场景可以直接套用。 需求：求各份job不同员工工资是多少&#xf…...

编程日记 2025/1/21 18:32:13

Windows电脑安装USB Redirector并实现内外网跨网USB共享通信访问

文章目录 前言1. 安装下载软件1.1 内网安装使用USB Redirector1.2 下载安装cpolar内网穿透 2. 完成USB Redirector服务端和客户端映射连接3. 设置固定的公网地址 前言 我们每天都在与各种智能设备打交道，从手机到电脑，再到各种外设，它们已经…...

编程日记 2025/1/21 18:30:11

kafka学习笔记4-TLS加密 —— 筑梦之路

1. 准备证书文件 mkdir /opt/kafka/pkicd !$# 生成CA证书 openssl req -x509 -nodes -days 3650 -newkey rsa:4096 -keyout ca.key -out ca.crt -subj "/CNKafka-CA"# 生成私钥 openssl genrsa -out kafka.key 4096# 生成证书签名请求 (CSR) openssl req -new -key …...

编程日记 2025/1/21 18:29:10

grafana + Prometheus + node_exporter搭建监控大屏

本文介绍生产系统监控大屏的搭建，比较实用也是实际应用比较多的方式，希望能够帮助大家对监控系统有一定的认识。 0、规划 grafana主要是展示和报警，Prometheus用于保存监控数据，node_exporter用于实时采集各个应用服务器的事实状…...

编程日记 2025/1/21 18:25:02

深度学习在语音识别中的应用

引言 语音识别技术是人工智能领域中的一个重要分支，它使得机器能够理解和转换人类的语音为文本。深度学习的出现极大地推动了语音识别技术的发展。本文将介绍如何使用深度学习构建一个基本的语音识别系统，并提供一个实践案例。 环境准备 在开始之前&a…...

编程日记 2025/1/21 18:20:58

RabbitMQ 高级特性

目录 1.消息确认 1.1 消息确认机制 1.2 手动确认方法 1. 2.1肯定确认 1.2.2 否定确认 1.3 SpringBoot 代码示例 1.3.1 配置确认机制 1.3.2 配置队列，交换机，绑定关系 1.3.3 生产者（向 rabbitmq 发送消息） 1.3.4 消费者（消费队列中的信息） 2.持久性 2.1 交换机…...

编程日记 2025/1/21 18:17:55

第01章 07 MySQL+VTK C++示例代码，实现医学影像数据的IO数据库存储

要实现将医学影像数据（如DICOM文件或其他医学图像格式）存储到MySQL数据库中，并使用VTK进行数据读取和处理的C示例代码，可以按照以下步骤进行。这个示例将展示如何将DICOM图像数据存储到MySQL数据库，然后使用VTK读取并显…...

编程日记 2025/1/21 18:16:54

Mysql创建定时任务

mysql查看存储过程 SHOW PROCEDURE STATUS;查看event_scheduler show events;查看当前event_scheduler的状态 SHOW VARIABLES LIKE event_scheduler;关闭event_scheduler set GLOBAL event_schedulerOFF;删除event_scheduler drop event event_name;创建存储过程 -- 创建存…...

编程日记 2025/1/21 18:13:49

【MySQL篇】使用mysqldump导入报错Unknown collation: ‘utf8mb4_0900_ai_ci‘的问题解决

💫《博主介绍》：✨又是一天没白过，我是奈斯，从事IT领域✨ 💫《擅长领域》：✌️擅长阿里云AnalyticDB for MySQL(分布式数据仓库)、Oracle、MySQL、Linux、prometheus监控；并对SQLserver、NoSQL(…...

编程日记 2025/1/21 18:12:47

专业学习｜最优化理论（目标函数、约束条件以及解题三板斧）

个人学习使用资料，请勿传播，若有侵权联系删除，资料来源：fairy girl。 一、最优化理论：让决策更科学，让模型更高效 （一）什么是最优化理论？ 最优化理论是数学的一个分支，它研究如何在一定约束条件下找到使目标函数达到最大值或最小值的最优解。 关键概念：最优化理论的…...

编程日记 2025/1/21 18:10:45

零门槛NAS搭建：WinNAS如何让普通电脑秒变私有云？

一、核心优势：专为Windows用户设计的极简NAS WinNAS由深圳耘想存储科技开发，是一款收费低廉但功能全面的Windows NAS工具，主打“无学习成本部署” 。与其他NAS软件相比，其优势在于： 无需硬件改造：将任意W…...

编程新知 2026/1/2 23:01:24

Vue3 + Element Plus + TypeScript中el-transfer穿梭框组件使用详解及示例

使用详解 Element Plus 的 el-transfer 组件是一个强大的穿梭框组件，常用于在两个集合之间进行数据转移，如权限分配、数据选择等场景。下面我将详细介绍其用法并提供一个完整示例。 核心特性与用法 基本属性 v-model：绑定右侧列表的值&…...

编程新知 2026/2/4 4:25:40

渗透实战PortSwigger靶场-XSS Lab 14：大多数标签和属性被阻止

<script>标签被拦截 我们需要把全部可用的 tag 和 event 进行暴力破解 XSS cheat sheet&#xff1a; https://portswigger.net/web-security/cross-site-scripting/cheat-sheet 通过爆破发现body可以用 再把全部 events 放进去爆破 这些 event 全部可用 <body onres…...

编程新知 2026/1/24 13:05:24

条件运算符

C中的三目运算符&#xff08;也称条件运算符&#xff0c;英文&#xff1a;ternary operator&#xff09;是一种简洁的条件选择语句&#xff0c;语法如下&#xff1a; 条件表达式 ? 表达式1 : 表达式2• 如果“条件表达式”为true&#xff0c;则整个表达式的结果为“表达式1”…...

编程新知 2025/12/6 22:50:48

ServerTrust 并非唯一

NSURLAuthenticationMethodServerTrust 只是 authenticationMethod 的冰山一角 要理解 NSURLAuthenticationMethodServerTrust, 首先要明白它只是 authenticationMethod 的选项之一, 并非唯一 1 先厘清概念 点说明authenticationMethodURLAuthenticationChallenge.protectionS…...

编程新知 2026/1/29 5:29:57

WEB3全栈开发——面试专业技能点P2智能合约开发（Solidity）

一、Solidity合约开发 下面是 Solidity 合约开发 的概念、代码示例及讲解&#xff0c;适合用作学习或写简历项目背景说明。 &#x1f9e0; 一、概念简介&#xff1a;Solidity 合约开发 Solidity 是一种专门为 以太坊&#xff08;Ethereum&#xff09;平台编写智能合约的高级编…...

编程新知 2026/1/27 9:33:09

大数据学习（132）-HIve数据分析

​​​​&#x1f34b;&#x1f34b;大数据学习&#x1f34b;&#x1f34b; &#x1f525;系列专栏&#xff1a; &#x1f451;哲学语录: 用力所能及&#xff0c;改变世界。 &#x1f496;如果觉得博主的文章还不错的话&#xff0c;请点赞&#x1f44d;收藏⭐️留言&#x1f4…...

编程新知 2025/10/7 8:52:21

ABAP设计模式之---“简单设计原则(Simple Design)”

“Simple Design”&#xff08;简单设计&#xff09;是软件开发中的一个重要理念&#xff0c;倡导以最简单的方式实现软件功能&#xff0c;以确保代码清晰易懂、易维护&#xff0c;并在项目需求变化时能够快速适应。 其核心目标是避免复杂和过度设计&#xff0c;遵循“让事情保…...

编程新知 2026/1/27 18:13:23

（一）单例模式

一、前言 单例模式属于六大创建型模式，即在软件设计过程中，主要关注创建对象的结果，并不关心创建对象的过程及细节。创建型设计模式将类对象的实例化过程进行抽象化接口设计，从而隐藏了类对象的实例是如何被创建的，封装了软件系统使用的具体对象类型。 六大创建型模式包括…...

编程新知 2026/1/30 6:03:31

Linux系统部署KES

1、安装准备 1.版本说明V008R006C009B0014 V008&#xff1a;是version产品的大版本。 R006&#xff1a;是release产品特性版本。 C009&#xff1a;是通用版 B0014&#xff1a;是build开发过程中的构建版本2.硬件要求 #安全版和企业版 内存&#xff1a;1GB 以上 硬盘&#xf…...

编程新知 2026/1/1 12:32:33