当前位置： 首页 > news >正文

llama 3 笔记

news 2026/2/9 20:01:35

0.简介

llama 3 是在 15 万亿个 Token 上预训练的语言模型，具有 8B 和 70B 两种参数规模，可以支持广泛的用户场景，在各种行业基准上取得了最先进的性能，并提供了一些新功能，包括改进的推理能力。

1.改进亮点

参数规模与模型架构：Llama 3提供了8B和70B两种参数规模的模型，参数数量的增加使得模型能够捕捉和学习更复杂的语言模式。同时，Llama 3采用了标准的纯解码器（decoder-only）Transformer架构，并引入了Group Query Attention（GQA）技术，提高了模型的推理效率和处理长文本的能力。

训练数据集的扩展：Llama 3的训练数据集比Llama 2大了7倍，包含了超过15万亿个token，其中包括4倍的代码数据，这使得Llama 3在理解和生成代码方面更加出色。

性能提升：通过改进的预训练和后训练过程，Llama 3在减少错误拒绝率、提升响应对齐和增加模型响应多样性方面取得了显著进步。

安全性增强：引入了Llama Guard 2等新的信任和安全工具，以及Code Shield和CyberSec Eval 2，增强了模型的安全性和可靠性。
多语言支持：Llama 3在预训练数据中加入了超过30种

相关文章：

llama 3 笔记

0.简介 llama 3 是在 15 万亿个 Token 上预训练的语言模型，具有 8B 和 70B 两种参数规模，可以支持广泛的用户场景，在各种行业基准上取得了最先进的性能，并提供了一些新功能，包括改进的推理能力。 1.改进亮点 参数规模与模型架构：Llama 3提供了8B和70B两种参数规模的模…...

编程日记 2025/1/21 18:59:21

写作利器：如何用 PicGo + GitHub 图床提高创作效率

你好呀，欢迎来到 Dong雨 的技术小栈 🌱 在这里，我们一同探索代码的奥秘，感受技术的魅力 ✨。 👉 我的小世界：Dong雨 📌 分享我的学习旅程 🛠️ 提供贴心的实用工具 💡 记…...

编程日记 2025/1/21 18:58:20

【文件篇】11.磁盘文件系统

上一篇博客中我们介绍到如果我们要访问文件首先需要打开这个文件，而文件是在磁盘上存储的，也就是说需要在磁盘上找到这个文件的路径。但是磁盘上有很多文件，这些文件都有自己的路径的，这些文件还有内容和属性，它们都是…...

编程日记 2025/1/21 18:56:14

嵌入式产品级-超小尺寸热成像相机（从0到1 硬件-软件-外壳）

Thermal_Imaging_Camera This is a small thermal imaging camera that includes everything from hardware and software. 小尺寸热成像相机-Pico-LVGL-RTOS 基于RP2040 Pico主控与RTOS，榨干双核性能实现LVGL和成图任务并行。ST7789驱动240280屏，CST8…...

编程日记 2025/1/21 18:51:59

三维扫描赋能文化：蔡司3D扫描仪让木质文化遗产焕发新生-沪敖3D

挪威文化历史博物馆在其修复工作中融入现代3D扫描技术，让数百年的历史焕发新生。 文化历史博物馆的工作 文化历史博物馆是奥斯陆大学的一个院系。凭借其在文化历史管理、研究和传播方面的丰富专业知识，该博物馆被誉为挪威博物馆研究领域的领先机构。馆…...

编程日记 2025/1/21 18:50:50

《自动驾驶与机器人中的SLAM技术》ch8：基于预积分和图优化的紧耦合 LIO 系统

目录 1 预积分 LIO 系统的经验 2 预积分图优化的顶点 3 预积分图优化的边 3.1 NDT 残差边（观测值维度为 3 维的单元边） 4 基于预积分和图优化 LIO 系统的实现 4.1 IMU 静止初始化 4.2 使用预积分预测 4.3 使用 IMU 预测位姿进行运动补偿 4.4 位姿配准部…...

编程日记 2025/1/21 18:48:46

Linux下PostgreSQL-12.0安装部署详细步骤

一、安装环境 postgresql-12.0 CentOS-7.6 注意：确认linux系统可以正常连接网络，因为在后面需要添加依赖包。 二、pg数据库安装包下载 下载地址：PostgreSQL: File Browser 选择要安装的版本进行下载： 三、安装依赖包 在要安…...

编程日记 2025/1/21 18:46:39

STL—stack与queue

目录 Stack stack的使用 stack的模拟实现 queue queue的使用 queue的模拟实现 priority_queue priority_queue的用法 priority_queue的模拟实现 容器适配器 种类 Stack http://www.cplusplus.com/reference/stack/stack/?kwstack stack是栈，后入先出 stack的…...

编程日记 2025/1/21 18:41:31

docker 使用远程镜像启动一个容器

使用前提： 首先你得安装docker,其次你得拥有一个远程镜像 docker run --name io_11281009 --rm -it -p 2233:22 -v .:/root/py -e ed25519_rootAAAAC3NzaC1lZDI1********Oy7zR7l7aUniR2rul ghcr.lizzie.fun/fj0r/io srv对上述命令解释： 1.docker run:…...

编程日记 2025/1/21 18:39:25

简述mysql 主从复制原理及其工作过程，配置一主两从并验证

第一种基于binlog的主从同步 首先对主库进行配置： [rootopenEuler-1 ~]# vim /etc/my.cnf 启动服务 [rootopenEuler-1 ~]# systemctl enable --now mysqld 主库的配置 从库的配置 第一个从库 [rootopenEuler-1 ~]# vim /etc/my.cnf [rootopenEuler-1 ~]# sys…...

编程日记 2025/1/21 18:38:22

oracle之行转列

对于Oracle的行转列功能一直云里雾里，马马虎虎，对行转列的使用场景和使用方法都不够深刻，最近有空理解一下。 Oracle 11g后有专门的函数pivot，对于特定的场景可以直接套用。 需求：求各份job不同员工工资是多少&#xf…...

编程日记 2025/1/21 18:32:13

Windows电脑安装USB Redirector并实现内外网跨网USB共享通信访问

文章目录 前言1. 安装下载软件1.1 内网安装使用USB Redirector1.2 下载安装cpolar内网穿透 2. 完成USB Redirector服务端和客户端映射连接3. 设置固定的公网地址 前言 我们每天都在与各种智能设备打交道，从手机到电脑，再到各种外设，它们已经…...

编程日记 2025/1/21 18:30:11

kafka学习笔记4-TLS加密 —— 筑梦之路

1. 准备证书文件 mkdir /opt/kafka/pkicd !$# 生成CA证书 openssl req -x509 -nodes -days 3650 -newkey rsa:4096 -keyout ca.key -out ca.crt -subj "/CNKafka-CA"# 生成私钥 openssl genrsa -out kafka.key 4096# 生成证书签名请求 (CSR) openssl req -new -key …...

编程日记 2025/1/21 18:29:10

grafana + Prometheus + node_exporter搭建监控大屏

本文介绍生产系统监控大屏的搭建，比较实用也是实际应用比较多的方式，希望能够帮助大家对监控系统有一定的认识。 0、规划 grafana主要是展示和报警，Prometheus用于保存监控数据，node_exporter用于实时采集各个应用服务器的事实状…...

编程日记 2025/1/21 18:25:02

深度学习在语音识别中的应用

引言 语音识别技术是人工智能领域中的一个重要分支，它使得机器能够理解和转换人类的语音为文本。深度学习的出现极大地推动了语音识别技术的发展。本文将介绍如何使用深度学习构建一个基本的语音识别系统，并提供一个实践案例。 环境准备 在开始之前&a…...

编程日记 2025/1/21 18:20:58

RabbitMQ 高级特性

目录 1.消息确认 1.1 消息确认机制 1.2 手动确认方法 1. 2.1肯定确认 1.2.2 否定确认 1.3 SpringBoot 代码示例 1.3.1 配置确认机制 1.3.2 配置队列，交换机，绑定关系 1.3.3 生产者（向 rabbitmq 发送消息） 1.3.4 消费者（消费队列中的信息） 2.持久性 2.1 交换机…...

编程日记 2025/1/21 18:17:55

第01章 07 MySQL+VTK C++示例代码，实现医学影像数据的IO数据库存储

要实现将医学影像数据（如DICOM文件或其他医学图像格式）存储到MySQL数据库中，并使用VTK进行数据读取和处理的C示例代码，可以按照以下步骤进行。这个示例将展示如何将DICOM图像数据存储到MySQL数据库，然后使用VTK读取并显…...

编程日记 2025/1/21 18:16:54

Mysql创建定时任务

mysql查看存储过程 SHOW PROCEDURE STATUS;查看event_scheduler show events;查看当前event_scheduler的状态 SHOW VARIABLES LIKE event_scheduler;关闭event_scheduler set GLOBAL event_schedulerOFF;删除event_scheduler drop event event_name;创建存储过程 -- 创建存…...

编程日记 2025/1/21 18:13:49

【MySQL篇】使用mysqldump导入报错Unknown collation: ‘utf8mb4_0900_ai_ci‘的问题解决

💫《博主介绍》：✨又是一天没白过，我是奈斯，从事IT领域✨ 💫《擅长领域》：✌️擅长阿里云AnalyticDB for MySQL(分布式数据仓库)、Oracle、MySQL、Linux、prometheus监控；并对SQLserver、NoSQL(…...

编程日记 2025/1/21 18:12:47

专业学习｜最优化理论（目标函数、约束条件以及解题三板斧）

个人学习使用资料，请勿传播，若有侵权联系删除，资料来源：fairy girl。 一、最优化理论：让决策更科学，让模型更高效 （一）什么是最优化理论？ 最优化理论是数学的一个分支，它研究如何在一定约束条件下找到使目标函数达到最大值或最小值的最优解。 关键概念：最优化理论的…...

编程日记 2025/1/21 18:10:45

Android Wi-Fi 连接失败日志分析

1. Android wifi 关键日志总结 (1) Wi-Fi 断开 (CTRL-EVENT-DISCONNECTED reason3) 日志相关部分： 06-05 10:48:40.987 943 943 I wpa_supplicant: wlan0: CTRL-EVENT-DISCONNECTED bssid44:9b:c1:57:a8:90 reason3 locally_generated1解析： CTR…...

编程新知 2025/9/14 19:44:52

云原生核心技术 (7/12): K8s 核心概念白话解读(上)：Pod 和 Deployment 究竟是什么？

大家好，欢迎来到《云原生核心技术》系列的第七篇！ 在上一篇，我们成功地使用 Minikube 或 kind 在自己的电脑上搭建起了一个迷你但功能完备的 Kubernetes 集群。现在，我们就像一个拥有了一块崭新数字土地的农场主，是时…...

编程新知 2025/12/14 22:32:59

RocketMQ延迟消息机制

两种延迟消息 RocketMQ中提供了两种延迟消息机制 指定固定的延迟级别 通过在Message中设定一个MessageDelayLevel参数，对应18个预设的延迟级别指定时间点的延迟级别 通过在Message中设定一个DeliverTimeMS指定一个Long类型表示的具体时间点。到了时间点后&#xf…...

编程新知 2026/2/8 21:59:25

c++ 面试题(1)-----深度优先搜索（DFS）实现

操作系统：ubuntu22.04 IDE:Visual Studio Code 编程语言：C11 题目描述 地上有一个 m 行 n 列的方格，从坐标 [0,0] 起始。一个机器人可以从某一格移动到上下左右四个格子，但不能进入行坐标和列坐标的数位之和大于 k 的格子。 例…...

编程新知 2026/1/10 10:16:16

dify打造数据可视化图表

一、概述 在日常工作和学习中，我们经常需要和数据打交道。无论是分析报告、项目展示，还是简单的数据洞察，一个清晰直观的图表，往往能胜过千言万语。 一款能让数据可视化变得超级简单的 MCP Server，由蚂蚁集团 AntV 团队…...

编程新知 2026/1/20 20:10:03

Java编程之桥接模式

定义 桥接模式（Bridge Pattern）属于结构型设计模式，它的核心意图是将抽象部分与实现部分分离，使它们可以独立地变化。这种模式通过组合关系来替代继承关系，从而降低了抽象和实现这两个可变维度之间的耦合度。 用例子…...

编程新知 2026/1/23 10:28:48

免费PDF转图片工具

免费PDF转图片工具 一款简单易用的PDF转图片工具，可以将PDF文件快速转换为高质量PNG图片。无需安装复杂的软件，也不需要在线上传文件，保护您的隐私。 工具截图 主要特点 🚀 快速转换：本地转换，无需等待上…...

编程新知 2026/1/26 9:07:56

软件工程 期末复习

瀑布模型：计划 螺旋模型：风险低 原型模型: 用户反馈 喷泉模型:代码复用 高内聚 低耦合：模块内部功能紧密 模块之间依赖程度小 高内聚：指的是一个模块内部的功能应该紧密相关。换句话说，一个模块应当只实现单一的功能…...

编程新知 2026/2/7 0:13:47

从零开始了解数据采集（二十八）——制造业数字孪生

近年来，我国的工业领域正经历一场前所未有的数字化变革，从“双碳目标”到工业互联网平台的推广，国家政策和市场需求共同推动了制造业的升级。在这场变革中，数字孪生技术成为备受关注的关键工具，它不仅让企业“看见”设…...

编程新知 2026/2/6 5:58:12

Qwen系列之Qwen3解读：最强开源模型的细节拆解

文章目录 1.1分钟快览2.模型架构2.1.Dense模型2.2.MoE模型 3.预训练阶段3.1.数据3.2.训练3.3.评估 4.后训练阶段S1: 长链思维冷启动S2: 推理强化学习S3: 思考模式融合S4: 通用强化学习 5.全家桶中的小模型训练评估评估数据集评估细节评估效果弱智评估和民间Arena 分析展望 如果…...

编程新知 2026/2/5 4:23:21