当前位置： 首页 > news >正文

llama 3 笔记

news 2026/6/4 14:35:31

0.简介

llama 3 是在 15 万亿个 Token 上预训练的语言模型，具有 8B 和 70B 两种参数规模，可以支持广泛的用户场景，在各种行业基准上取得了最先进的性能，并提供了一些新功能，包括改进的推理能力。

1.改进亮点

参数规模与模型架构：Llama 3提供了8B和70B两种参数规模的模型，参数数量的增加使得模型能够捕捉和学习更复杂的语言模式。同时，Llama 3采用了标准的纯解码器（decoder-only）Transformer架构，并引入了Group Query Attention（GQA）技术，提高了模型的推理效率和处理长文本的能力。

训练数据集的扩展：Llama 3的训练数据集比Llama 2大了7倍，包含了超过15万亿个token，其中包括4倍的代码数据，这使得Llama 3在理解和生成代码方面更加出色。

性能提升：通过改进的预训练和后训练过程，Llama 3在减少错误拒绝率、提升响应对齐和增加模型响应多样性方面取得了显著进步。

安全性增强：引入了Llama Guard 2等新的信任和安全工具，以及Code Shield和CyberSec Eval 2，增强了模型的安全性和可靠性。
多语言支持：Llama 3在预训练数据中加入了超过30种

相关文章：

llama 3 笔记

0.简介 llama 3 是在 15 万亿个 Token 上预训练的语言模型，具有 8B 和 70B 两种参数规模，可以支持广泛的用户场景，在各种行业基准上取得了最先进的性能，并提供了一些新功能，包括改进的推理能力。 1.改进亮点 参数规模与模型架构：Llama 3提供了8B和70B两种参数规模的模…...

编程日记 2025/1/21 18:59:21

写作利器：如何用 PicGo + GitHub 图床提高创作效率

你好呀，欢迎来到 Dong雨 的技术小栈 🌱 在这里，我们一同探索代码的奥秘，感受技术的魅力 ✨。 👉 我的小世界：Dong雨 📌 分享我的学习旅程 🛠️ 提供贴心的实用工具 💡 记…...

编程日记 2025/1/21 18:58:20

【文件篇】11.磁盘文件系统

上一篇博客中我们介绍到如果我们要访问文件首先需要打开这个文件，而文件是在磁盘上存储的，也就是说需要在磁盘上找到这个文件的路径。但是磁盘上有很多文件，这些文件都有自己的路径的，这些文件还有内容和属性，它们都是…...

编程日记 2025/1/21 18:56:14

嵌入式产品级-超小尺寸热成像相机（从0到1 硬件-软件-外壳）

Thermal_Imaging_Camera This is a small thermal imaging camera that includes everything from hardware and software. 小尺寸热成像相机-Pico-LVGL-RTOS 基于RP2040 Pico主控与RTOS，榨干双核性能实现LVGL和成图任务并行。ST7789驱动240280屏，CST8…...

编程日记 2025/1/21 18:51:59

三维扫描赋能文化：蔡司3D扫描仪让木质文化遗产焕发新生-沪敖3D

挪威文化历史博物馆在其修复工作中融入现代3D扫描技术，让数百年的历史焕发新生。 文化历史博物馆的工作 文化历史博物馆是奥斯陆大学的一个院系。凭借其在文化历史管理、研究和传播方面的丰富专业知识，该博物馆被誉为挪威博物馆研究领域的领先机构。馆…...

编程日记 2025/1/21 18:50:50

《自动驾驶与机器人中的SLAM技术》ch8：基于预积分和图优化的紧耦合 LIO 系统

目录 1 预积分 LIO 系统的经验 2 预积分图优化的顶点 3 预积分图优化的边 3.1 NDT 残差边（观测值维度为 3 维的单元边） 4 基于预积分和图优化 LIO 系统的实现 4.1 IMU 静止初始化 4.2 使用预积分预测 4.3 使用 IMU 预测位姿进行运动补偿 4.4 位姿配准部…...

编程日记 2025/1/21 18:48:46

Linux下PostgreSQL-12.0安装部署详细步骤

一、安装环境 postgresql-12.0 CentOS-7.6 注意：确认linux系统可以正常连接网络，因为在后面需要添加依赖包。 二、pg数据库安装包下载 下载地址：PostgreSQL: File Browser 选择要安装的版本进行下载： 三、安装依赖包 在要安…...

编程日记 2025/1/21 18:46:39

STL—stack与queue

目录 Stack stack的使用 stack的模拟实现 queue queue的使用 queue的模拟实现 priority_queue priority_queue的用法 priority_queue的模拟实现 容器适配器 种类 Stack http://www.cplusplus.com/reference/stack/stack/?kwstack stack是栈，后入先出 stack的…...

编程日记 2025/1/21 18:41:31

docker 使用远程镜像启动一个容器

使用前提： 首先你得安装docker,其次你得拥有一个远程镜像 docker run --name io_11281009 --rm -it -p 2233:22 -v .:/root/py -e ed25519_rootAAAAC3NzaC1lZDI1********Oy7zR7l7aUniR2rul ghcr.lizzie.fun/fj0r/io srv对上述命令解释： 1.docker run:…...

编程日记 2025/1/21 18:39:25

简述mysql 主从复制原理及其工作过程，配置一主两从并验证

第一种基于binlog的主从同步 首先对主库进行配置： [rootopenEuler-1 ~]# vim /etc/my.cnf 启动服务 [rootopenEuler-1 ~]# systemctl enable --now mysqld 主库的配置 从库的配置 第一个从库 [rootopenEuler-1 ~]# vim /etc/my.cnf [rootopenEuler-1 ~]# sys…...

编程日记 2025/1/21 18:38:22

oracle之行转列

对于Oracle的行转列功能一直云里雾里，马马虎虎，对行转列的使用场景和使用方法都不够深刻，最近有空理解一下。 Oracle 11g后有专门的函数pivot，对于特定的场景可以直接套用。 需求：求各份job不同员工工资是多少&#xf…...

编程日记 2025/1/21 18:32:13

Windows电脑安装USB Redirector并实现内外网跨网USB共享通信访问

文章目录 前言1. 安装下载软件1.1 内网安装使用USB Redirector1.2 下载安装cpolar内网穿透 2. 完成USB Redirector服务端和客户端映射连接3. 设置固定的公网地址 前言 我们每天都在与各种智能设备打交道，从手机到电脑，再到各种外设，它们已经…...

编程日记 2025/1/21 18:30:11

kafka学习笔记4-TLS加密 —— 筑梦之路

1. 准备证书文件 mkdir /opt/kafka/pkicd !$# 生成CA证书 openssl req -x509 -nodes -days 3650 -newkey rsa:4096 -keyout ca.key -out ca.crt -subj "/CNKafka-CA"# 生成私钥 openssl genrsa -out kafka.key 4096# 生成证书签名请求 (CSR) openssl req -new -key …...

编程日记 2025/1/21 18:29:10

grafana + Prometheus + node_exporter搭建监控大屏

本文介绍生产系统监控大屏的搭建，比较实用也是实际应用比较多的方式，希望能够帮助大家对监控系统有一定的认识。 0、规划 grafana主要是展示和报警，Prometheus用于保存监控数据，node_exporter用于实时采集各个应用服务器的事实状…...

编程日记 2025/1/21 18:25:02

深度学习在语音识别中的应用

引言 语音识别技术是人工智能领域中的一个重要分支，它使得机器能够理解和转换人类的语音为文本。深度学习的出现极大地推动了语音识别技术的发展。本文将介绍如何使用深度学习构建一个基本的语音识别系统，并提供一个实践案例。 环境准备 在开始之前&a…...

编程日记 2025/1/21 18:20:58

RabbitMQ 高级特性

目录 1.消息确认 1.1 消息确认机制 1.2 手动确认方法 1. 2.1肯定确认 1.2.2 否定确认 1.3 SpringBoot 代码示例 1.3.1 配置确认机制 1.3.2 配置队列，交换机，绑定关系 1.3.3 生产者（向 rabbitmq 发送消息） 1.3.4 消费者（消费队列中的信息） 2.持久性 2.1 交换机…...

编程日记 2025/1/21 18:17:55

第01章 07 MySQL+VTK C++示例代码，实现医学影像数据的IO数据库存储

要实现将医学影像数据（如DICOM文件或其他医学图像格式）存储到MySQL数据库中，并使用VTK进行数据读取和处理的C示例代码，可以按照以下步骤进行。这个示例将展示如何将DICOM图像数据存储到MySQL数据库，然后使用VTK读取并显…...

编程日记 2025/1/21 18:16:54

Mysql创建定时任务

mysql查看存储过程 SHOW PROCEDURE STATUS;查看event_scheduler show events;查看当前event_scheduler的状态 SHOW VARIABLES LIKE event_scheduler;关闭event_scheduler set GLOBAL event_schedulerOFF;删除event_scheduler drop event event_name;创建存储过程 -- 创建存…...

编程日记 2025/1/21 18:13:49

【MySQL篇】使用mysqldump导入报错Unknown collation: ‘utf8mb4_0900_ai_ci‘的问题解决

💫《博主介绍》：✨又是一天没白过，我是奈斯，从事IT领域✨ 💫《擅长领域》：✌️擅长阿里云AnalyticDB for MySQL(分布式数据仓库)、Oracle、MySQL、Linux、prometheus监控；并对SQLserver、NoSQL(…...

编程日记 2025/1/21 18:12:47

专业学习｜最优化理论（目标函数、约束条件以及解题三板斧）

个人学习使用资料，请勿传播，若有侵权联系删除，资料来源：fairy girl。 一、最优化理论：让决策更科学，让模型更高效 （一）什么是最优化理论？ 最优化理论是数学的一个分支，它研究如何在一定约束条件下找到使目标函数达到最大值或最小值的最优解。 关键概念：最优化理论的…...

编程日记 2025/1/21 18:10:45

保姆级教程：在ROS2 Humble/Foxy的Gazebo中配置RGB-D相机（附解决点云颜色/坐标问题）

ROS2 Humble/Foxy中Gazebo深度相机仿真全攻略：从配置到点云问题解决在机器人仿真开发中，深度相机（RGB-D）是不可或缺的传感器之一。它能够同时提供彩色图像和深度信息，为SLAM、物体识别、避障等任务提供关键数据支持。本…...

编程新知 2026/5/26 3:20:03

13456

12356...

编程新知 2026/5/26 1:29:07

关联规则挖掘在Calabi-Yau流形Hodge数分析中的应用与复现

1. 项目概述：当数据挖掘遇见高维几何在理论物理和代数几何的交叉领域，Calabi-Yau流形一直扮演着核心角色。这些具有特殊拓扑结构的空间，不仅是弦理论中额外维度紧化的关键候选者，其本身丰富的数学性质也吸引着无数研究者。然而&am…...

编程新知 2026/5/25 23:06:49

阿波罗登月，不可能：读心术与影子叙事 ——不是向全世界展示登月，而是向全世界注射登月

阿波罗登月，不可能：读心术与影子叙事 ——不是向全世界展示登月，而是向全世界注射登月 Jianbing Zhu 1^{1}1 1^{1}1 ECT-OS-JiuHuaShan 文明实验室 ORCID: 0009-0006-8591-1891 DOI: 10.5281/zenodo.20373157 Email: ect-os-jiuhuashanzoho…...

编程新知 2026/5/25 23:02:48

sngan_projection论文解读：ICLR2018两大GAN技术的完美结合

sngan_projection论文解读：ICLR2018两大GAN技术的完美结合 【免费下载链接】sngan_projection GANs with spectral normalization and projection discriminator 项目地址: https://gitcode.com/gh_mirrors/sn/sngan_projection sngan_projection是一个实现了…...

编程新知 2026/5/25 22:04:16

java项目011-ssm 宠物医院系统

java项目011-ssm 宠物医院系统 是一款基于springspringmvcmybatis的宠物系统， 包含界面布局、医生信息管理、客户信息管理、宠物管理、浏览管理、 诊断管理、医生管理、用户管理 其中医生管理、用户管理只能管理员有权限进行操作。 采用spingboot方式启动 运行截图...

编程新知 2026/5/25 20:11:59

告别坐标点击！用Poco精准定位UI控件，让你的Airtest安卓自动化脚本更稳定

告别坐标点击！用Poco精准定位UI控件，让你的Airtest安卓自动化脚本更稳定每次UI微调就导致脚本大面积失效？分辨率变化让精心编写的自动化测试瞬间崩溃？作为从坐标点击转型到控件识别的实践者，我深刻理解这种挫败感。三年…...

编程新知 2026/5/25 19:34:47

收藏干货｜2026 版双非零基础入局大模型开发，RAG 与 Agent 就业上岸全攻略

日常总能收到不少初学伙伴的私信，大家普遍都有同一个疑惑：二本及普通院校学历，零基础入门 RAG、Agent 大模型应用开发，究竟能不能顺利入职？行业后续发展前景又如何？ 本篇 2026 年全新内容，不空谈…...

编程新知 2026/5/25 16:54:51

DeepSeek代码审查能力白皮书（2024企业级实测报告）

更多请点击： https://kaifayun.com 第一章：DeepSeek代码审查能力白皮书（2024企业级实测报告）概述 本报告基于2024年Q1至Q3期间，面向金融、电信与云原生三大垂直行业的17家头部企业客户开展的深度实测，覆盖…...

编程新知 2026/5/25 15:45:44

Midjourney V6锐化失控？3步诊断+5组--sref/--stylize协同参数公式，立竿见影修复模糊与锯齿

更多请点击： https://intelliparadigm.com 第一章：Midjourney V6锐化失控的本质归因 Midjourney V6 引入的全新扩散架构与隐式细节增强机制，导致图像生成过程中高频纹理被过度强化，其根本原因并非参数误配，而是模型在…...

编程新知 2026/5/25 15:43:43