多语言LLM的状态：超越英语
多语言大语言模型的发展现状：超越英语
引言
据微软研究院的数据显示，世界上大约88%的语言，即12亿人的母语，缺乏对大型语言模型（LLM）的访问。这是因为大多数LLM都是以英语为中心的，即它们大多是用英语数据构建的，并且面向英语使用者。这种英语的主导地位也存在于LLM的开发中，导致了数字语言鸿沟，可能使大多数人无法享受到LLM的好处。为了解决这个问题，我们需要一个可以在不同语言中训练并执行不同语言任务的LLM。这就是多语言LLM的诞生！
什么是多语言LLM？
多语言LLM可以理解并生成多种语言的文本。它们是在包含不同语言的语料库上训练的，并可以从用户的提示中接受多种语言的任务。
多语言LLM的应用非常广泛，包括将文学作品翻译成当地方言、实时多语言交流、多语言内容创作等。它们可以帮助每个人轻松地获取信息并相互交流，无论他们的语言是什么。
此外，多语言LLM还解决了缺乏文化细微差别和上下文、训练数据限制以及翻译过程中可能丢失的知识等问题。
多语言LLM是如何工作的？
构建一个多语言LLM需要仔细准备各种语言的平衡语料库，并选择一个适合训练模型的架构和训练技术，最好是变压器模型，这对多语言学习非常完美。
一种技术是共享嵌入，它捕捉不同语言中单词的语义意义。这使得LLM学会每种语言的相似性和差异性，从而更好地理解不同的语言。
这种知识也使LLM能够适应各种语言任务，如翻译语言、用不同风格写作等。另一种使用的技术是跨语言迁移学习，其中模型在特定任务上进行微调之前，先在一个大的多语言语料库上进行预训练。
这个两步过程确保了模型在多语言语言理解方面有坚实的基础，使其能够适应各种下游应用。
多语言大语言模型的例子
有几个值得注意的多语言LLM的例子，每个都满足特定的语言需求和文
相关文章：
多语言LLM的状态：超越英语
多语言大语言模型的发展现状：超越英语 引言 据微软研究院的数据显示，世界上大约88%的语言，即12亿人的母语，缺乏对大型语言模型（LLM）的访问。这是因为大多数LLM都是以英语为中心的，即它们大多是…...
kafka什么情况下会认为发送失败进而去重试
在Kafka中，发送消息的过程是异步的，即消息后不会立即得到发送结果。Kafka会将消息添加到发送缓冲区，并立即返回一个成功的响应。因此，Kafka并不会直接知道消息是否成功发送到了目标主题的分区。 Kafka在以下情况下会认为发送失败…...
不满足软件包要求‘transformers==4.30.2‘, ‘sse-starlette
transformers4.30.2支持的SSE-Starlette版本是0.14.0...
C# 设置AutoScroll为true没效果的原因分析和解决办法
C#中添加tabControl 分页，将autoscroll设置为true发现缩小窗口没有滚动条效果。该问题出现后，检索发现也有很多人询问了该问题，但是都没有给出解决方案。 原因是内部button的属性Anchor设置为top、left、right、bottom导致的缩小界面窗口也没…...
＜Senior High School Math＞: inequality question
( 1 ) . o m i t (1). omit (1).omit ( 2 ) . ( a 2 − b 2 ) ( x 2 a 2 − y 2 b 2 ) ( x 2 y 2 ) − ( a 2 y 2 b 2 b 2 x 2 a 2 ) ≤ x 2 y 2 − 2 x y ( x − y ) 2 (2). (a^2-b^2)(\frac{x^2}{a^2} - \frac{y^2}{b^2})(x^2y^2)-(\frac{a^2y^2}{b^2}\frac{b^2x^2}{a^…...
详解Python中Pytest和Unittest的区别
昨天在群里面，有两个新手的小伙伴提问：Pytest 和 Unittest是Python中属于最常用的两个测试框架。那么他们有些什么区别呢？ Playwright 为什么只给了Pytest的深度支持，而不是Unittest呢？ 这是个好问题， 田辛…...
零基础入门多媒体音频（1）-音频基础
声音的本质是波动，波形图能直观体现声音的特征。我们常用于描述音频的属性有下面这些： 1.采样率：声音中每秒包含的采样点个数。 2.位宽：每个采样点需要多少个bit进行存储。 3.声道数：声音进行回放需要喇叭的个数。 4.频…...
40 道高频 C++ 面试、笔试题及答案
1. 什么是多态？ 答案： 多态允许对象在运行时表现出不同的行为，具体取决于其类型。 2. 虚函数和纯虚函数之间的区别是什么？ 答案： 虚函数可以被派生类重写，而纯虚函数必须被派生类实现，否则派生…...
【07】进阶html5
HTML5 包含两个部分的更新，分别是文档和web api 文档 HTML5 元素表 元素语义化 元素语义化是指每个 HTML 元素都代表着某种含义，在开发中应该根据元素含义选择元素 元素语义化的好处： 利于 SEO（搜索引擎优化）利于无障碍访问利于浏览器的插件分析网页新增元素 多媒体…...
Linux|centos7|postgresql数据库|yum和编译方式安装总结（全系版本）
一、 yum方式安装postgresql 这个是官方的yum源，包括postgresql的开发包，lib库什么的，很齐全，关键是包括pgbackrest yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-la…...
C++提高笔记（五）---STL容器（set/multiset、map/multimap）
1、set / multiset容器 1.1set基本概念 简介：所有元素都会在插入时自动被排序 本质：set和multiset属于关联式容器，底层结构是用二叉树实现 set和multiset区别： set不允许容器中有重复的元素 multiset允许容器中有重复的元素 …...
详解main函数参数argc、argv及如何传参
目录 1、main()函数参数 2、main函数如何传参 2.1 环境准备 2.2 通过 Powershell 窗口传参 2.3 通过vs界面传参 3、int main() 和 int main(int argc, char *argv[]) 特点 1、main()函数参数 在C语言中，main函数可以带参数。main函数的原型通常为以下两种形式…...
解释什么是Web组件化开发及其优势
解释什么是Web组件化开发及其优势 Web组件化开发，是一种将Web应用的界面和功能拆分为独立、可复用的组件的开发方法。这种方法的核心思想是将大型、复杂的Web应用拆分为一系列小型、功能单一的组件，每个组件都负责处理特定的业务逻辑或界面表现。通过组…...
那些场景需要额外注意线程安全问题
主要学习那些场景需要额外注意线程安全问题，在这里总结了四中场景。 访问共享变量或资源 第一种场景是访问共享变量或共享资源的时候，典型的场景有访问共享对象的属性，访问static静态变量，访问共享的缓存，等等。因为…...
（C语言）球球大作战
前言： 这款简易版的球球大作战是一款单人游戏，玩家需要控制一个小球在地图上移动，吞噬其他小球来增大自己的体积。本游戏使用C语言和easyx图形库编写，旨在帮助初学者了解游戏开发的基本概念和技巧。 在开始编写代码之前…...
高级数据结构 ＜AVL树＞
本文已收录至《数据结构(C/C语言)》专栏！ 作者：ARMCSKGT 目录 前言正文AVL树的性质AVL树的定义AVL树的插入函数左单旋右单旋右左双旋左右双旋 检验AVL树的合法性关于AVL树 最后 前言 前面我们学习了二叉树，普通的二叉树没有任何特殊性质&…...
在springboot中利用Redis实现延迟队列
文章目录 前言一、基本思路二、springboot实现案例三、测试总结 前言 在开发过程中，有很多场景都需要用到延迟队列来解决。目前支持延迟队列的中间件也不少，特别是基于JMS模式下的消息中间件基本上都支持延迟队列。但是有时我们项目规模可能比较小&…...
UpGrow评论：AI能将我的Instagram粉丝数增加10倍吗？
UpGrow Review: Can AI Grow My Instagram Followers 10X? 概述 UpGrow是一款专注于Instagram增长的AI驱动型社交媒体工具。它通过其庞大的300多人的网络，先进的定位功能，实时分析以及卓越的客户服务，帮助用户有机地增长Instagram关注者。…...
申请软著提交的演示视频有什么要求
申请软件著作权时，演示视频是一个重要的材料，主要用于展示软件的功能和操作流程。演示视频的要求可能会根据不同的申请机构和项目有所不同，但一般来说，以下是几个常见的要求： 内容完整性：演示视频需要展示…...
mac【启动elasticsearch报错：can not run elasticsearch as root
mac【启动elasticsearch报错：can not run elasticsearch as root 问题原因 es默认不能用root用户启动，生产环境建议为elasticsearch创建用户。 解决方案 为elaticsearch创建用户并赋予相应权限。 尝试了以下命令创建用户，adduser esh 和u…...
Qt/C++开发监控GB28181系统/取流协议/同时支持udp/tcp被动/tcp主动
一、前言说明 在2011版本的gb28181协议中，拉取视频流只要求udp方式，从2016开始要求新增支持tcp被动和tcp主动两种方式，udp理论上会丢包的，所以实际使用过程可能会出现画面花屏的情况，而tcp肯定不丢包，起码…...
Golang 面试经典题：map 的 key 可以是什么类型？哪些不可以？
Golang 面试经典题：map 的 key 可以是什么类型？哪些不可以？ 在 Golang 的面试中，map 类型的使用是一个常见的考点，其中对 key 类型的合法性 是一道常被提及的基础却很容易被忽视的问题。本文将带你深入理解 Golang 中…...
React Native 开发环境搭建（全平台详解）
React Native 开发环境搭建（全平台详解） 在开始使用 React Native 开发移动应用之前，正确设置开发环境是至关重要的一步。本文将为你提供一份全面的指南，涵盖 macOS 和 Windows 平台的配置步骤，如何在 Android 和 iOS…...
连锁超市冷库节能解决方案：如何实现超市降本增效
在连锁超市冷库运营中，高能耗、设备损耗快、人工管理低效等问题长期困扰企业。御控冷库节能解决方案通过智能控制化霜、按需化霜、实时监控、故障诊断、自动预警、远程控制开关六大核心技术，实现年省电费15%-60%，且不改动原有装备、安装快捷、…...
MVC 数据库
MVC 数据库 引言 在软件开发领域，Model-View-Controller（MVC）是一种流行的软件架构模式，它将应用程序分为三个核心组件：模型（Model）、视图（View）和控制器（Controller）。这种模式有助于提高代码的可维护性和可扩展性。本文将深入探讨MVC架构与数据库之间的关系，以…...
macOS多出来了：Google云端硬盘、YouTube、表格、幻灯片、Gmail、Google文档等应用
文章目录 问题现象问题原因解决办法 问题现象 macOS启动台（Launchpad）多出来了：Google云端硬盘、YouTube、表格、幻灯片、Gmail、Google文档等应用。 问题原因 很明显，都是Google家的办公全家桶。这些应用并不是通过独立安装的…...
使用van-uploader 的UI组件，结合vue2如何实现图片上传组件的封装
以下是基于 vant-ui（适配 Vue2 版本 ）实现截图中照片上传预览、删除功能，并封装成可复用组件的完整代码，包含样式和逻辑实现，可直接在 Vue2 项目中使用： 1. 封装的图片上传组件 ImageUploader.vue <te…...
ffmpeg（四）：滤镜命令
FFmpeg 的滤镜命令是用于音视频处理中的强大工具，可以完成剪裁、缩放、加水印、调色、合成、旋转、模糊、叠加字幕等复杂的操作。其核心语法格式一般如下： ffmpeg -i input.mp4 -vf "滤镜参数" output.mp4或者带音频滤镜： ffmpeg…...
python爬虫：Newspaper3k 的详细使用（好用的新闻网站文章抓取和解析的Python库）
更多内容请见： 爬虫和逆向教程-专栏介绍和目录 文章目录 一、Newspaper3k 概述1.1 Newspaper3k 介绍1.2 主要功能1.3 典型应用场景1.4 安装二、基本用法2.2 提取单篇文章的内容2.2 处理多篇文档三、高级选项3.1 自定义配置3.2 分析文章情感四、实战案例4.1 构建新闻摘要聚合器…...
Caliper 配置文件解析：config.yaml
Caliper 是一个区块链性能基准测试工具，用于评估不同区块链平台的性能。下面我将详细解释你提供的 fisco-bcos.json 文件结构，并说明它与 config.yaml 文件的关系。 fisco-bcos.json 文件解析 这个文件是针对 FISCO-BCOS 区块链网络的 Caliper 配置文件，主要包含以下几个部…...