大模型日报2024-06-08

大模型日报

 

2024-06-08

 

大模型资讯

 

1. AI研究：通过消除矩阵乘法实现高效的大语言模型

 

• 摘要: 该AI研究探讨了通过消除矩阵乘法来实现高效且可扩展的大语言模型（LLMs）。此方法旨在提升模型性能，提供更快速和高效的计算方案。

 

1. AWS大力投资构建LLMops工具

 

• 摘要: AWS正大力投资于构建用于操作和管理基础大型语言模型的工具。该超大规模云服务提供商正在加强其在大型语言模型运维方面的能力。

 

1. AI语言模型面临人类文本资源枯竭

 

• 摘要: 一项新研究表明，科技公司将很快耗尽供AI语言模型学习的公开训练数据。随着人类书写文本资源的减少，AI模型的训练将面临挑战，这可能会影响AI技术的发展和应用。

 

1. Unbabel新AI模型TowerLLM超越OpenAI的GPT-4在翻译上的表现

 

• 摘要: Unbabel公司表示，其新推出的TowerLLM AI模型在翻译性能上超过了OpenAI的GPT-4。数据显示，在GPT-4发布15个月后，其领先优势可能正在减弱。

 

1. CheckMate: 评估语言模型的AI平台

 

• 摘要: CheckMate是一个灵活的AI平台，用于通过与人类用户的互动来评估大型语言模型(LLMs)。近年来，LLMs如ChatGPT和GPT-4在技术上取得了显著进展，CheckMate旨在进一步提升这些模型的评估过程。

 

1. LLaVA-UHD：高分辨率图像和任意纵横比的视觉语言模型

 

• 摘要: LLaVA-UHD是一种新型的大型语言模型，能够处理任意纵横比和高分辨率图像，显著提升了视觉语言推理能力。

 

1. 单细胞转录组学的大规模基础模型

 

• 摘要: 大型预训练模型在自然语言处理及相关领域取得突破，现已成为基础模型。这一技术也被应用于单细胞转录组学，推动了该领域的发展。

 

1. 阿里巴巴新AI模型Qwen2在数学和编程任务中超越Meta的Llama 3

 

• 摘要: 阿里巴巴表示，其最新的大型语言模型Qwen2在数学和编程等任务中表现优于Meta的Llama 3。这款新模型与Facebook母公司Meta等最前沿的开源模型相媲美。

 

1. 波兰大型语言模型通过联合协作取得突破

 

• 摘要: 六家波兰研究机构组成的联盟正合作开发PLLuM（波兰大型语言模型），以推进语言技术的发展。

 

1. Upstage优化大语言模型以适配Intel® Core™ Ultra处理器

 

• 摘要: Upstage公司宣布将优化其旗舰大语言模型，以更好地适配Intel® Core™ Ultra处理器。作为企业解决方案领域的领先人工智能公司，Upstage此举旨在提升处理器性能和AI应用的效率。

 

大模型产品

 

大模型论文

 

1. 语言模型驱动的机器学习新框架

 

• 摘要: 本文提出了语言化机器学习（VML）框架，通过将参数空间限制为自然语言，重新审视传统机器学习问题，提升解释性和可信度。

 

1. 使用去焦注意网络学习1D因果视觉表示

 

• 摘要: 本文提出去焦注意网络，通过可学习的带通滤波器解决1D因果视觉模型的过度关注问题，提升模型优化效果。

 

1. RoboMamba:高效机器人多模态状态空间模型

 

• 摘要: RoboMamba结合视觉编码器与Mamba模型，具备出色推理与操作能力，实现高效微调与推理，在多项评估中表现优异。

 

1. 无训练生成连贯视觉指令框架

 

• 摘要: 本文提出了一个无需训练的框架，通过整合文本理解和图像生成，解决跨步骤一致性和状态平滑过渡的问题，实验验证了其有效性。

 

1. DeepStack: 简单有效的多模态模型架构

 

• 摘要: DeepStack通过将视觉令牌分组并逐层输入，显著提升多模态模型性能，且计算和内存成本低。

 

1. PaCE：大语言模型的简约概念工程

 

• 摘要: PaCE通过构建概念词典和稀疏编码技术，移除不良概念，提升大语言模型在对齐任务中的表现，保持语言能力。

 

1. ShareGPT4Video: 提升视频理解与生成的优化字幕

 

• 摘要: ShareGPT4Video系列通过密集精确的字幕提升大规模视频语言模型和文本生成视频模型的视频理解与生成能力。

 

1. 步态偏好优化：逐步提升去噪性能

 

• 摘要: 提出了一种新的后训练方法——步态偏好优化（SPO），在每个去噪步骤独立评估和调整性能，显著提升图像生成质量和训练效率。

 

1. 大语言模型中不确定性估计的语义多样生成方法

 

• 摘要: 本文提出语义多样生成方法（SDLG），通过生成多样化的文本来量化大语言模型的不确定性，有效检测潜在幻觉。

 

1. Quixer:量子变压器模型

 

• 摘要: Quixer是一种新型量子变压器模型，利用线性组合幺正算子和量子奇异值变换。其在语言建模任务中表现出色，并提供量子硬件资源估算和开源实现。

 

大模型开源项目

 

1. Stability-AI：条件音频生成模型

 

• 摘要: Stability-AI是一个用Python编写的项目，旨在生成条件音频。利用生成模型，提供高质量的音频生成解决方案。