大模型日报2024-06-05

大模型日报

 

2024-06-05

 

大模型资讯

 

1. AI气象预测取得重大进展：单台桌面电脑即可运行全球天气模型

 

• 摘要: 一项新的人工智能天气预测模型已经取得重大进展，该模型能够在一台普通的桌面电脑上运行，预测全球天气。这意味着即使没有复杂的物理计算，AI也能有效进行天气预报。

 

1. SimPO：提升大语言模型RLHF效率与可扩展性的新方法

 

• 摘要: SimPO突破参考模型限制，解锁大语言模型强化学习人类反馈（RLHF）的高效与可扩展性。人工智能不断进化，重点在于优化算法以提升大模型的性能和效率。

 

1. HuggingFace发布FineWeb：用于LLM预训练的大规模数据集

 

• 摘要: HuggingFace推出FineWeb数据集，包含15万亿个标记和44TB磁盘空间，旨在提升大语言模型（LLM）的训练效果。

 

1. 微软推出大语言模型在线对齐的主动偏好引导方法

 

• 摘要: 微软的机器学习研究引入了一种主动偏好引导方法，用于大语言模型（LLMs）的在线对齐。这些模型因其增强的跟随人类指令能力，在近期取得了显著进展。

 

1. 多标记预测：大语言模型性能与效率的飞跃

 

• 摘要: 研究人员探索了多标记预测技术在大语言模型中的应用，显著提升了模型的性能和效率。这一突破性的研究为大语言模型的发展带来了新的可能性。

 

1. ChatMOF：预测和生成金属有机框架的人工智能系统

 

• 摘要: ChatMOF是一种人工智能系统，专为预测和生成金属有机框架（MOFs）而设计。该系统利用大型数据集和先进的AI技术，能够高效地生成和评估MOFs，为材料科学和化学研究提供重要支持。

 

1. IPA子公司BioStrand推出用于电子健康记录的先进大语言模型

 

• 摘要: IPA（IMMUNOPRECISE ANTIBODIES LTD.）的子公司BioStrand宣布推出一款用于电子健康记录（EHR）的先进大语言模型。此次发布旨在提升EHR的处理和分析能力，为医疗行业带来新的创新和效率。

 

1. 亚马逊在秋季发布会上为Alexa引入生成式AI

 

• 摘要: 亚马逊在秋季发布会上宣布为Alexa引入生成式AI，并推出多款新设备，包括第三代Echo Show 8、Echo Hub等。

 

1. SAP与Mistral AI合作：AI技术与专业知识的结合

 

• 摘要: SAP与领先的大型语言模型制造商Mistral AI达成合作。这次合作是AI专业知识与技术的共生结合，旨在推动双方在AI领域的发展与创新。

 

1. AI在国际象棋中的表现：部分出色，部分令人失望

 

• 摘要: 新的基准测试显示，即使是最新的大型语言模型（LLMs）在国际象棋方面也不是最强的选手。AI在推动棋子的能力上表现出部分出色和部分令人失望的结果。

 

大模型产品

 

大模型论文

 

1. PlanAgent:基于多模态大语言模型的车辆运动规划

 

• 摘要: PlanAgent利用多模态大语言模型，通过环境转换、推理引擎和反思模块，实现车辆运动规划的常识推理和广泛适应性，优于现有方法。

 

1. MMLU-Pro: 更具挑战性的多任务语言理解基准

 

• 摘要: MMLU-Pro通过增加推理题和扩展选项，提高挑战性和稳定性，显著降低模型准确率，更好评估AI进展。

 

1. Helix: 异构GPU集群上的LLM高效分布式服务

 

• 摘要: Helix通过最大流模型优化LLM推理，使用MILP算法提高异构GPU集群的吞吐量和降低延迟，性能显著提升。

 

1. LoFiT: 局部微调LLM表示

 

• 摘要: 本文提出LoFiT框架，通过选择特定注意力头进行局部微调，提高LLM在真确性和推理任务中的表现，且参数修改量显著减少。

 

1. 信息瓶颈视角的检索增强生成噪声过滤

 

• 摘要: 提出信息瓶颈理论用于检索增强生成，过滤噪声，提升问答数据集生成答案的正确性和简洁性。

 

1. 大语言模型与大脑映射的质疑

 

• 摘要: 研究质疑大语言模型与人脑语言处理的相似性，发现高脑分数主要由句子长度和位置等简单特征解释。

 

1. 大语言模型的低资源安全增强方法

 

• 摘要: 提出一种无需监督微调或人类反馈强化学习的低资源安全增强方法，通过知识蒸馏提升未对齐模型的防御能力。

 

1. 大语言模型中概念几何结构的研究

 

• 摘要: 本文研究了大语言模型中语义编码的两个基础问题：分类概念的表示和概念间的层次关系。

 

1. 输出嵌入中的令牌概率编码研究

 

• 摘要: 本文研究了语言模型输出嵌入中的令牌概率信息，发现编码稀疏性，并通过删除无关维度优化输出分布。

 

1. 通过覆盖性理解偏好微调

 

• 摘要: 本文分析了在线RL和离线对比方法在偏好微调中的异同，提出了结合两者优势的HyPO算法，提高了性能和效率。

 

大模型开源项目

 

1. 跨平台GPT-4o实现

 

• 摘要: gpt-4o项目支持在Windows、macOS和Ubuntu上运行，使用Python语言编写，提供跨平台AI解决方案。

 

1. VinciGit00: AI Python爬虫

 

• 摘要: VinciGit00是一个基于AI的Python爬虫项目，用于自动化数据抓取，提升效率和准确性。

 

1. ToonCrafter:生成卡通插值研究

 

• 摘要: ToonCrafter是一个用Python编写的AI项目，旨在研究生成卡通插值技术，助力动画制作与创意设计。

 

1. 基于NVIDIA Isaac Sim的机器人学习框架

 

• 摘要: isaac-sim是一个统一的机器人学习框架，基于NVIDIA Isaac Sim构建，使用Python语言编写。

 

1. 微软生成式AI入门教程

 

• 摘要: 微软发布18课生成式AI入门教程，帮助初学者使用Jupyter Notebook语言构建生成式AI应用。

 

1. 从零开始用PyTorch实现ChatGPT

 

• 摘要: 本项目在Jupyter Notebook中，逐步实现了一个类似ChatGPT的大语言模型，使用PyTorch框架进行构建。

 

1. MiniCPM-Llama3-V 2.5手机端多模态LLM

 

• 摘要: MiniCPM-Llama3-V 2.5是一款在手机上运行的GPT-4V级别多模态大语言模型，使用Python编写。