当前位置： 首页 > article >正文

大模型推理：LM Studio在Mac上部署Deepseek-R1模型

article 2026/3/10 23:41:36

LM Studio

LM Studio是一款支持离线大模型部署的推理服务框架，提供了易用的大模型部署web框架，支持Linux、Mac、Windows等平台，并提供了OpenAI兼容的SDK接口，主要使用LLama.cpp和MLX推理后端，在Mac上部署时选择MLX推理后端会显著提升大模型的生成速度。

环境信息

  • 机器信息：Mac studio M2 192G， MacOS
  • 部署模型：部署DeepSeek-R1-Distill-LLama-70B 8bit / DeepSeek-R1-Distill-Qwen-32B 8bit 模型
  • 部署框架：LM Studio 0.3.13

安装

  • LM Studio官网下载安装文件，正常安装即可。
    在这里插入图片描述

模型下载

通过命令行或者web界面进行大模型下载时，默认走huggingface.co，国内需要特殊设置才能访问，因此推荐换掉该源使用modelscope或者hf-mirror进行下载。

  • 下载源更换：
    • 命令行进入目录：/Applications/LM Studio.app/Contents/Resources/app/.webpack，执行open . ，会以文件形式弹出该目录
    • 文本编辑器分别打开文件：main/index.js和rederer/main_window.js，选择用 modelscope.cn 或者 hf-mirror.com 替换掉 huggingface.co，全部替换，保存关闭
    • 重启LM Studio即可。
  • 大模型下载：
    • 方式一：web页面下载
      在web页面选择需要下载的大模型，等待完成即可，完成后在web界面l或者命令行load（lms load [模型名称]）。
    • 方式二：命令行形式下载
      在命令窗口使用命令 lms get [model name], 模型名称需要上述下载源里面存在，完成后在web界面l或者命令行load（lms load [模型名称]）。
    • 方式三：Git lfs 下载
      上述两种方式，我这儿下载时经常遇到下载暂停的形象，为解决这个问题，推荐 Git 大文件下载方式（推荐Modelscope）。
      • 安装Git lfs、初始化git lfs，可自行deepseek问下。
      • 模型下载后（Mac上通常选择mlx-community仓库中的mlx模型）将其放入目录：~/.lmstudio/models，结构是：仓库名称(可自定义)->包含文件权重的文件夹（文件夹名称可自定义）
      • 最后在web界面l或者命令行load（lms load [模型名称]）。
      • 注意：也可通过lms imort命令去导入，但是文件夹下只能含有一个文件，而safetensors文件基本是多个，所以不是很推荐

模型服务

  • 模型load完成后，可在web页面聊天，lm studio自带web聊天界面
  • 模型load完成后，可使用OpenAI SDK接口调用，若提供给局域网其他使用，需开启local server模型并开启局域网访问，可在web界面操作

参考文献

  • LM Studio Docs
  • 在 MacOS 上为 LM Studio 更换镜像源

相关文章：

大模型推理：LM Studio在Mac上部署Deepseek-R1模型

LM Studio LM Studio是一款支持离线大模型部署的推理服务框架，提供了易用的大模型部署web框架，支持Linux、Mac、Windows等平台，并提供了OpenAI兼容的SDK接口，主要使用LLama.cpp和MLX推理后端，在Mac上部署时选择MLX推理…...

编程日记 2026/3/6 13:48:58

扩散模型：AIGC领域的核心引擎，解锁图像生成新维度

一、扩散模型技术原理 扩散模型是一类生成模型，它运用了物理热力学中的扩散思想， 主要包括前向扩散和反向扩散两个过程。 1.1、生成模型 在深度学习中，生成模型的目标是根据给定的样本（训练数据） 生成新样本。首先给…...

编程日记 2026/3/7 7:33:42

Java多线程与高并发专题——原子类和 volatile、synchronized 有什么异同？

原子类和 volatile异同 首先，通过我们对原子类和的了解，原子类和volatile 都能保证多线程环境下的数据可见性。在多线程程序中，每个线程都有自己的工作内存，当多个线程访问共享变量时，可能会出现一个线程修改了共享变…...

编程日记 2026/3/7 7:07:13

//要求：将输入的字符串中的数字转换为罗马数字,长度小于9（运用方法：Switch方法）

import java.util.Scanner;public class Num2 {public static void main(String[] args){ // I II III IV V VI VII VIII IX//要求：将输入的字符串中的数字转换为罗马数字,长度小于9（运用方法：查表法）//1输入数字//2有效字符判断/…...

编程日记 2026/2/21 8:55:51

【数据结构】数据结构，算法 概念

0.本篇问题： 数据、数据元素、数据对象、数据项之间的基本关系？ADT是什么？数据结构的三要素？数据的逻辑结构有哪些？数据的存储结构有哪些？算法的五个特征？O(1) O(logn) O(n^n) O(n) O(n^2…...

编程日记 2026/2/26 2:56:42

pytest 框架学习总结

视频：pytest01-快速上手_哔哩哔哩_bilibili 资料：pytest 框架 - 白月黑羽 基于 Python 语言的自动化测试框架 最知名的 有如下 3 款unittest、pytest、robotframework 前两款框架主要（或者说很大程度上）是 聚焦 在 白盒单元测试…...

编程日记 2026/3/10 1:43:19

总结 HTTP 协议的基本格式, 相关知识以及抓包工具fiddler的使用

目录 1 HTTP是什么 2 HTTP协议格式 3 HTTP请求(Request) 3.1 认识URL 3.2 方法 3.3 认识请求"报头"(header) 4 HTTP响应详解 4.1 认识"状态码"(statuscode) 4.2 认识响应"报头"(header) 4.3 认识响应"正⽂"(body) 5 通过f…...

编程日记 2026/3/4 0:42:24

python中的max(),需要注意的点

words ["apple", "banana", "grape", "cherry"] 对每个单词，keylambda x: len(x) 会计算它的长度： "apple" 长度是 5"banana" 长度是 6"grape" 长度是 5"cherry" 长度…...

编程日记 2026/2/21 9:19:04

DeepSeek-R1大模型微调技术深度解析：架构、方法与应用全解析

1. DeepSeek-R1大模型架构设计与技术特性 1.1 架构设计 DeepSeek-R1作为超大规模语言模型，其核心架构设计包含以下创新： 专家混合架构（MoE） 采用6710亿参数的混合专家架构（MoE），每个推理过程仅激活370亿参数，实现计算效率与资源利用率的突破性提升。 Transformer框架…...

编程日记 2026/2/15 4:10:28

探索Maas平台与阿里 QWQ 技术：AI调参的魔法世界

摘要：本文介绍了蓝耘 Maas 平台在人工智能领域的表现及其核心优势，包括强大的模型支持、高效的资源调度和友好的操作界面。文章还探讨了蓝耘 Maas 平台与阿里 QWQ 技术的融合亮点及应用拓展实例，并提供了调参实战指南，最后对蓝耘 …...

编程日记 2026/3/10 0:58:03

Linux第三次练习

1、创建根目录结构中的所有的普通文件 首先在根目录下面新创建一个test目录，然后将查找到的普通文件新建到test目录下 2、列出所有账号的账号名 3、将/etc/passwd中内容按照冒号隔开的第三个字符从大到小排序后输出所有内容 4、列出/etc/passwd中的第20行-25行内容…...

编程日记 2026/3/10 17:55:36

软件测试知识总结

1、黑盒测试、白盒测试、灰盒测试 1.1 黑盒测试 黑盒测试又叫功能测试、数据驱动测试 或 基于需求规格说明书的功能测试。该类测试注重于测试软件的功能性需求。 采用这种测试方法，测试工程师把测试对象看作一个黑盒子，完全不考虑程序内部的逻辑结构和…...

编程日记 2026/3/3 0:51:58

JConsole 监控线程池状态

JConsole 可以用来监控 Java 线程池（ThreadPoolExecutor）的状态，包括线程数量、任务执行情况、CPU 及内存使用情况等。下面是具体的操作步骤： 一、启动 JConsole 1. 启动 JConsole Windows：在 JDK bin 目录下找到 j…...

编程日记 2026/1/25 16:31:28

【HTML】三、表单与布局标签

文章目录 1、input1.1 input的占位文案1.2 单选框1.3 上传文件1.4 多选框 2、 下拉菜单3、文本域：多行输入4、label标签：说明与增大点击范围5、按钮与form表单6、无语义布局标签7、有语义的布局标签8、字符实体9、练习：注册页面 1、input in…...

编程日记 2026/2/26 19:18:18

OpenBMC：BmcWeb添加路由1 getParameterTag

BmcWeb对于路由的设计其实是参考了Crow BMCWEB_ROUTE(app, "/upload/image/<str>").privileges({{"ConfigureComponents", "ConfigureManager"}}).methods(boost::beast::http::verb::post, boost::beast::http::verb::put)([](const cro…...

编程日记 2025/12/7 15:59:13

【结构设计】3D打印创想三维Ender 3 v2

【结构设计】3D打印创想三维Ender 3 v2 文章目录 前言一、Creality Slicer1.2.3打印参数设置二、配件更换1.捆扎绑扎线2.气动接头3D打印机配件插头3.3D打印机配件Ender3pro/V2喷头套件4.读卡器 TF卡5.micro sd卡 三、调平四、参考文章总结 前言 使用工具&#xff1a; 1.创想三…...

编程日记 2026/2/25 17:07:02

嵌入式web服务器实现上传下载储存研究

标题:嵌入式web服务器实现上传下载储存研究 内容:1.摘要 随着互联网与嵌入式系统的不断融合&#xff0c;嵌入式设备对数据上传、下载及储存功能的需求日益增长。本文旨在研究嵌入式web服务器实现上传、下载和储存功能的有效方法。通过分析常见的嵌入式web服务器架构&#xff0…...

编程日记 2026/1/21 18:45:28

UE小：UE5.5 PixelStreamingInfrastructure 使用时注意事项

1、鼠标默认显示 player.ts中的Config中添加HoveringMouse:true 然后运行typescript\package.json中的"build":npx webpack --config webpack.prod.js...

编程日记 2026/3/5 10:56:37

Anaconda 入门指南

Anaconda 入门指南 一、下载安装 Anaconda 1、下载地址&#xff1a;Anaconda 推荐下载 python3 版本, 毕竟未来 python2 是要停止维护的。 2、安装 Anaconda 按照安装程序提示一步步安装就好了, 安装完成之后会多几个应用&#xff1a; Anaconda Navigtor &#xff1a;用于管…...

编程日记 2026/3/4 2:30:47

web组态可视化编辑器

Web组态可视化编辑器是一种用于创建和配置工业自动化、物联网&#xff08;IoT&#xff09;和智能建筑等领域的图形化用户界面&#xff08;GUI&#xff09;的工具。它允许用户通过拖放组件、配置参数和连接数据源来设计和部署实时监控和控制界面。以下是一些常见的Web组态可视化…...

编程日记 2026/2/19 16:10:51

CTA重建：脑血管重建，CT三维重建，三维建模 技术，实现

CTA&#xff08;CT血管造影&#xff09;是一种基于CT扫描的医学成像技术&#xff0c;主要用于血管系统的三维重建和可视化。脑血管重建是CTA的重要应用之一&#xff0c;能够帮助医生诊断脑血管疾病&#xff08;如动脉瘤、狭窄、畸形等&#xff09;。以下是实现CTA脑血管重建、C…...

编程日记 2026/3/6 2:50:29

Ollama+OpenWebUI本地部署大模型

OllamaOpenWebUI本地部署大模型 前言Ollama使用Ollama安装Ollama修改配置Ollama 拉取远程大模型Ollama 构建本地大模型Ollama 运行本地模型&#xff1a;命令行交互Api调用Web 端调用 总结 前言 Ollama是一个开源项目&#xff0c;用于在本地计算机上运行大型语言模型&#xff0…...

编程日记 2026/3/7 22:24:52

如何打包数据库mysql数据，并上传到虚拟机上进行部署？

1.连接数据库&#xff0c;使得我们能看到数据库信息&#xff0c;才能进行打包上传 2. 3. 导出结果如下&#xff0c;是xml文件 4.可以查询每个xml文件的属性&#xff0c;确保有大小&#xff0c;这样才是真实导出 5跟着黑马&#xff0c;新建文件夹&#xff0c;并且把对应的东西放…...

编程日记 2026/2/26 23:49:41

Vue 自定义指令深度解析与应用实践

文章目录 1. 自定义指令概述1.1 核心概念1.2 指令生命周期 2. 自定义指令基础2.1 指令注册2.2 指令使用 3. 指令钩子函数详解3.1 钩子函数参数3.2 钩子函数示例 4. 自定义指令应用场景4.1 表单自动聚焦4.2 权限控制4.3 图片懒加载 5. 高级应用技巧5.1 动态指令参数5.2 指令修饰…...

编程日记 2026/3/8 23:54:26

Vue中有什么组件可以实现轮播效果，每次出现四个元素？

在 Vue 中实现「每次显示四个元素」的轮播效果&#xff0c;可以通过以下组件实现&#xff08;推荐按优先级排序&#xff09;&#xff1a; 1. Swiper Vue-Awesome-Swiper&#xff08;推荐&#xff09; 特点&#xff1a; 最成熟的轮播库&#xff0c;支持复杂交互&#xff08;触…...

编程日记 2026/3/4 8:32:01

Doris表的分区数量保持在多少范围内性能是最好的

在 Apache Doris 中&#xff0c;分区数量的最佳范围需结合数据规模、查询模式及集群资源动态调整&#xff0c;以下是根据最新版本&#xff08;2025年&#xff09;的实践总结和官方建议&#xff1a; 1. 分区数量与数据量的平衡原则 • 单分区数据量建议&#xff1a;每个分区的数…...

编程日记 2026/2/22 4:37:01

Android 手机启动过程

梳理 为了梳理思路&#xff0c;笔者画了一幅关于 Android 手机启动的过程图片内容纯属个人见解&#xff0c;如有错误&#xff0c;欢迎各位指正...

编程日记 2026/3/5 0:19:41

Unity 开发资源汇总 | 插件 | 模型 | 源码（不断更新中，建议收藏）

&#x1f493; 欢迎访问 Unity 打怪升级大本营 Unity是一个强大的游戏开发平台&#xff0c;它提供了丰富的工具和资源&#xff0c;让开发者能够创造出令人惊叹的游戏和交互式体验。无论你是初学者还是经验丰富的开发者&#xff0c;Unity的生态系统中总有一些资源可以帮助你提升…...

编程日记 2026/3/8 14:55:00

JVM崩溃时产生的文件 hs_err.pid.log

hs_err.pid.log hs_err.pid.log&#xff1a;当jvm崩溃时&#xff0c;会生成一个hs_err_pid.log文件&#xff0c;并且把它存放到程序目录下&#xff0c;可以通过该文件来定位导致jvm崩溃的原因。 jvm崩溃&#xff0c;是由jvm自身的bug或者本地方法执行错误引起的&#xff0c;本…...

编程日记 2026/3/7 11:55:31

聊聊 Redis 的一些有趣的特性（上）

聊聊 Redis 的一些有趣的特性&#xff08;上&#xff09; 一、持久化 Redis 是内存数据库&#xff0c;数据全部保存在内存中。如果服务器发生宕机&#xff0c;内存中的数据将会全部丢失。为防止系统崩溃后数据丢失&#xff0c;Redis 提供了持久化功能&#xff0c;可将内存中的…...

编程日记 2026/3/7 17:56:06