MLNLP社区是国内外知名的机器学习与自然语言处理社区,受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。社区的愿景是促进国内外自然语言处理,机器学习学术界、产业界和广大爱好者之间的交流和进步,特别是初学者同学们的进步。
来源 | Datawhale
DeepSeek-R1
DeepSeek 开源了完整的 deepseek-r1 671B 的权重,同时也开源了一些蒸馏出来的小的Disstill 小模型。从论文给出的评测表看,蒸馏出的 qwen-14b 模型的能力完全不输 OpenAI-o1-mini。
接下来,我们可以借助 LMStudio 本地部署 DeepSeek-R1-Disstill 系列模型,并部署 API 可以接入到 cursor 等 AI IDE 中。
LMStudio

LM Studio 是一款功能强大的本地部署大模型的工具。LMStudio 强调本地化操作,确保数据隐私和安全,特别适合处理敏感数据的场景。它支持跨平台使用,能够在 Windows、macOS 和 Linux 系统上运行,满足不同用户的需求。无论是初学者还是资深开发者,LM Studio 都能提供灵活的工具和便捷的操作体验,助力机器学习项目的快速推进。

Step 1:下载LMStudio

大家可以在LMStudio的官网下载对应的安装包,支持 Windows,Linux,MacOS。
📌Github Link: https://github.com/lmstudio-ai/lmstudio.js LMStudio 官网: https://lmstudio.ai/ 注:请下载0.3.9版本,本教程仅适用于该版本。

Step 2:更换模型下载源及模型下载路径

LMStudio 的默认模型下载地址为 Hugging Face 平台,但由于众所周知的原因,我们需要设置一下国内可访问的 HF 镜像源。一共需要修改两个文件。

Step 2.1 :修改模型下载源

    首先打开 LMStudio 的下载安装位置,如果你忘记刚刚下载到哪里了,可以右键点击桌面上的 LMStudio 的图标,点击属性。点击“打开文件所在位置”即可。
    一共需要修改两个文件,如下所示:
📌LMStudio文件位置\resources\app\.webpack\renderer\main_window.jsLMStudio文件位置\resources\app\.webpack\main\index.jsmain_window.js 文件有点大,使用 windows 自带的文本编辑器打开可能会有点慢,建议使用 vscode 打开,全部替换。
https://huggingface.co/

https://hf-mirror.com/
将https://huggingface.co/全部替换为https://hf-mirror.com/,然后重新打开LMStudio即可。

Step 2.2 :下载模型并进行对话

    修改完成之后重新打开 LMStudio,首先点击左侧的放大镜按钮,在搜索框搜索r1,然后点击下面的搜索结果,进行下载即可。
注:如果此处没有搜索结果的话,请返回上一步检查是否替换完全,或是检查电脑网络问题。
    然后就可以在 LMStudio 的主界面进行对话啦,这里我使用了 deepseek-r1-distill-qwen-7b 进行提问" Strawberries 有几个 r ?"经典问题哈,也是回答正确!
我的设备是笔记本的 3060,显存 6G。LMStudio 加载模型,当你的显存不够用时,会使用内存加载一部分参数,所以显存小也是可以本地部署一下的。

Step 2.3 :部署 r1 api

    点击 LMStudio 主界面的第二个按钮,可以进入开发者界面,打开此处的 api 部署服务,并在 Setting 中选择全部打开,这样就算 windows 部署 LMStudio 之后也可以在wsl 中访问到服务。
结语

希望这个教程可以帮到大家,在 DeepSeek 遭受 DDOS 攻击无法使用之时。

技术交流群邀请函
△长按添加小助手

扫描二维码添加小助手微信

请备注:姓名-学校/公司-研究方向(如:小张-哈工大-对话系统)即可申请加入自然语言处理/Pytorch等技术交流群
关于我们MLNLP 社区是由国内外机器学习与自然语言处理学者联合构建的民间学术社区,目前已经发展为国内外知名的机器学习与自然语言处理社区,旨在促进机器学习,自然语言处理学术界、产业界和广大爱好者之间的进步。社区可以为相关从业者的深造、就业及研究等方面提供开放交流平台。欢迎大家关注和加入我们。