如何在你的电脑上本地运行 ChatGPT 风格的 AI
你可以用可下载的模型,在自己的电脑上运行对话式 AI。这与下载 ChatGPT 这项服务是两回事。先从你的任务和可用的硬件出发,选择兼容的运行环境,并在搭建更大的配置之前,先测试一个小模型。
1. 先明确任务,再选模型
先决定你需要的是对话、代码辅助、文档问答、图像理解、转写,还是别的任务。纯文本模型不会自动理解图像,也不会生成语音。要明确你需要的输入格式、语言和输出质量。
准备一小组有代表性的提示词和文件。其中要有一个答案已知的任务,也要有一个助手应当承认信息缺失的任务。这样你得到的是对候选模型有用的比较,而不是被一个惊艳的演示牵着走。
| 路线 | 适用情形 | 你还需要 |
|---|---|---|
| LM Studio | 你想要一个桌面界面来试用兼容的模型 | 下载模型、足够的内存,并检查所有在线功能 |
| Ollama | 你想要本地模型命令,或给应用用的 API | 一个兼容的模型,以及另外的界面或应用集成(如有需要) |
| Pineido Studio | 你想要 Pineido 的工作区,用于聊天、代码和文档 | 一个实体 U 盘、你自己的电脑,以及首次下载模型 |
| 定制私有部署 | 团队或专门的工作流程需要共用或量身定制的配置 | 硬件规划、经过测试的模型与运行环境组合,以及约定好的服务范围 |
2. 检查内存、存储和运行环境的兼容性
检查你的操作系统、可用内存、GPU 和显存。模型的下载大小并不是运行时的全部需求:上下文、中间数据、其他应用程序和运行环境本身也会占用内存。量化可以减小模型权重的体积,但有取舍,需要在你的任务上测试。
先从适合你的运行环境和机器、推荐的小型模型开始。阅读模型卡和许可证,并留出内存余量。如果生成太慢,或系统大量使用交换空间,先试试更小的兼容模型或更短的上下文,再考虑买硬件。下面链接的硬件指南说明了该测量什么。
3. 安装运行环境并下载模型
如果想用桌面界面,请按照 LM Studio 的安装步骤,选择一个兼容的模型,并把它加载到聊天界面。如果想用命令行或 API,请按照 Ollama 的快速入门,运行你的安装所支持的模型。请从运行环境和模型的官方来源下载。
使用 Pineido Studio 时,先确认适合你电脑的安装包,从实体 U 盘打开应用,再下载你想用的模型和组件。除非你选择了设备,模型默认保存在电脑上。U 盘承载应用,模型由你的电脑来运行。
4. 验证真正的离线工作流程
下载完成后,关闭可选的网页或云端功能,并断开网络。重启应用,重新运行一个已知的提示词。如果你需要文档搜索、语音或其他工具,也要在离线状态下测试那个具体的工作流程:本地聊天模型能用,并不能证明每个相连的工具在没有网络时都能工作。
检查聊天记录、模型、索引和诊断日志保存在哪里。本地运行不等于没有数据写入磁盘。对于 Pineido Studio,产品隐私政策说明了诊断摘录、主机上的文件、可选的驱动器锁定以及在线更新的行为。
5. 用你的工作比较质量和速度
记录模型名称、版本、量化方式、运行环境、硬件和设置。比较回答是否正确、来源是否有用、响应时间和内存占用。运行生成的代码之前先审查,重要的文档类回答要对照原文核实。
如果是多人共用的部署,还要加上并发用户、访问控制、备份和更新测试。如果某项任务需要托管模型,请明确说明这条数据流向,而不要把整个工作流程都描述成离线。
6. 在个人助手和定制部署之间做选择
Pineido Studio 是一个实体 U 盘,用于在你的电脑上运行本地 AI 工作区,可在 pineido.com 的产品页面订购。请通过它的产品页面确认兼容性、下单和配送。
Pineido 还单独提供涵盖语言、代码、视觉、图像、语音、音频、视频和嵌入的模型选型与部署服务。如果你需要团队服务器、文档搜索系统或专门的媒体处理流水线,请从本地 AI 服务页面开始,并描述你的任务和硬件。
每周获取运营洞见
加入服务型企业的运营者,每周收到一条关于运营、自动化和增长的可执行洞见。
常见问题
我能下载 ChatGPT 并离线使用吗?
本指南讲的是用本地模型运行 ChatGPT 风格的助手,而不是下载 ChatGPT 这项服务。你选择的应用和模型决定了功能和输出质量。
应该先用 LM Studio 还是 Ollama?
LM Studio 提供桌面界面,可用来试用兼容的模型。Ollama 适合用模型命令和 API 集成。请选择与你打算如何使用模型相匹配的路线。
我需要多少内存?
这取决于模型、量化方式、上下文长度、运行环境和其他应用程序。请查看所选模型的要求并留出余量;只看文件大小不是可靠的内存预算。从小处开始,并实际测量。
本地 AI 总是私密的吗?
本地推理会让这部分计算留在你的机器上。在线工具和外部 API 仍可能把数据发送出去,本地的历史记录和日志也可能保留信息。请核实完整的工作流程及其存储设置。
我能在本地运行图像、语音或视频模型吗?
可以,只要所选模型和运行环境支持本地运行,并且你的硬件足够。这些任务需要各自的组件和测试;装了聊天模型,并不意味着具备所有模态。
Pineido Studio 是什么?
Pineido Studio 原名 Pocket AI,是 Pineido 的本地 AI 工作室,装在实体 U 盘上出售。模型由你的电脑来运行。首次下载模型需要联网;已安装的本地模型之后可以离线运行。定制部署服务另行提供。