私有化部署 · 数据不出内网

把 AI 助手
装进贵单位自己的机房

员工照常提问写文案,但合同、报价单、患者资料全程留在贵单位服务器上。
验收时现场拔网线,亲手验证数据不出内网。

1个工作日
现场实施上线
0字节
数据外发
90天
免费维护期
24/7
断网可用

为什么选择私有化部署

不是所有 AI 都需要把数据发到外面。当数据安全是底线时,私有化是唯一正解。

数据不出内网

模型推理全程在贵单位服务器本地完成,对话记录、账号信息、上传资料全部落盘在贵单位机房。不靠承诺——验收现场拔网线,亲手验证。

断网照样用

标准版及以上配置下,服务器断开外网后员工仍可正常提问。模型文件存放本地磁盘,推理在本地显卡完成,无需任何外部在线服务。

账号体系自主可控

管理员可自行创建、停用员工账号,对话记录按账号隔离。账号密码由贵单位自行设置,我方不掌握任何凭据。

内部知识库问答

将合同模板、制度文件、历史案例导入后,模型回答贵单位业务问题的准确度高于云端通用模型——因为云端模型没有见过这些资料。增强版支持按部门管资料权限。

OpenAI 兼容接口

推理层对外提供标准 OpenAI 兼容接口,贵单位现有业务系统、内部脚本、其他 AI 工具均可直接调用,不绑定任何办公软件。

国产系统适配

支持麒麟 Kylin V10、统信 UOS、openEuler、Anolis、OpenCloudOS 等国产操作系统。Docker 容器化部署,不改变现有网络结构。

为什么不能用公有云 AI?

公有云 AI 很强,但你的数据得发出去。当数据安全是底线时,私有化是唯一正解。

公有云 AI

员工输入提问
→ 公网传输 →
外部服务器运算
→ 数据留存外部 →
服务商控制留存
✕ 合同条款发到外部服务商
✕ 患者信息经公网传输
✕ 商业秘密失去控制权
✕ 数据留存时长由服务商决定
✕ 无法通过等保合规审查
VS

私有化部署

员工输入提问
→ 内网传输 →
本地服务器运算
→ 数据留存本地 →
贵单位完全控制
✓ 合同条款全程留在机房
✓ 患者信息不出内网
✓ 商业秘密自主可控
✓ 数据留存由贵单位决定
✓ 可通过等保合规审查

"数据不出内网"怎么验证?不靠承诺,靠现场拔网线

1
拔掉服务器网线
由贵单位人员操作
→
2
员工照常提问
内网地址正常访问
→
3
照样得到回答
模型正常运行
→
4
服务器上查到对话记录
数据落在贵单位机房

四步全部由贵单位人员操作,我只在一旁看着。这是"数据不出内网"最直接的证明方式。

合规说明 — 可直接写入内部汇报材料

部署位置
全部组件运行于贵单位自有服务器,位于贵单位机房
网络边界
模型推理输入输出全程在服务器本机完成,不经过公网
数据存放
对话记录、账号信息、上传资料存于服务器本地磁盘
外联情况
服务运行期间无需访问外部网络,断网功能不受影响
第三方接口
未接入任何外部模型服务接口
我方接触边界
不复制、不导出、不留存;排查日志时贵单位人员在场;临时文件当场删

四层架构 · 清晰可控

从硬件到应用,每一层职责明确,全程不经过公网。

04
应用层
对话界面 · 账号权限 · 对话记录 · 知识库管理
浏览器访问桌面客户端手机访问
03
推理层
推理引擎加载模型,执行运算,对外提供 OpenAI 兼容接口
7B — 72B 模型4 位量化并发控制
02
驱动层
显卡驱动 · nvidia-container-toolkit · 容器运行时
驱动 ≥ 550Docker + Compose无需 CUDA
01
硬件层
NVIDIA 显卡 · 内存 · 磁盘 — 提供算力与存储
8GB+ 显存16GB+ 内存50GB+ 磁盘
一个常被忽略的隐患:显卡驱动版本过低时,推理引擎会放弃使用显卡转而以 CPU 运算,且不会报错。服务表面正常运行,实际速度相差约十倍。本方案将驱动版本列入部署前必检项。

一个工作日完成交付

从免费预检到验收签字,全程透明,逐项验证。

1
约 20 分钟

环境预检 免费

只读检查服务器条件,不改任何配置。检查操作系统、CPU、内存、磁盘、显卡型号与驱动版本、容器环境等,给出明确结论:可部署 / 需补充条件 / 不建议本地部署。无论是否合作,报告都留给你。

2
约 2 — 4 小时

部署与配置

部署对话界面、推理引擎、账号体系。按服务器条件选型并调优模型参数。配置重启自愈、日志轮转。部署后自检全部通过。

3
约 1 小时

培训

管理员培训(账号管理、日常启停、状态查看、常见问题处理)。标准版及以上含一次员工使用培训,附一页操作说明可直接转发给员工。

4
当场完成

逐项验收签字

五项验收由贵单位人员现场操作验证:服务可访问 → 模型可回答 → 账号体系可用 → 记录留存本地 → 重启后自动恢复。形态 A 另行增加断网验证。

验收标准 — 五项逐项验证

1
服务可访问 — 浏览器打开内网地址,页面正常
2
模型可回答 — 提出业务相关问题,得到回答
3
账号体系可用 — 现场创建账号并登录提问
4
记录留存本地 — 服务器上可查到对话记录
5
重启后自动恢复 — 重启服务器,服务自启动 必验
形态 A 额外 断开外网连接后,重复第 1、2 项仍能通过 — "数据不出内网"最直接的证明方式。

三种形态 · 按需选择

根据服务器条件和数据安全要求,从三种部署形态中选择最适合的方案。

A

全本地

模型装自己服务器,断网能用
  • 推理位置:贵单位服务器显卡
  • 数据是否出内网:否,可断网使用
  • 适用条件:有独立显卡
  • 验收方式:现场拔网线验证
推荐
B

界面本地 + 推理走外部

界面、账号、记录留本地,推理走外部接口
  • 推理位置:外部大模型服务
  • 数据是否出内网:界面与记录在本地,提问内容会转发至外部
  • 适用条件:无显卡或先行试用
  • 注意:不应理解为"完全离线"
C

混合

日常问答本地,复杂任务走外部
  • 推理位置:本地 + 外部,按任务选择
  • 数据是否出内网:可按任务自行选择
  • 适用条件:有显卡且允许部分外发
  • 说明:实际使用中形成的折中方案

谁需要私有化部署

对以下几类单位,数据发到外面本身就是问题。

律师事务所

律师对客户信息负有保密义务。案件材料、合同条款、当事人信息一旦上传至外部服务,是否构成保密义务的违反,取决于该服务的数据留存条款——通常在服务商单方面控制之下。

医院及医疗机构

患者信息属于敏感个人信息,受《数据安全法》《个人信息保护法》约束。涉及等保合规的机构,需要能够说明数据的存储位置、流转路径与访问控制方式。

一般企业

合同文本、报价单、客户名单、技术方案属于商业秘密。这些内容一旦进入外部服务,企业即失去对留存位置与留存时长的控制。

内部资料问答

把合同模板、诊疗指南、制度文件、历史案例导入后,模型回答贵单位业务问题的准确度高于云端通用模型——因为云端模型没有见过这些资料。本地模型基于自有资料回答,还带出处。

私有化 vs 云端 — 客观对比(200 人 / 三年周期)

成本项云端方案(年)本地方案(年)
模型调用费5 — 15 万元0
硬件折旧(三年摊)010 — 20 万元
电力与机房01 — 3 万元
运维人力05 — 10 万元
首年总成本5 — 15 万元16 — 33 万元
三年总成本15 — 45 万元28 — 69 万元

如实说:私有化部署在前两年是更贵的。省下的是模型调用费,增加的是硬件采购与运维投入。只有当使用量足够大、调用费累积超过硬件与运维成本时,本地部署才在账面成本上占优。私有化部署的价值不在"省钱",而在数据不出内网这一件事本身。

三档报价 · 透明无隐藏

硬件不含在内,我帮选型比价。价格有效期 30 天,最终以预检为准。

基础版
¥4,800
适合无显卡服务器、先试用
  • 对话界面、账号、权限体系部署
  • 对话记录本地留存
  • 推理对接外部模型接口
  • 界面名称定制
  • 现场培训
  • 30 天免费维护
提问内容会发出去,不算完全离线
咨询基础版
增强版
¥28,000
有大量内部资料需要检索问答
  • 含标准版全部内容
  • 搭建内部资料知识库
  • 按部门分组设置资料可见范围
  • 资料整理建议
  • 管理员深度培训
  • 90 天免费维护
知识库 + 权限管理,适合大团队
咨询增强版

维护服务

免费维护期结束后按以下标准续签(年付推荐)

基础版300 元/月3,000 元/年
增强版800 元/月8,000 元/年
维护包含:服务运行状态巡检 · 日志清理 · 账号管理协助 · 磁盘空间巡检 · 经同意的版本升级 · 故障远程响应
不包含:硬件故障 · 自行修改配置引发的问题 · 新增功能开发

你想问的,都在这里

不靠我说,验收现场您自己验:

  1. 拔掉服务器网线
  2. 员工提问
  3. 照样回答
  4. 在服务器上找到这条对话记录

四步都是您的人操作,我只在一旁看着。

我的原则写在方案书里:

  • 不复制、不导出、不留存任何业务数据
  • 排查需要看日志时,你们的人在场
  • 做完之后,临时文件当场删,删的过程给您看
  • 账号密码是您自己设的,我这边不知道

如实说:通用问答确实比不过云端大厂,这是硬件规模决定的,方案书里也这么写。

但有一个场景本地反而更强:问你们公司自己的事。把你们的合同模板、制度文件、历史案例导进去,云端模型根本没见过这些,本地模型基于这些资料回答,准确度更高,还带出处。

完全可以,这东西开源的,懂行的一两天能装起来。

大部分客户找我是因为三件事:

  1. 驱动和显卡那几个坑太隐蔽(驱动低了会静默变慢十倍)
  2. 要一份能写进合规汇报的书面说明
  3. 出了问题有人兜底,按月维护

您 IT 部门如果有精力,也可以只做预检和培训,中间部署你们自己做,费用另算。

维护期内:工作时间 4 小时响应,远程为主,本地可上门。巡检定期做,磁盘满了、日志爆了这类问题提前处理掉。

丑话也说在前面:硬件坏了不归我管、你们自己改配置改出问题不归我管,这些边界都写在维护条款里,签约前讲清楚。

拆开讲:12,800 是一次性部署费,之后按 500/月维护,也可以年付 5,000。对比按人头的云服务,500 人规模一年就是 5—15 万,还年年交。而且这笔钱里含了 90 天免费维护和一次全公司培训。

真紧张的话,可以先上基础版 4,800,用得好了补差价升级。

免费 · 只读 · 不改任何配置

先做一次免费环境预检

只读检查服务器条件,20 分钟出报告。能跑什么模型、缺什么条件,都写清楚。
无论是否合作,报告都留给你。

报价有效期 30 天 | 最终配置与价格以环境预检结论为准 | 硬件由客户自购,提供选型建议