金融行业做大模型，第一步不是选模型，是先认怂——把那几条硬约束摆上桌。客户数据、交易数据不能出域；系统要过等保、要能审计留痕；风控场景对延迟极敏感，慢两秒可能就是一笔坏账；再到信创国产化的要求越来越具体。这几条凑在一起，注定金融和互联网是两条路：互联网喜欢租公有云、弹性扩容、偶尔慢个几秒也没事；金融往往得把模型、数据、算力都锁在本地，甚至直接放进信创环境。

于是就冒出个很实际的问题：到底要配多少算力？ 这个问题没有标准答案，因为"金融大模型"根本不是一个负载，而是至少四类负载，它们的算力画像差得离谱。

一、先分清：金融的四类负载，算力画像完全不同

1. 智能文档与财报抽取（批处理型）

合同、财报、招股书、监管公告，这类是"长文档 + 批量 + 可延时"。特征是长上下文、高吞吐、显存吃紧。

长文档最麻烦的是 KV cache——你喂进模型的一段几千 token 上下文，推理时每个 token 都要留一份 KV 缓存，它随长度线性增长。所以文档类负载，显存往往比"模型本身多大"更吃资源。

大小模型怎么选：一般用 7B-32B 的蒸馏版本就够了，配合 4bit 量化省显存。32B 4bit 权重约 16GB，再叠加长文档的 KV cache，单张 48G 的 L20 更稳；批量大就上两张。

2. 实时风控与反欺诈（低延迟型）

"这笔交易拦不拦""这个账户是不是异动"，模型要在毫秒级给判断。特征是短文本、极低延迟、高吞吐，不看上下文，只看 p95 延迟。

这种最适合小模型 + 量化：7B 以下、4bit，单张 24G（如 RTX 4090）就能跑，甚至 1-3B 的小模型配足并发也够。真正的瓶颈不是显存，是并发与延迟，得靠连续批处理（continuous batching）、投机解码（speculative decoding）把 p95 压下来。用 vLLM 跑个量化小模型，起步可以这样：

# vLLM 跑 14B 蒸馏模型做风控/客服推理（示例）
# 需要 NVIDIA GPU，参数按你环境调整
vllm serve deepseek-r1-distill-14b \
  --quantization awq \
  --gpu-memory-utilization 0.85 \
  --max-model-len 8192 \
  --tensor-parallel-size 1

# 看显卡占用
nvidia-smi

3. 智能客服与问答（高并发型）

坐席辅助、在线客服、知识库问答。特征是交互式、高并发、连接数多、配 RAG——先检索本地知识库，把相关片段拼进 prompt，再让模型回答。

诉求是"很多人同时问、还都要快"，所以它重并发吞吐，模型规模中等（7B-14B 4bit）。用 vLLM 这类能做连续批处理的推理服务，才能把一张卡真正吃满；QPS 上不去，就往前加卡或加实例。

4. 合规审查与审计报告（长文 + 重质量型）

内控检查、法规对齐、审计报告草拟。特征是长文分析、重推理质量、可审计。它要读很长的材料，还要能说清楚"为什么给这个结论"。

所以它要么上更大的模型（32B-70B 蒸馏版），要么接受更长的上下文和更强的推理。70B 4bit 权重约 35GB，再加长上下文，得 tensor parallel 到 2×48G 或 4×24G 才稳。这一档也是四类里最烧钱的。

二、算力分层口径：先套负载，再算显存

显存怎么粗算，给你个能自套的口径：FP16 权重约等于参数量 × 2 字节，4bit 量化约等于参数量 × 0.5 字节；推理还要另加 KV cache 和激活值；训练另算梯度/优化器状态（Adam 状态约等于参数量 × 12 字节，LoRA 能大幅减少可训练参数量）。

拿 8B 举例：FP16 权重≈16GB，4bit≈4GB，再叠上下文的 KV cache，单卡 24G 中短上下文刚好够，长上下文就得 48G 或更多。这只是起点口径，不同量化位宽、上下文长度、批大小都会变，最终以项目实测为准。

三、选型：信创合规下，海光/昇腾怎么落

金融环境往往带信创/国产化要求，所以选型不能只看"哪个卡快"，更得看能不能进信创环境、能不能上整机、有没有维保。几个方向（以厂商公开规格为准）：

• 昇腾：推理卡 Atlas 300I Duo 96G；软件栈走 CANN + MindIE 或 vLLM-Ascend；也有一体机形态，比如昇腾 920S 液冷一体机（32 核 + Atlas 300I Duo ×2），适合做 DeepSeek 这类部署。
• 海光：海光 DCU 算力；海光 CPU 服务器（如 CS5280H2/F3）；AI 训练类有 HG8380G 等 8 卡机型。
• 浪潮（Inspur）：NF5280M6/M5 通用 2U，可配 4090/5090/L20；NF5468M6/M7 适合 4 卡/多卡的 AI 训练推理。
• 联想（Lenovo）：ThinkStation PX/P4/P7 本地跑推理/微调；ThinkServer 系列；WA5480 G3 这类 AI 服务器可配 6×L20。

不要把选型做成"比一张卡"。金融客户要的往往是一整套能实际跑起来的环境，所以要把整机、信创兼容、交付、维保放在一起看，因为要长期稳定跑，而不是买颗卡回来自己折腾。如果你正按上面这个口径选整机/本地化方案，这样懂金融私有化、能做服务器+工作站+昇腾/浪潮/联想整机的本地集成商的商红科技。

这里得给你提个醒：昇腾、海光的性能和 NVIDIA 并不完全可比，比如特定模型在特定量化位宽下的吞吐、精度差异，目前没有公开的横向权威数据，都要以项目实测为准，别只看参数表。

四、落地前先过一遍这个清单

1. 先定负载：文档批处理、实时风控、客服问答、合规审查，四类口径完全不同。
2. 再定模型规模：能用 7B-14B 就别硬上 70B，先满足质量下限。
3. 量化 + 上下文：4bit 省显存但要看精度；长上下文一定记得把 KV cache 算进显存。
4. 按指标选卡：重吞吐看显存和带宽，重延迟看 p95，重并发看连续批处理。
5. 信创兼容：确认整机、软件栈能不能进信创环境，别只盯着单卡性能。
6. 留维保：金融要的是能长期跑的本地环境，交付和维保跟算力一样重要。
7. 以项目实测为准：任何显存/吞吐/延迟数字，最终以你自己环境跑出来的为准。

开放式问题：你这边金融大模型是哪种负载居多？是"文档批处理更急"，还是"实时风控的延迟更疼"？评论区聊聊你的口径，也许能帮到同样在踩坑的人。

想进一步看这些机型的详细产品说明，可以回官网 产品中心_浪潮服务器_联想工作站_数聚红芯_IT硬件选型大全-商红科技 看一眼。