在智驾场景，鲲鹏大数据结合 Lance，通过对 Blob descriptor 做结构化扩展、让视频以原始格式按 GOP 组织存储并按需抽帧，配合 ARM 向量化指令优化读写热点，实现一次 I/O 随机取帧——在鲲鹏服务器上即可降低 CPU 消耗、提升随机取帧效率，加速数据闭环、降低存储与运维成本，让训练数据从“提前备好的图片”演进为“按需取用的视频”。

一、背景介绍

1.1 智驾场景面临数据规模扩张的挑战

随着智驾场景的深入，视频数据和算力规模持续扩张，以华为智驾为例，ADS 5 依托 60 EFLOPS 云端训练算力（较 2023 年的 2.8 EFLOPS 增长超 21 倍）与累计 128 亿公里真实辅助驾驶里程。要把如此规模的数据持续、高效地供给模型训练，底层数据的组织形式与访问效率就成了关键——训练数据以什么形式存储、能否按需快速取用，直接影响闭环的迭代速度与算力利用率。

1.2 当前数据方案与局限

车端采集回传的原始数据是视频，而当前链路在离线生产阶段会把视频全量解码成图片落盘保存，下游训练直接消费这些预先生成好的图片。也就是说，训练数据实际是以图片形式组织和使用的。

这一方式在业务规模扩大后逐渐显现出三类局限：

● 数据一致性难保证：图片集、索引文件、片段元数据分散在多套存储与格式中，帧号、时间戳的跨文件一致性依赖上层自行保证；

● 额外 I/O 开销大：海量图片带来存储膨胀与写 I/O 放大；训练随机采样时需先查元数据库再打开大量图片文件，读 I/O 放大、跨存储往返延迟大；采样频率一旦变化，已有图片无法复用，需要重新处理；

● 维护与成本高：需同时维护对象存储（图片集 + 索引 + 元数据）与元数据库两套存储、多种格式，组件多、链路长、运维与存储成本持续攀升。

1.3 鲲鹏大数据提供的特性

针对上述问题，鲲鹏大数据为 Lance 提供了支撑视频抽帧场景的核心特性：

● 软件层特性：Blob descriptor 结构化扩展，让 Lance 能细粒度访问视频 Blob 内部；Dataset 统一视图与版本机制，把视频、帧/GOP 索引、元数据收敛到一套 Dataset；面向帧级随机访问的范围读取（Range Read）抽象，支持只读取目标帧所在的字节片段；

● 指令层特性：基于 ARM 向量化指令优化 Blob 读写热点，降低帧/GOP 索引等结构化列编解码的 CPU 开销。

这些特性从根源上解决了“图片 + 独立索引 + 元数据库”多组件拼装带来的一致性、额外 I/O 与运维成本问题。

二、核心方案：基于 Lance 驱动视频抽帧，一次 I/O 随机取帧

方案的核心思路是：保留原始视频、按 GOP 组织存储、按需解码，用一套格式统一承载存储与索引。其中 GOP（Group of Pictures）是视频中能够独立解码的一小段连续画面，取任意一帧只需读取它所在的那一段，而不必读入整个视频文件——这是“直接存视频也能高效随机取帧”的前提。

2.1 数据组织重构

鲲鹏大数据方案重构了 Lance 的数据组织方式：

其中“样本与帧索引”把两件事收敛成一张表：样本 ID 是查找键（沿用业务既有映射直接存入），帧记录里存每帧在视频中的字节位置与 GOP 边界（从视频码流中提取）。样本 ID 直接索引到帧记录，一次查询即可拿到字节位置，无需再单独维护一份帧级索引，也不再需要外部元数据库维护第二套映射。

2.2 取帧链路优化

基于上述结构化扩展，鲲鹏侧优化面向帧级随机访问的取帧链路：样本 ID 直接索引到对应的帧记录（含该帧在视频中的起始位置与长度），据此只读取所在 GOP 的那一段字节（范围读取，即按指定范围读取文件片段，而非打开整个文件），再交由解码器解码为训练帧：

训练侧不再需要额外的元数据查询与独立索引文件读取。对于 Batch 训练中多个样本落在相同或相邻 GOP 的情况，还可以在读取规划阶段合并重叠的字节范围，减少重复读取。

需要说明的是，Lance 不会消除视频编码本身的 GOP 解码依赖（取一帧仍需从所在 GOP 的开头解到该帧），优化的是索引查询、多文件访问和重复读取同一段字节带来的额外 I/O。

2.3 利用向量化指令降低读写 CPU 开销

鲲鹏大数据还提供在 Lance 的 Blob 读写路径上的 CPU 加速能力：通过对调用频次较高的结构化列数据（帧/GOP 索引、片段元数据等）进行批量处理，利用 ARM 向量化指令实现一条指令即可完成原本逐元素的循环搬运与比较，消除分支判断与串行依赖，覆盖索引的打包/解包、写入时的统计扫描、读取时的空值标记还原等热点。该能力在通用鲲鹏服务器上即可获得，无需引入专用硬件，通过软硬协同发挥鲲鹏服务器的极致算力。

三、智驾训练场景价值

● 一致性收敛，简化集成与运维：视频、帧/GOP 索引、片段元数据、样本 ID 统一在一个 Lance Dataset 内，由提交与版本机制保证一致性，不再需要额外的元数据库维护第二套映射。跨文件、跨系统的对账与双写消失，集成复杂度与运维成本随之下降。

● 按需取帧取代提前备帧，数据闭环更快：传统方式在离线阶段就把视频全量解码成图片落盘，采样频率一旦调整，已有图片作废、需重新跑全量解码；Lance 方案保留原始视频、训练时按需抽帧，采样频率可自由调整、同一份数据服务不同训练策略。取帧收敛为 Dataset 内一次查询，不再跨系统往返、不再打开大量小文件，训练侧 DataLoader 不被数据读取拖住，单位算力产出更高——在 60 EFLOPS 算力与百亿公里数据规模下，直接转化为闭环迭代速度。

● 存储与运维 TCO 下降：无需长期保存海量图片抽帧结果，一套 Lance Dataset 替代“图片集 + 索引文件 + 元数据库”的多组件拼装，组件更少，存储与运维成本更低。

四、贡献和合作

鲲鹏大数据与 Lance 社区紧密合作，围绕智驾视频抽帧等典型场景持续贡献：持续注入基于鲲鹏芯片的特性优化（如 Blob 读写路径的向量化加速），贡献视频抽帧等场景的开源代码与最佳实践，让 Lance 在鲲鹏服务器上充分发挥性能优势。

希望更多业务团队与开发者与我们一起参与 Lance 生态，共同把视频抽帧等典型场景的能力沉淀为可复用的行业方案。

未来演进方向：

1. 多模态统一入湖：在视频之外，将图片、音频等纳入同一 Lance Dataset，借助 schema evolution 支持标注列的增量追加，避免为新增标签重写历史数据；

2. 软硬协同常态化：把“业务场景 → 软件抽象 → 指令级优化”的协同模式固化为长期机制，在鲲鹏平台上持续放大 Lance 的性能优势；

3. 数据闭环全流程贯通：将采集、清洗、挖掘、标注、训练、回灌评测各环节统一接入 Lance Dataset，实现“一次写入、多场景复用”。

---

「免责声明」：以上页面展示信息由第三方发布，目的在于传播更多信息，与本网站立场无关。我们不保证该信息(包括但不限于文字、数据及图表)全部或者部分内容的准确性、真实性、完整性、有效性、及时性、原创性等。相关信息并未经过本网站证实，不对您构成任何投资建议，据此操作，风险自担，以上网页呈现的图片均为自发上传，如发生图片侵权行为与我们无关，如有请直接微信联系g1002718958。