【NPU】Ascend Device Plugin 超深度源码分析 — Part 3 设备管理基类 + 910设备管理器 + 热重置容错引擎之一
·
Ascend Device Plugin 超深度源码分析 — Part 3
设备管理基类 + 910设备管理器 + 热重置容错引擎
分析文件清单
序号 文件 行数 核心职责 1 pkg/device/ascendcommon.go~1823 AscendTools 基类：所有NPU设备管理的公共能力层 2 pkg/device/ascend910.go~2223 HwAscend910Manager：910系列设备的设备发现、健康监测、热重置容错 3 pkg/device/ascendtolerance.go~996 HotResetTools：热重置管理器实现，CM同步、任务级容错策略 4 pkg/device/ascendcommon_v2.go~56 A5超节点扩展属性 getter/setter
目录
一、模块定位
1.1 业务职责
这四个文件共同构成了 Ascend NPU Device Plugin 的设备管理层核心引擎，负责在 Kubernetes 集群中管理华为昇腾910系列NPU设备的完整生命周期。
| 模块 | 业务职责 |
|---|---|
| AscendTools (ascendcommon.go) | 所有NPU设备管理的公共基类：设备发现、健康状态判定、故障码处理、设备IP获取、Pod注解校正、设备信息ConfigMap管理、K8s事件写入、虚拟设备管理、手动隔离NPU处理、升级故障原因缓存 |
| HwAscend910Manager (ascend910.go) | 910系列设备专用管理器：NPU发现（物理/虚拟/共享）、Volcano调度ListAndWatch、优雅容错（在线热重置/离线热重置/隔离）、Ring级别设备重置、A3卡关联设备重置、带外重置(OutBand Reset)、设备信息CM更新、网络健康检测、DPU故障管理 |
| HotResetTools (ascendtolerance.go) | 热重置容错引擎：全局设备故障缓存管理、任务级故障策略决策（L2/L3/L5分级）、Reset CM同步与文件落盘、Pod/CM事件驱动处理、故障设备-Pod映射、任务/设备重置状态管理 |
| ascendcommon_v2.go | A5超节点属性扩展：SuperPodType/Size、NodeInternalIP、RackID 的 getter/setter |
1.2 系统位置
1.3 支持的设备类型
二、模块整体结构
2.1 类结构与接口定义
2.1.1 核心类图
2.1.2 包级全局变量
2.1.3 故障策略级别映射表
2.2 核心方法清单
2.2.1 AscendTools 基类方法
| 方法 | 作用 | 调用者 |
|---|---|---|
SetDmgr/GetDmgr | 设备管理器接口注入/获取 | 外部初始化 |
SetKubeClient/GetKubeClient | K8s客户端注入/获取 | 外部初始化 |
GetChipAICore | 获取AI Core数量 | 外部 |
GetName | 获取设备名称(如"Ascend910") | 多处 |
convertLogicIDsToDeviceNames | LogicID列表→设备名字符串 | handleManuallySeparateNPU |
handleManuallySeparateNPUFaultInfo | 处理手动隔离NPU故障信息 | UpdateNodeDeviceInfo |
LoadDeviceInfoCm | 从DeviceInfo CM加载缓存 | 外部初始化 |
asyncReleaseAutoFill | 异步释放自动填充故障 | LoadDeviceInfoCm |
UpdateNodeDeviceInfo | 更新节点设备信息到CM | 910/310P ListAndWatch |
writeDeviceInfoCm | 写设备信息到CM缓存 | UpdateNodeDeviceInfo |
getNodeDeviceInfoCache | 构建节点设备信息缓存结构 | writeDeviceInfoCm |
updateLastInfo | 更新上次信息快照 | writeDeviceInfoCm |
checkAndInitNodeDeviceInfo | 初始化设备信息缓存 | UpdateNodeDeviceInfo |
compareDeviceList | 比较设备列表(忽略fault_time) | UpdateNodeDeviceInfo |
delVirDevInfo | 删除虚拟设备信息 | UpdateNodeDeviceInfo |
assembleNpuDeviceStruct | 组装NpuDevice结构体 | assemblePhy/Virtual/ShareDevices |
assemblePhyDevices | 组装物理设备 | GetNPUs |
assembleVirtualDevices | 组装虚拟设备(vNPU) | GetNPUs |
assembleSpecVirtualDevice | 组装特定虚拟设备规格 | assembleVirtualDevices |
assemble310PMixedPhyDevices | 310P混合物理设备组装 | 310P GetNPUs |
removeDuplicate | 设备类型去重 | GetNPUs |
getResetInfoData | 从CM解析重置信息 | isTaskInReset等 |
getRealUsedDevices | 获取实际使用中的设备 | getDevStatesDevSet |
filterSoftShareDevices | 过滤软共享可用设备 | getDevStatesDevSet |
getDevStatesDevSet | 获取设备状态集合 | DoWithVolcanoListAndWatch |
getUsedDevices | 获取kubelet已分配设备 | getDevStatesDevSet |
groupDevsByStatus | 按健康状态分组设备 | getDevStatesDevSet |
getFaultTimeAndLevelMap | 构建故障时间-级别映射 | getDeviceFaultsWithMode |
combineFaultTimeMaps | 合并故障时间映射 | - |
getDpuFaults | 获取DPU子健康故障 | getDeviceFaults |
getDeviceFaults | 获取设备故障列表(芯片+网络) | groupDevsByStatus |
getDeviceFaultsWithMode | 按故障模式获取故障详情 | getDeviceFaults |
removeDuplicateErr | 故障码去重 | getDeviceFaultsWithMode |
getDavinCiDev | 获取DaVinci设备信息 | GetNPUs |
getVirtualDevice | 获取虚拟设备信息 | GetNPUs |
GetDeviceIP | 获取设备IP(支持v4/v6) | 多处 |
getDcmiDeviceIP | DCMI接口获取设备IP | GetDeviceIP |
getDeviceListIP | 批量获取设备IP | getConfigAnno |
getConfigAnno | 构建Pod配置注解 | AddPodAnnotation |
AddPodAnnotation | 校正Pod注解 | ListAndWatch循环 |
UpdateHealth | 更新设备健康状态 | ListAndWatch循环 |
GetChange | 检测设备状态变化 | ListAndWatch循环 |
setAICoreHealthyIfVNpu | vNPU场景同步AI Core健康 | UpdateHealth |
setHealthyIfDuoCard | Duo卡场景同步健康 | UpdateHealth |
getUnHealthyCard | 获取不健康卡列表 | setHealthyIfDuoCard |
ClassifyDevices | 按类型分类设备(包级函数) | ListAndWatch |
classifyDevByType | 按类型分类辅助函数 | ClassifyDevices |
isHealthy | 判定设备是否健康 | writeNewFaultCode |
isNetworkHealthy | 判定网络是否健康 | writeNewFaultCode |
npuIsUsedNow | 检查NPU当前是否有任务 | isHealthy |
getVGroupID | 获取虚拟设备组ID | AppendVGroupInfo |
AppendVGroupInfo | 追加vGroup信息 | AddPodAnnotation |
CheckDeviceTypeLabel | 校验节点设备类型标签 | ListAndWatch |
CreateVirtualDevice | 创建虚拟设备 | 动态vNPU场景 |
DestroyVirtualDevice | 销毁虚拟设备 | 动态vNPU场景 |
GetChipAiCoreCount | 获取芯片AI Core总数 | 初始化 |
writeNewFaultCode | 刷新故障码到设备 | UpdateHealth |
getCurDeviceFaultCode | 获取当前设备故障码 | flushFaultCodesWithInit |
flushFaultCodesWithInit | 刷新故障码并初始化 | writeNewFaultCode |
moreThanFiveMin | 故障是否超过5分钟 | LogFaultModeChange |
networkMoreThanFiveMin | 网络故障是否超5分钟 | LogFaultModeChange |
LogFaultModeChange | 记录故障模式变更 | 外部调用 |
getNPUsByShareMode | 共享模式NPU列表 | assembleShareModeDevices |
assembleShareModeDevices | 组装共享模式设备 | 310P GetNPUs |
SetDeviceUsage | 设置设备用途(训练/推理) | 初始化 |
GetDeviceUsage | 获取设备用途 | 多处 |
GetServerBoardId | 获取服务器板ID | SetDeviceUsage |
GetIfCardsInResetting/SetCardsInResetting | 卡重置状态管理 | 热重置流程 |
GetResetFailedTimes/SetResetFailedTimes | 重置失败次数管理 | 热重置流程 |
WriteFaultToEvent | 故障写入K8s Event | 后台goroutine |
WriteUpgradeReasonRemoveEvent | 升级原因释放事件 | writeDeviceInfoCm |
doWriteFaultToEvent | 实际写Event | WriteFaultToEvent |
SetSuperPodID/GetSuperPodID | 超Pod ID管理 | A5场景 |
SetServerIndex/GetServerIndex | 服务器索引管理 | A5场景 |
HandleDropCardFaultEvents | 处理掉卡故障 | 故障检测循环 |
generateCardDropFaultEvents | 生成掉卡故障事件 | HandleDropCardFaultEvents |
checkCardDropFault | 检查掉卡故障 | generateCardDropFaultEvents |
HandleLostChipFaultEvents | 处理丢失芯片故障 | 故障检测循环 |
generateChipFaultEventsBasedOnFaultCacheChange | 基于缓存变化生成芯片故障 | HandleLostChipFaultEvents |
HandleLostNetworkFaultEvents | 处理丢失网络故障 | 故障检测循环 |
generateNetworkFaultEventsBasedOnFaultCacheChange | 基于缓存变化生成网络故障 | HandleLostNetworkFaultEvents |
queryNetworkStatusWithoutFaultCode | 无故障码时查询网络状态 | generateNetworkFaultEvents… |
getNetworkStatusCache | 带限流的网络状态缓存查询 | queryNetworkStatusWithoutFaultCode |
2.2.2 HwAscend910Manager 方法
| 方法 | 作用 |
|---|---|
NewHwAscend910Manager | 构造函数 |
getAscend910Name | 根据卡类型返回设备名 |
GetNPUs | 发现所有910 NPU设备(物理/虚拟) |
GraceTolerance | 优雅容错主入口 |
hotResetHandler | 热重置处理器(无任务场景) |
getDevFaultInfo | 获取设备故障信息 |
getResetIndex | 获取重置Ring索引 |
hotResetTryOutBand | 尝试带外重置 |
isFaultNeedRestart | 判断故障是否需要重启 |
startUpHotReset | 启动热重置流程 |
setAllDevUnhealthyOnRing | 设置Ring上所有设备不健康 |
setUnhealthyForA3 | A3卡设置关联设备不健康 |
GetAssociatedLogicIDs | 获取A3关联LogicID列表 |
clearDeviceStatus | 清除设备重置状态 |
handleResetProcess | 处理重置流程 |
checkFaultIsExist | 检查故障是否仍存在 |
upgradeHotResetError | 升级热重置错误为隔离 |
refreshDevFaultInfoForResetProcess | 刷新重置过程中的故障信息 |
execHotReset | 执行热重置 |
isChipActive | 检查芯片是否活跃(有任务) |
canBeReset | 检查所有芯片是否可重置 |
canA3BeReset | A3卡可重置检查 |
getBusyChipListFromPod | 从Pod列表获取繁忙芯片 |
DoWithVolcanoListAndWatch | Volcano调度ListAndWatch入口 |
updateDeviceInfo | 更新设备信息到CM |
isNeedBlockAllDevice | 是否需要阻塞所有设备调度 |
update910NodeLabel | 更新910节点标签 |
getHealthAndRecoverDev | 获取健康和恢复设备 |
getNewNetworkRecoverDev | 获取新网络恢复设备 |
getPatchLabel | 生成节点标签补丁 |
getRecoverLabelFromNodeSets | 从节点标签获取恢复集 |
toStandardDeviceFmt | 转为标准设备格式 |
updateHotResetCache | 更新热重置缓存 |
updateUpgradeErrorInfo | 更新升级错误信息 |
setTaskDevInfoCache | 设置任务设备信息缓存 |
handleUpdateCaches | 批量更新缓存 |
convertPhysicIdToLogicId | 物理ID→逻辑ID转换 |
isReSchedulingScene | 是否为重调度场景 |
isTaskInReset | 任务是否在重置中 |
filterDevStatus | 过滤重置中设备状态 |
filterDevStatusForA3 | A3卡过滤重置状态 |
processAllTask | 处理所有任务容错 |
policyLevelHandle | 策略级别处理 |
isolateSceneHandle | 隔离场景处理 |
runProcessTask | 运行任务处理 |
restartRequestProcess | L2故障处理(请求重启) |
handleSucceedRestartRequest | L2成功处理 |
checkDevErrorCode | 检查设备错误码清除 |
restartProcess | L3故障处理(设备重启) |
upgradeRestartProcess | L3升级为重置 |
upgradeRestartRequestProcess | L2升级为重置 |
updateResetCMStatus | 更新重置CM状态 |
updateResetCMStatusWithoutWait | 更新重置CM状态(不等) |
resetProcess | L5故障处理(强制重置) |
waitForAllFaultyDeviceProcessesToZero | 等待故障设备进程归零 |
canContinueGraceProcess | 检查是否可继续容错 |
updateResetCMStatusToIsolate | 更新CM为隔离状态 |
getA3LogicMapByAssociation | A3关联LogicID映射 |
getNeedResetDeviceLogicIdMap | 获取需重置设备映射 |
addAllLogicIdsToFaultMap | 添加Ring上所有LogicID |
checkNumberOfAllProcessIsZero | 检查所有进程是否归零 |
upgradeResetProcess | L5升级为隔离 |
preProcess | 预处理(写CM/设状态) |
postProcess | 后处理(清理状态) |
refreshDevFaultInfo | 刷新设备故障信息 |
getNeedResetDevMapForA3 | A3需重置设备映射 |
getResetIndexForA3 | A3重置索引 |
resetDeviceOnce | 执行一次设备重置 |
canResetDeviceByLogicID | 按LogicID检查可重置 |
canResetDevice | 检查设备可重置(忙/次数) |
execResetDevice | 执行设备重置(带内) |
execOutBandReset | 执行带外重置 |
scanDeviceForThirdParty | 第三方设备扫描 |
execRescan | 执行重新扫描 |
fillResetDevs | 补充设备信息(PhyID/CardID) |
updateResetInfo | 更新重置信息文件 |
resetDeviceOutBand | 带外重置单设备 |
isNetResetCompleted | 网络重置完成检查 |
waitDeviceResetComplete | 等待设备重置完成 |
isRunningDistributed | 是否分布式训练 |
isShouldCheckNet | 是否需检查网络 |
isRingResetComplete | Ring重置完成检查 |
tryResetDevice | 尝试重置设备(带内) |
tryResetDeviceOffline | 尝试离线重置设备 |
tryWriteIsolationInfo | 写隔离信息到CM |
isDevShouldBeIsolate | 设备是否应隔离 |
SetDpu | 设置DPU信息 |
2.2.3 HotResetTools 方法
| 方法 | 作用 |
|---|---|
NewHotResetManager | 构造函数(根据卡类型/用途/板ID确定Ring大小) |
getResetDevNumOnce | 获取单次重置设备数 |
SyncResetCM | 同步Reset CM(Pod/CM Informer) |
run | 工作队列消费循环 |
processNextWorkItem | 处理下一个工作项 |
handleEvent | 事件分发(Pod/CM) |
handlePodEvent | Pod事件处理 |
handlePodAddEvent | Pod添加事件(创建目录/写CM文件) |
writeCmToFileWhilePodAdd | Pod添加时写CM到文件 |
handlePodDeleteEvent | Pod删除事件(清理文件/目录) |
getPodFromCache | 从缓存获取Pod |
GetCMFromCache | 从缓存获取CM |
writeCMToFile | 写CM数据到文件 |
handleConfigMapEvent | CM事件处理 |
handleCMUpdateEvent | CM更新事件 |
handleCMDeleteEvent | CM删除事件 |
writeCmToFileSystem | 写CM到文件系统 |
checkConfigMap | CM过滤器(Reset/DataTrace前缀) |
GetResetDevNumOnce | 获取单次重置设备数 |
GetTaskDevFaultInfoList | 获取任务设备故障信息列表 |
GetTaskPod | 获取任务Pod |
GetAllTaskDevFaultInfoList | 获取所有任务故障信息 |
GetDevListInReset | 获取重置中设备列表 |
GetGlobalDevFaultInfo | 获取全局设备故障信息 |
GetDevProcessPolicy | 获取设备处理策略 |
GetTaskProcessPolicy | 获取任务处理策略(最高级别) |
GetDevIdList | 设备字符串→物理ID列表 |
GetDevListByPolicyLevel | 按策略级别筛选设备 |
GetNeedResetDevMap | 获取需重置设备映射 |
GetTaskResetInfo | 获取任务重置信息 |
GetTaskFaultRankInfo | 获取任务故障Rank信息 |
GetFaultDev2PodMap | 获取故障设备→Pod映射 |
GetTaskNameByPod | 从Pod获取任务名 |
GenerateTaskDevFaultInfoList | 生成任务设备故障列表(含Rank) |
UpdateFaultDev2PodMap | 更新故障设备→Pod映射 |
UpdateGlobalDevFaultInfoCache | 更新全局设备故障缓存 |
UpdateTaskDevListCache | 更新任务设备列表缓存 |
UpdateTaskDevFaultInfoCache | 更新任务故障信息缓存 |
UpdateTaskPodCache | 更新任务Pod缓存 |
UpdateFreeTask | 清理已结束任务的重置状态 |
isTaskDevListChange | 检查任务设备列表是否变化 |
IsCurNodeTaskInReset | 当前节点任务是否在重置 |
IsExistFaultyDevInTask | 任务中是否存在故障设备 |
SetTaskInReset | 设置任务重置状态 |
SetDevInReset | 设置设备重置状态 |
SetAllDevInReset | 设置任务所有设备重置 |
UnSetDevInReset | 取消设备重置状态 |
UnSetAllDevInReset | 取消任务所有设备重置 |
UnSetTaskInReset | 取消任务重置状态 |
DeepCopyDevInfo | 深拷贝设备信息 |
DeepCopyDevFaultInfoList | 深拷贝故障信息列表 |
2.3 内部调用关系
2.4 数据流入流出
三、核心业务逻辑深度解析
3.1 ascendcommon.go — AscendTools 基类深度解析
3.1.1 AscendTools 结构体定义
type AscendTools struct {
client *kubeclient.ClientK8s // K8s客户端，用于操作Pod/Node/CM/Event
dmgr devmanager.DeviceInterface // DCMI设备管理接口，直通NPU硬件
name string // 设备名称，如"Ascend910"或"Ascend910A5"→"npu"
deviceUsage string // 设备用途："train"或"infer"
unHealthyKey string // CM中不健康设备的key后缀
devCount int32 // 最大设备数(=MaxDevicesNum)
healthDevice sets.String // 健康设备集合(未在结构体方法中直接使用)
boardId uint32 // 服务器板ID，用于区分A800IA2等型号
superPodID int32 // A5超Pod ID
serverIndex int32 // A5服务器索引
rackID int32 // A5机架ID
superPodType int8 // A5超Pod类型
superPodSize int32 // A5超Pod大小
nodeInternalIP string // A5节点内部IP
// 重置状态管理
cardInResetMap map[int32]bool // LogicID→是否正在重置
cardInResetLock sync.Mutex // 重置状态互斥锁
resetFailedTimesMap map[int32]int // LogicID→连续重置失败次数
resetFailedTimesLock sync.Mutex // 失败次数互斥锁
// 快照/增量检测
lastUpdateTimeStamp time.Time // 上次更新时间
lastUpgradeFaultReason common.UpgradeFaultReasonMap[common.LogicId] // 上次升级故障原因
lastManuallySeparateNPU string // 上次手动隔离NPU
lastSwitchFaultInfo common.SwitchFaultInfo // 上次交换机故障
lastUsedChipsByProcess sets.String // 上次进程使用的芯片
lastUsedChipsContainerMap map[string]sets.String // 上次容器使用芯片映射
lastDpuInfo common.DpuInfo // 上次DPU信息
}
设计意图：
AscendTools作为所有NPU设备管理器的公共基类，通过组合而非继承的方式被HwAscend910Manager等管理器嵌入dmgr接口注入实现了硬件层解耦，便于测试mockboardId缓存设计避免了重复调用DCMI获取板信息cardInResetMap+cardInResetLock提供了线程安全的重置状态跟踪last*系列字段实现了增量更新检测，避免无变化的CM写入
3.1.2 DevManager 接口
DevManager 接口定义了设备管理器的完整契约，包含40+方法，覆盖：
- 设备发现（
GetNPUs） - 调度集成（
DoWithVolcanoListAndWatch） - 容错处理（
GraceTolerance） - 健康管理（
UpdateHealth,GetChange） - Pod注解管理（
AddPodAnnotation） - 虚拟设备管理（
CreateVirtualDevice,DestroyVirtualDevice） - A5超节点属性（
SetSuperPodType/Size,SetRackID等） - 重置状态管理（
SetCardsInResetting,GetResetFailedTimes等） - 故障事件处理（
HandleDropCardFaultEvents,HandleLostChipFaultEvents等） - DPU管理（
SetDpu） - 设备信息加载（
LoadDeviceInfoCm）
3.1.3 核心流程：UpdateNodeDeviceInfo — 设备信息CM更新
逐行解析关键代码段：
// checkAndInitNodeDeviceInfo — 如果CM缓存为空，创建初始结构
func (tool *AscendTools) checkAndInitNodeDeviceInfo() {
nodeDeviceInfo := tool.GetKubeClient().GetDeviceInfoCMCache()
if nodeDeviceInfo == nil {
// 创建初始的设备信息缓存，包含空DeviceList和默认SuperPodID/ServerIndex
var nodeDeviceData = common.NodeDeviceInfoCache{
DeviceInfo: common.NodeDeviceInfo{
DeviceList: make(map[string]string, 1), // 空设备列表
UpdateTime: time.Now().Unix(), // 当前时间戳
},
SuperPodID: common.DefaultSuperPodID, // 默认超Pod ID
ServerIndex: common.DefaultServerIndex, // 默认服务器索引
}
// 生成校验码，用于后续CM数据完整性校验
nodeDeviceData.CheckCode = common.MakeDataHash(nodeDeviceData.DeviceInfo)
tool.GetKubeClient().SetNodeDeviceInfoCache(&nodeDeviceData)
}
}
// compareDeviceList — 比较设备列表是否一致（忽略fault_time字段）
func compareDeviceList(deviceList, newDeviceList map[string]string) bool {
// 双nil检查
if deviceList == nil && newDeviceList == nil { return true }
if deviceList == nil || newDeviceList == nil { return false }
if len(deviceList) != len(newDeviceList) { return false }
for key, value := range deviceList {
val, exists := newDeviceList[key]
if !exists { return false }
// 使用正则 re (`"fault_time":\d+,`) 移除fault_time字段后比较
// 设计意图：fault_time每次都会变化，但设备状态可能没变
str1 := re.ReplaceAllString(value, "")
str2 := re.ReplaceAllString(val, "")
if str1 != str2 { return false }
}
return true
}
3.1.4 核心流程：健康状态判定
isHealthy 方法逐行解析：
func (tool *AscendTools) isHealthy(device *common.NpuDevice) string {
// 获取故障类型：根据设备的FaultCodes和LogicID查询故障级别
faultType := common.GetFaultType(device.FaultCodes, device.LogicID)
// 条件1：正常/不处理/子健康 → 健康
// 条件2：FreeRestartNPU（空闲重启）且设备当前在用且优雅容错开启 → 健康
// 设计意图：设备在用时不执行空闲重启，等任务结束再处理
if faultType == common.NormalNPU || faultType == common.NotHandleFault ||
faultType == common.SubHealthFault ||
(faultType == common.FreeRestartNPU &&
tool.npuIsUsedNow(device.DeviceName) &&
common.ParamOption.GraceToleranceOn == true) {
return v1beta1.Healthy
}
// 条件3：预隔离故障但设备在用 → 健康（延迟隔离）
// 设计意图：设备有任务运行时不立即隔离，等任务完成后再隔离
if faultType == common.PreSeparateNPU && tool.npuIsUsedNow(device.DeviceName) {
hwlog.RunLog.Infof("detect %s but device is used, device name: %s",
faultType, device.DeviceName)
return v1beta1.Healthy
}
// 其他故障类型 → 不健康
return v1beta1.Unhealthy
}
3.1.5 核心流程：设备IP获取 (GetDeviceIP)
设计意图：IPv4/IPv6双栈自适应机制，先尝试IPv4，失败后切换IPv6，IPv6失败再回退IPv4。useIpv4全局变量实现状态记忆，避免每次都做双栈探测。
3.1.6 核心流程：Pod注解校正 (AddPodAnnotation)
func (tool *AscendTools) AddPodAnnotation(podDev *common.PodDeviceInfo, deviceType, hostIp string,
allDevices []common.NpuDevice) error {
// 1. 非预置虚拟设备时，追加vGroup信息到设备名
if !common.ParamOption.PresetVDevice {
tool.AppendVGroupInfo(podDev.RealDevice)
}
// 2. 排序设备列表，确保注解值一致性
sort.Strings(podDev.KltDevice)
sort.Strings(podDev.RealDevice)
allUsedDev := strings.Join(podDev.RealDevice, common.CommaSepDev)
// 3. 构建注解校验列表：huawei.com/Ascend910-2kl 和 AscendReal
annoChecker := []struct{ annoKey, annoValue string }{
{api.ResourceNamePrefix + common.Pod2kl,
strings.Join(podDev.KltDevice, common.CommaSepDev)},
{api.PodAnnotationAscendReal, allUsedDev},
}
// 4. 非虚拟设备：检查并校正注解
annotation := make(map[string]string)
if !common.IsVirtualDev(deviceType) {
for _, checker := range annoChecker {
// 动态场景不校正 huawei.com/npu-core
if deviceType == common.AiCoreResourceName &&
checker.annoKey == fmt.Sprintf("%s%s", api.ResourceNamePrefix, deviceType) {
continue
}
if podDev.Pod.Annotations[checker.annoKey] != checker.annoValue {
// 发现不一致，记录待校正
annotation[checker.annoKey] = checker.annoValue
}
}
}
// 5. 910/300IDuo场景：校验配置注解(含ranktable信息)
if tool.name == api.NPULowerCase || tool.name == api.Ascend910 || common.IsContainAll300IDuo() {
config, err := tool.getConfigAnno(podDev, deviceType, hostIp, allDevices)
if err == nil {
key := api.Pod910DeviceAnno // "ascend-910-configuration"
if tool.name == api.NPULowerCase {
key = api.PodNPUDeviceAnno // "ascend-npu-configuration"
}
if podDev.Pod.Annotations[key] != config {
annotation[key] = config
}
}
}
// 6. 如有变化，通过customname替换后更新Pod注解
if len(annotation) == 0 { return nil }
newAnnotation := customname.ReplacePodAnnotation(tool.name, annotation)
return tool.client.TryUpdatePodAnnotation(&podDev.Pod, newAnnotation)
}
3.1.7 核心流程：故障事件写入K8s Event
限流设计：
// faultEventLimiter: 每1/WriteEventRateLimit秒允许1个事件，突发WriteEventRateLimit个
faultEventLimiter = rate.NewLimiter(
rate.Every(time.Minute/common.WriteEventRateLimit), // 每分钟N个事件
common.WriteEventRateLimit) // 突发容量N
3.1.8 核心流程：手动隔离NPU处理
3.1.9 核心流程：LoadDeviceInfoCm — 启动时加载设备信息CM
3.1.10 核心流程：故障丢失事件补偿机制
设计意图：故障订阅接口可能丢失事件（订阅失败、设备重置后短暂中断等），这三个方法作为补偿机制，在以下场景主动补查故障状态：
- 首次刷新 (
isFirstFlushFault)：启动时全量补查 - 设备刚重置 (
initLogicIDs)：重置后重新建立故障基线 - 订阅失败 (
SubscribeFailed)：降级为轮询模式 - 故障超时未恢复 (
moreThanFiveMin)：长时间不健康时主动补查
3.1.11 网络状态缓存与限流
func getNetworkStatusCache(phyId int32) string {
// 1. 获取或初始化限流器
// 每个物理设备独立限流，避免单设备查询阻塞其他设备
networkLimiter, ok := networkLimiterMap[phyId]
if !ok {
networkLimiter = rate.NewLimiter(
rate.Every(common.EveryNetworkQueryDuration*time.Minute/common.NetworkQueryRateLimit),
common.NetworkQueryRateLimit)
networkLimiterMap[phyId] = networkLimiter
}
// 2. 限流检查：如果被限流且有缓存，返回缓存值
linkStatusCache, ok := networkStatusCache[phyId]
if !networkLimiter.Allow() && ok {
return linkStatusCache // 返回缓存，避免频繁查询硬件
}
// 3. 实际查询hccn接口
linkStatus, err := hccn.GetNPULinkStatus(phyId)
if err != nil {
// 查询失败时缓存为LinkDown（保守策略）
networkStatusCache[phyId] = npuCommon.NPUNetworkLinkDownStatus
return npuCommon.NPUNetworkLinkDownStatus
}
networkStatusCache[phyId] = linkStatus
return linkStatus
}
鲲鹏昇腾开发者社区是面向全社会开放的“联接全球计算开发者，聚合华为+生态”的社区，内容涵盖鲲鹏、昇腾资源，帮助开发者快速获取所需的知识、经验、软件、工具、算力，支撑开发者易学、好用、成功，成为核心开发者。
更多推荐
6
0- 0
已为社区贡献18条内容
所有评论(0)