播客脚本:Phi-4-mini-instruct 模型适配实战(vllm-ascend 专项PR复盘)
摘要(148字): 本播客复盘vLLM-Ascend适配Phi-4-mini-instruct的零代码PR(#19677),聚焦两大技术坑:一是head_dim需动态计算且须匹配Ascend FA支持维度,二是LongRope双因子域导致4K以上长文本精度漂移。通过离线/在线双模式、greedy解码、分级断言等策略实现对齐。CI连续爆红源于lint、异常类型不匹配及DCO签核缺失,经三轮修复后成功
所有评论(0)