华为MRS与CDH迁移常见问题有哪些？建议由CDH迁移到CMP 7.13 平台（类Cloudera CDP，如华为鲲鹏 ARM 版）

从 Cloudera CDH（Cloudera’s Distribution Including Apache Hadoop）迁移到华为云 MRS（MapReduce Service）是企业上云或信创改造中的常见场景。由于两者在架构、组件版本、安全模型、存储体系等方面存在差异，迁移过程中常会遇到以下典型问题及应对建议：

一、元数据兼容性问题

问题表现：

• Hive 表无法识别，报错如 Table not found 或 SerDe class not found；
• 分区表查询失败，提示 Partition value mismatch。

原因：

• CDH 与 MRS 使用的 Hive 版本不同（如 CDH 5.x/6.x vs MRS 3.x），元数据结构不兼容；
• SerDe 类路径、配置参数命名差异；
• 分区字段类型或顺序不一致。

对策：

• 避免直接导入 MySQL Metastore 数据库，推荐使用 SHOW CREATE TABLE 导出 DDL，在 MRS 中重建；
• 若使用 LakeFormation 迁移元数据，需确保：
  • 源 Catalog 与目标 Catalog 路径一致；
  • 配置正确的 location 替换规则（如将 hdfs:// 替换为 obs://）；
  • 勾选“创建并更新元数据”策略。

二、存储从 HDFS 迁移至 OBS（对象存储）

问题表现：

• 表数据在 OBS 中存在，但 Hive 查询报错：
  • Location doesn't exist in the OBS Parallel File Systems
  • The path should be a sub path of the catalog storage location

原因：

• MRS 默认使用 OBS 并行文件系统 替代 HDFS；
• OBS 不支持 HDFS 的某些语义（如 rename 原子性、目录非空建表等）。

对策：

• 使用 CDM（Cloud Data Migration） 或 DistCp 将 HDFS 数据同步至 OBS；
• 在元数据迁移任务中：
  • 勾选“是否强制建表”，跳过 OBS 目录非空检查；
  • 确保日志路径、数据路径均在 OBS 并行文件系统中且已提前创建；
  • 配置 添加location规则，将 hdfs:// 或 file:/ 统一替换为 obs://。

三、缺失 Impala，交互式查询性能下降

问题表现：

• 原 CDH 用户依赖 Impala 实现秒级查询，迁移到 MRS 后响应变慢。

原因：

• 华为 MRS 默认不包含 Impala，主要提供 Hive on Tez/Spark、Spark SQL、Presto 等引擎。

对策：

• 替代方案选择：
  • 简单查询：使用 Spark SQL（开启自适应执行、动态分区裁剪）；
  • 复杂分析：使用 Presto（MRS 支持集成）；
  • 高并发点查：考虑引入 ClickHouse 或 Doris（需额外部署）；
• 对高频查询结果做 物化视图 或 预聚合宽表；
• 优化 SQL：避免 SELECT *、合理设置分区过滤、启用向量化执行。

四、调度系统不兼容（Oozie → MRS 作业流）

问题表现：

• Oozie workflow 无法在 MRS 上运行。

对策：

• 将 Oozie 工作流逻辑拆解为 MRS 支持的 作业模板（Shell、Hive、Spark、Flink）；
• 使用 MRS Manager 的作业流编排功能 重构调度依赖；
• 保留原有脚本，仅替换调度层，降低改造成本。

五、权限模型差异（Sentry → Ranger）

问题表现：

• 用户迁移后无权限访问表，报 Permission denied。

原因：

• CDH 使用 Sentry，MRS 使用 Ranger 进行细粒度授权。

对策：

• 提前导出 Sentry 权限策略（用户/组 → 角色 → 资源）；
• 在 MRS Ranger 控制台批量创建等效策略；
• 注意 MRS 中数据库/表名大小写敏感性（默认小写）。

六、Kerberos 认证配置复杂

问题表现：

• 服务启动失败，日志报 GSSException 或 No valid credentials。

对策：

• 严格按照 MRS 文档生成 keytab，注意：
  • 主机名必须为 FQDN（全限定域名）；
  • principal 名称格式需匹配 MRS 要求（如 hive/_HOST@REALM）；
• 确保集群节点时间同步（NTP）；
• 测试 kinit 是否能成功获取票据。

七、组件版本与依赖冲突

问题表现：

• Spark 作业报 ClassNotFoundException、NoSuchMethodError。

原因：

• CDH Spark 2.4 与 MRS Spark 3.x 的底层依赖（如 Guava、Jackson、Netty）版本不一致。

对策：

• 使用 --conf spark.driver.userClassPathFirst=true 隔离用户类路径；
• 不要打包 Hadoop/Spark 核心 JAR；
• 在 MRS 测试环境重新编译和验证作业。

八、HBase 客户端连接异常

问题表现：

• Java 应用连接 HBase 超时或返回空数据。

对策：

• 更新客户端使用的 hbase-site.xml，指向 MRS HBase 的 ZooKeeper 地址；
• 使用与 MRS HBase 版本匹配的客户端（如 2.4.x）；
• 检查安全组是否放通 2181、16000 等端口。

九、监控与运维界面差异大

问题表现：

• 运维人员不熟悉 MRS Manager，难以定位性能瓶颈。

对策：

• 学习 MRS 监控指标命名规范（如 CPU 使用率、YARN 内存分配）；
• 利用 自定义看板 复刻 CDH Manager 关键视图；
• 对接企业现有 Prometheus/Grafana 系统（MRS 支持 Exporter）。

十、国产化环境（鲲鹏 + openEuler）性能调优

问题表现：

• 同等资源配置下，ARM 架构集群吞吐量低于 x86。

对策：

• 启用 MRS 提供的 信创性能调优模板；
• 调整 HDFS 块大小为 256MB 或 512MB；
• 优化 JVM 参数（如 -XX:+UseZGC、堆内存比例）；
• 使用 fio 验证 OBS 或本地盘 I/O 性能。

✅ 迁移实施建议（最佳实践）

阶段	关键动作
评估阶段	全面盘点资产（表、作业、用户、权限）、识别 Impala 重度依赖模块
POC 验证	选取典型业务表+作业，在 MRS 测试环境验证功能与性能
数据迁移	先迁数据（CDM/DistCp）→ 再迁元数据（LakeFormation）→ 最后迁作业
双跑验证	新旧集群并行运行 1–2 周，比对结果一致性
上线切换	切换 DNS 或应用配置，逐步灰度引流