（11539期）Senior Data Engineer – 规模化数据管道与湖仓架构设计

规模化数据管道与湖仓架构设计 面向生产级数据工程的专业技能，精通 ETL/ELT 管道、实时流处理与数据湖仓架构，提供可扩展的数据系统设计与落地最佳实践。 使用说明 核心用法 ssenior-data-engineer 是一套面向规模化数据系统的工程化解决方案，覆盖数据管道设计、架构决策、质量治理三大核心场景。用户可通过触发关键词激活该技能：设计数据管道（"Design a data pipeline"）、架构选型（"Lambda vs Kappa"）、数据建模（"Create a dimensional model"）、质量监控（"Add data validation"）或性能优化（"Optimize this Spark job"）。 技能内置决策框架，支持 Batch vs Streaming、Lambda vs Kappa、Warehouse vs Lakehouse 等关键架构选型，并提供 Python/Scala/SQL 多语言工具链，整合 Airflow、dbt、Spark、Kafka、Snowflake 等现代数据栈。 显著优点 体系化决策支持：通过决策树和对比矩阵降低架构选型复杂度，避免常见技术债务 生产级最佳实践：内置 DataOps、数据契约、可观测性等企业级方法论 全栈覆盖：从数据采集、转换、存储到质量监控形成完整闭环 灵活适配：支持云原生（Snowflake/BigQuery/Databricks）与开源（Spark/Flink/Kafka）混合部署 潜在局限 不包含具体云厂商 IAM、网络配置等运维细节 流处理的 exactly-once 语义实现需结合具体引擎深入调整 大规模 ML 训练管道（如 TFX/MLflow）不在核心覆盖范围 适合人群 数据平台工程师与架构师 需要从分析型（Analytics Engineer）向工程型转型的数据从业者 建设湖仓一体、实时数仓的技术团队 常规风险 数据质量风险：schema 变更未同步可能导致下游管道失败，建议强制实施数据契约 成本失控：Streaming 架构基础设施成本显著高于 Batch，需建立资源用量监控 运维复杂度：Airflow DAG 依赖过多时易出现调度死锁，建议采用 DAG 分层与 SLAs 机制 原始说明 Data engineering skill for building scalable data pipelines, ETL/ELT systems, and data infrastructure. Expertise in Python, SQL, Spark, Airflow, dbt, Kafka,...