（11828期）senior-data-engineer – 企业级数据管道架构专家

企业级数据管道架构专家 基于现代数据栈最佳实践，提供企业级数据管道设计、ETL编排与数据质量治理，助力构建可靠高效的数据基础设施。 使用说明 该技能为资深数据工程实践指南，专注于构建企业级可扩展数据基础设施。核心用法涵盖三大工作流：一是构建批处理 ETL 管道，通过 Airflow 编排 PostgreSQL 到 Snowflake 的数据流转，结合 dbt 实现增量建模；二是实施实时流处理，利用 Kafka 与 Spark Streaming 处理事件流，支持窗口聚合与延迟数据处理；三是搭建数据质量框架，集成 Great Expectations 与 dbt tests 实现自动化验证与数据契约管理。 显著优点体现在技术栈的全面性与实践深度。涵盖从批流到数据湖的完整现代数据架构，提供 Lambda vs Kappa、Warehouse vs Lakehouse 等架构决策框架，包含生产级代码模板与故障排查指南。特别 valuable 的是其 DataOps 思维，将数据质量测试、监控告警与 CI/CD 实践系统化整合。 潜在局限性包括来源可信度为 T3 级（个人开发者），虽经安全审计但仍建议生产环境使用前进行代码审查。技能内容偏向技术实现，对初学者而言概念密度较高，需要一定的数据工程基础才能充分利用。此外，生成的配置文件涉及文件系统写入操作，需确保运行环境权限控制得当。 适合目标群体包括：数据工程师与平台工程师，用于设计管道架构与优化性能；数据架构师，评估技术选型与制定数据标准；以及具备 SQL/Python 基础的数据分析师，希望转向工程化实践。特别适合正在从传统 ETL 向现代数据栈（dbt、Airflow、数据湖）转型的团队。 使用风险主要涉及执行安全性。尽管脚本无危险函数调用，但 pipeline_orchestrator.py 生成配置时会写入指定路径，需防范路径遍历风险。建议在隔离环境测试生成代码后再部署至生产，并遵循最小权限原则限制文件读写范围。数据质量验证脚本处理本地文件时，应确保数据来源可信。 原始说明 Data engineering skill for building scalable data pipelines, ETL/ELT systems, and data infrastructure. Expertise in Python, SQL, Spark, Airflow, dbt, Kafka, and modern data stack. Includes data modeling, pipeline orchestration, data quality, and DataOps. Use when designing data architectures, building data pipelines, optimizing data workflows, implementing data governance, or troubleshooting data issues.