数据管道与质量规则规划

原名：senior-data-engineer

整理数据来源、转换、质量检查和调度，生成可供联调的管道草稿。

中文 Skills 技能说明

公司报表要从多个来源汇总时，可先梳理数据怎么流转。提供获准字段、来源、更新周期、口径和失败处理规则，技能辅助生成管道配置、质量检查与 ETL 分析，交付流程草稿及验证步骤。部分工具需要 PyYAML，Airflow、Spark、dbt 等运行环境另备；生成配置不表示已部署。先校对去重、时区和数据归属，不能把样例当真实经营记录；读取、同步或回填生产库前确认权限、备份和回退。

上游能力依据

上游原始适用说明：Data engineering skill for building scalable data pipelines, ETL/ELT systems, and data infrastructure. Expertise in Python, SQL, Spark, Airflow, dbt, Kafka, and modern data stack. Includes data modeling, pipeline orchestration, data quality, and DataOps. Use when designing data architectures, building data pipelines, optimizing data workflows, implementing data governance, or troubleshooting data issues.

上游 SKILL.md 主要章节（保留原文标题）：

• Table of Contents
• Trigger Phrases
• Quick Start
• Core Tools
• Workflows
• Architecture Decision Framework
• Batch vs Streaming
• Lambda vs Kappa Architecture
• Data Warehouse vs Data Lakehouse
• Tech Stack

使用边界

先确认数据口径、只读或写入权限以及备份方案。查询结果需要说明范围，任何结构或数据变更都应先预览并人工确认。

作者、翻译与许可证

原作者

Alireza Rezvani 与 claude-skills contributors

中文翻译

CEOFans翻译

许可证

MIT

上游来源

https://github.com/alirezarezvani/claude-skills/tree/27cfcd0fb0a41f60adffcbd5271fdf8839f86ed2/engineering-team/skills/senior-data-engineer

适用范围

平台：linux、macos、windows；标签：数据与数据库、数据管道与质量规则规划、开源技能

安全提示

基础静态扫描不等于绝对安全。技能可能调用命令、浏览器、云服务或本地文件，请在最小权限环境中使用，高风险操作必须人工确认。

如发现侵权、许可证或安全问题，可在本页前台提交投诉，管理员复核后可立即下架。