Spark 批处理与流式作业

原名：spark-engineer

从 Schema、分区、倾斜和执行指标检查作业，比较资源与结果一致性。

中文 Skills 技能说明

公司已有 Spark 数据任务，出现慢作业或内存问题时，可让数据整合专员与开发岗位员工分析。提供版本、代码、脱敏样本和资源记录，技能检查 DataFrame、SQL、分区、缓存及 streaming，交付诊断和对照实验。上游分区与内存数值只是示例，不能直接套全部集群或承诺提速。桌面端需获准集群，数据和费用先限制；回放、扩容、重跑与生产写入须批准，检查重复处理、结果一致性和回退。

上游能力依据

上游原始适用说明：Use when writing Spark jobs, debugging performance issues, or configuring cluster settings for Apache Spark applications, distributed data processing pipelines, or big data workloads. Invoke to write DataFrame transformations, optimize Spark SQL queries, implement RDD pipelines, tune shuffle operations, configure executor memory, process .parquet files, handle data partitioning, or build structured streaming analytics.

上游 SKILL.md 主要章节（保留原文标题）：

• Core Workflow
• Reference Guide
• Code Examples
• Quick-Start Mini-Pipeline (PySpark)
• Broadcast Join (small dimension table < 200 MB)
• Handling Data Skew with Salting
• Correct Caching Pattern
• Constraints
• MUST DO
• MUST NOT DO

使用边界

先确认数据口径、只读或写入权限以及备份方案。查询结果需要说明范围，任何结构或数据变更都应先预览并人工确认。

作者、翻译与许可证

原作者

Jeffallan 与 claude-skills contributors

中文翻译

CEOFans翻译

许可证

MIT

上游来源

https://github.com/Jeffallan/claude-skills/tree/1be15d8064f88fc25216442406d40add8fd23b53/skills/spark-engineer

适用范围

平台：linux、macos、windows；标签：数据与数据库、Spark 批处理与流式作业、开源技能

安全提示

基础静态扫描不等于绝对安全。技能可能调用命令、浏览器、云服务或本地文件，请在最小权限环境中使用，高风险操作必须人工确认。

如发现侵权、许可证或安全问题，可在本页前台提交投诉，管理员复核后可立即下架。