Spark 作业性能诊断

原名：spark-optimization

结合分区、数据倾斜、缓存和执行计划定位瓶颈，用基准比较优化效果。

中文 Skills 技能说明

公司批量处理较大数据集遇到慢任务时，可让开发岗位数字员工与性能测试工程师分析。提供脱敏样本、作业代码、Spark 版本、执行指标和资源限制，技能检查 shuffle、分区、缓存与内存，交付瓶颈证据及对照测试方案。小文件不必为了使用技能上大集群，也不猜测提速比例。桌面端需要获准的 Spark 环境，测试限制费用和资源；重跑、变更集群与生产写入须人工确认，优化不能破坏结果一致性。

上游能力依据

上游原始适用说明：Optimize Apache Spark jobs with partitioning, caching, shuffle optimization, and memory tuning. Use when improving Spark performance, debugging slow jobs, or scaling data processing pipelines.

上游 SKILL.md 主要章节（保留原文标题）：

When to Use This Skill
Core Concepts
1. Spark Execution Model
2. Key Performance Factors
Quick Start
Detailed patterns and worked examples
Best Practices
Do's
Don'ts

使用边界

先确认数据口径、只读或写入权限以及备份方案。查询结果需要说明范围，任何结构或数据变更都应先预览并人工确认。

作者、翻译与许可证

原作者: Seth Hobson（wshobson）与 agents contributors
中文翻译: CEOFans翻译
许可证: MIT
上游来源: https://github.com/wshobson/agents/tree/46891e7e60da0e52baf1050b7b6391b64e84c6d9/plugins/data-engineering/skills/spark-optimization

适用范围

平台：linux、macos、windows；标签：数据与数据库、Spark 作业性能诊断、开源技能

安全提示

基础静态扫描不等于绝对安全。技能可能调用命令、浏览器、云服务或本地文件，请在最小权限环境中使用，高风险操作必须人工确认。

如发现侵权、许可证或安全问题，可在本页前台提交投诉，管理员复核后可立即下架。