OpenLineage 提取器开发
原名:creating-openlineage-extractors
为没有内置支持的 Airflow 算子开发自定义数据血缘提取器。
中文 Skills 技能说明
适合第三方算子或列级血缘;先读取算子真实输入输出和运行上下文,再实现提取、异常降级与测试。Airflow、OpenLineage、dbt Core 和本地数据工具可在用户自己的环境使用;Astronomer 托管能力须使用自有合法账户,并确认中国大陆网络、区域、费用和数据位置。执行前读取真实项目、版本和官方资料,输出目标、依据、影响、验证结果与回退方式;没有证据时明确说明未知,不编造数据、配置或成功状态。 创建、修改、部署、发布、迁移、发送、删除或产生费用的操作,必须先展示目标和差异并获得有权限人员确认。 代码、数据库、日志、凭据、邮件、客户和企业资料按敏感内容处理,只读取任务所需范围,上传或外发前完成授权、脱敏和最小化。
上游能力依据
上游原始适用说明:Create custom OpenLineage extractors for Airflow operators. Use when the user needs lineage from unsupported or third-party operators, wants column-level lineage, or needs complex extraction logic beyond what inlets/outlets provide.
上游 SKILL.md 主要章节(保留原文标题):
- When to Use Each Approach
- On Astro
- Two Approaches
- 1. OpenLineage Methods (Recommended)
- 2. Custom Extractors
- Approach 1: OpenLineage Methods (Recommended)
- OpenLineage Methods Reference
- Approach 2: Custom Extractors
- Basic Structure
- OperatorLineage Structure
使用边界
先确认数据口径、只读或写入权限以及备份方案。查询结果需要说明范围,任何结构或数据变更都应先预览并人工确认。
作者、翻译与许可证
- 原作者
- Astronomer 与 astronomer/agents contributors
- 中文翻译
- CEOFans翻译
- 许可证
- Apache-2.0
- 上游来源
- https://github.com/astronomer/agents/tree/dbd9bb79c4f7b7ac9c1cdd2b4b75213c81f423e5/skills/creating-openlineage-extractors
适用范围
平台:linux、macos、windows;标签:数据与数据库、OpenLineage 提取器开发
安全提示
基础静态扫描不等于绝对安全。技能可能调用命令、浏览器、云服务或本地文件,请在最小权限环境中使用,高风险操作必须人工确认。
如发现侵权、许可证或安全问题,可在本页前台提交投诉,管理员复核后可立即下架。