基于 DataWorks AI 助理备份实例日志到 OSS 文件系统

在线体验各类最新模型,更有模型 免费Token 额度领取!
立即体验
简介: AI助理免代码实现DataWorks实例日志定时备份至OSS 文件系统,突破平台实例日志默认保留时长限制。

概述

DataWorks 平台默认对实例日志的保留时长有限,超出保留期限后日志将被自动清理。借助 AI 助理,免代码可实现实例日志的定时备份,将日志自动归档至 OSS,自定义存储周期。

前提条件

  • 已开通 DataWorks 服务,并创建了工作空间。
  • 已开通 OSS 服务,并创建了用于存储日志的 Bucket。
  • 已开通 AI 助理功能,并完成基础配置。

适用场景

  • 小批量精准备份日志
  • 探索与验证期
  • 备份规范还在摸索
  • 首次对接新项目
  • 日志摸底
  • 多步骤复合任务
  • "归档 + 生成清单报告 + 推送到群里"

说明:如有生产大规模日志数据备份需求,建议使用固定脚本任务实现,AI助理可用于辅助统计等。

预期效果

每日定时将高保障任务实例日志备份存储到oss中。

image.png image.png

配置

步骤一:创建并调试任务

1. 发起指令

【实例日志备份指令】

目标:将指定项目、指定日期、优先级 3/5/7/8 的所有生产实例日志备份到 OSS。

【备份规则】

1. 存储路径:oss://ols-bucket/dataworks_agent/claw/DataWorksTaskInstanceLog/备份日期(YYYYMMDD)/实例类型/

实例类型:周期实例 / 测试实例 / 手动实例 / 补数据实例(四选一,不拓展子目录)

2. 文件名:{实例id}_{节点名}_{节点id}_{执行时间}_{业务日期}_{地域}.txt

优先从日志 SKYNET_* 环境变量取值,API 返回值兜底,取不到填 null

3. 重跑日志:全量备份,生成多份文件,后缀加 _重跑N(N 取 SKYNET_RERUN_TIME)

【执行约束】

1. 未运行实例跳过,不归档

2. 归档后校验:确保和产品页面一致

3. 推送报告:生成 HTML 报告 + 文字摘要,推送到钉钉群

image.png

2. 检查效果

  1. 抽样和运维中心实例日志对比,内容一致、完整;
  2. 简单核对运维中心、OSS、归档报告数量一致;
  3. 检查边界范围日志数据符合预期。

image.png

image.png

3. 生成报告(可选)

image.png

步骤二:沉淀为定时任务

核对无误,将任务沉淀为定时任务或技能,设置为每日9点定时执行,将指定空间昨天执行(即业务日期为前天)的实例备份到OSS,在对应AI助理实例的「定时任务」列表中可查看。

image.png

消费

备份的日志文件,可以用于分析审计场景,访问方式除了常规在 OSS 工作台直接搜索外,也可以通过 AI 助理自然语言检索。

例如,查找指定周期任务40天前的日志。

image.png

拓展

  1. 增加定时删除任务;
  2. 用于备份个人DataStudio运行日志、集成日志等。
相关文章
|
23小时前
|
人工智能 安全 测试技术
|
2天前
|
云安全 人工智能 安全
阿里云 Agentic SOC 位居 IDC MarketScape安全运营智能体2026领导者类别
以 Agentic AI 重构安全运营闭环,阿里云云安全在产品能力与市场份额
1149 3
|
2天前
|
数据采集 机器学习/深度学习 人工智能
田间杂草定位与检测4200张YOLO智慧农业数据集分享
本数据集含4200张真实农田图像,YOLO格式,单类别(杂草)高质量标注,覆盖多作物、多光照、多生长阶段等复杂场景,专为智慧农业杂草检测与智能除草设备研发设计,支持YOLOv5/v8/v10等主流模型训练。
341 93
|
3天前
|
缓存 UED 开发者
Codex109天重置23次,明天还要再送一次
Codex近109天完成23次额度重置,7月14日将迎来第24次。Tibo高频响应用户反馈:优化GPT-5.6高消耗问题、补发失效福利、调整重置时间——形成“反馈→回应→修复→补偿”正向闭环,彰显以用户为中心的产品哲学。(239字)
540 11
|
6天前
|
存储 人工智能 JSON
Qwen 本地部署搭配 ComfyUI 生成 AI 漫剧完整实操指南(小白零基础可落地,零成本无限生成+角色一致性天花板)
2026全网最优本地漫剧流水线:零成本、离线运行、角色统一、低配(8G显卡)可跑。融合Qwen本地大模型+ComfyUI双引擎,实现剧本生成→分镜绘图→动态成片全自动,隐私安全、无审核限流,新手30分钟上手,日更无忧。(239字)
|
7天前
|
人工智能 缓存 JSON
刚刚 GPT-5.6 发布,吊打 Claude 5 和 Grok 4.5?一手实测来啦!
GPT-5.6 刚发布,跑分号称超越 Fable 5,真的假的?附一手实测,让 3 个最强 AI 编程模型 GPT-5.6 Sol、Claude Fable 5、Grok 4.5 在 Cursor 里同时一把梭开发网页游戏,看看最新模型到底谁更能打。
355 0

热门文章

最新文章