开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

Dataworks业务日志存储在哪里?入库是MySQL还是Maxcompute?”

Dataworks业务日志存储在哪里?入库是MySQL还是Maxcompute?”

展开
收起
真的很搞笑 2023-07-03 14:50:02 106 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在阿里云DataWorks中,业务日志的存储和入库方式可能会有所不同,具体取决于您的数据集成、数据开发和数据分析场景。下面是关于不同场景下的业务日志存储和入库方式的介绍:
    数据集成场景:在数据集成场景下,DataWorks会将业务日志存储在日志服务(Log Service)中。日志服务是一种高可用、低延迟、海量日志数据处理平台,可用于实时收集、分析和查询各类业务日志数据。在数据集成任务中,DataWorks会自动将任务执行的日志信息发送到日志服务中,以便用户查看和分析。同时,DataWorks也支持在日志服务中配置消费端,将日志数据导出到MySQL等其他数据存储中。
    数据开发场景:在数据开发场景下,DataWorks会将业务日志存储在MaxCompute(原名MaxCompute)中。MaxCompute是阿里云提供的一种PB级别的数据计算和分析服务,支持海量数据的存储、处理和分析。在数据开发任务中,DataWorks会自动将任务执行的日志信息写入到MaxCompute中,以便用户查看和分析。同时,用户也可以通过DataWorks的数据开发工作台或MaxCompute的开发工具,对日志数据进行进一步的计算和分析。

    2023-07-30 22:42:28
    赞同 展开评论 打赏
  • 在DataWorks中,业务日志存储的位置和方式取决于具体的配置。一般情况下,DataWorks的业务日志会存储在MaxCompute(原名ODPS)中,而不是MySQL。

    以下是一般情况下DataWorks业务日志的存储方式:

    1. 存储位置:DataWorks的业务日志通常存储在MaxCompute项目中的指定表中。这些表用于记录任务执行的状态、日志信息和性能指标等。

    2. 日志格式:业务日志以结构化的形式保存,包含了任务的执行详情、日志消息、错误信息等内容。

    3. 数据清洗和处理:数据从源系统流入DataWorks后,会经过清洗和处理操作,将符合要求的日志数据写入MaxCompute进行持久化存储。

    通过将业务日志存储在MaxCompute中,DataWorks可以实现高扩展性、高可靠性和大规模数据处理能力。此外,MaxCompute还提供了更多的数据处理和分析功能,例如数据挖掘、机器学习等,有助于更好地理解和优化数据工作流程。

    需要注意的是,具体的日志存储配置可能因DataWorks版本、项目设置和日志收集策略而有所不同。建议参考阿里云官方文档或联系DataWorks技术支持团队获取更详细和准确的信息。

    2023-07-08 18:00:36
    赞同 展开评论 打赏
  • 日志现在存在es上.后续 落磁盘还是怎么存储还没想好. 看看怎么操作 入maxcompter 比较方便,数据集成可以将es的数据同步到maxcompute,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-07-03 14:52:07
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 热门讨论

    热门文章

    相关电子书

    更多
    PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final 立即下载
    Kubernetes下日志实时采集、存储与计算实践 立即下载
    日志数据采集与分析对接 立即下载