log view用Logview这个工具查看
Logview是MaxCompute Job提交后查看和Debug任务的工具。
通过Logview可看到一个Job的如下内容:
任务的运行状态。
任务的运行结果。
任务的细节和每个步骤的进度。
Job提交到MaxCompute后,会生成Logview的链接。您可以直接在浏览器上打开Logview链接,进入查看Job的信息。
参考地址
https://help.aliyun.com/zh/maxcompute/user-guide/use-logview-to-view-job-information
回答不易请采纳
使用Logview查看MaxCompute作业运行信息的详细步骤:
当你提交一个MaxCompute作业后,系统会自动生成一个Logview链接,通常这个链接以 https://logview.aliyun.com/logview
开头。
odpscmd
客户端,你需要手动复制这个链接到浏览器中访问。在阿里云大数据计算MaxCompute中,可以通过Logview工具查看作业的日志信息。以下是使用Logview查看作业日志的步骤:
登录阿里云控制台,进入MaxCompute产品页面。
在左侧导航栏中,选择"作业开发与提交" > "作业管理"。
在作业管理页面,找到需要查看日志的作业,点击作业名称进入作业详情页面。
在作业详情页面,点击"日志"选项卡。
在日志页面,可以看到作业的运行状态、日志内容等信息。
若要查看更详细的日志信息,可以点击"下载"按钮,将日志文件下载到本地进行查看。
此外,还可以通过命令行工具odpscmd来查看作业日志。具体操作如下:
安装并配置odpscmd工具。
打开命令行终端,输入以下命令查看作业日志:
Logview:即以logview.odps.aliyun.com开头的URL,是MaxCompute自研的分布式作业追踪工具。
在浏览器中打开日志输出的Logview,查看CUPID类型作业的运行情况。
在Logview页面,执行如下操作。
单击Detail,查看作业的详情。master-0代表Spark Driver所在节点。
单击master-0并选择All Tab,查看Spark Driver节点的具体信息。
单击StdOut,查看节点的结果输出。
单击StdErr,查看节点的log4j日志。
——参考链接。
在大数据计算MaxCompute中,Logview是查看和Debug作业任务的重要工具。以下是查看Logview的详细步骤和相关信息:
一、Logview的生成与访问
生成Logview链接:
当一个MaxCompute作业(Job)提交后,系统会自动生成一个以“https://logview.aliyun.com/logview”开头的URL地址,即Logview的链接。
访问Logview:
使用MaxCompute客户端(odpscmd)提交作业后,需要手工复制该Logview地址到浏览器中访问。
使用DataWorks提交作业后,可以直接点击链接打开Logview界面。
二、Logview的界面与功能
标题与功能区:
包含提交MaxCompute作业时生成的唯一作业ID及自定义的作业名称(如果通过SDK方式提交,则包含作业名称信息)。
提供打开本地保存的作业详情文件、返回Logview 1.0版界面、将作业详情文件保存至本地设备等操作。
Basic Info区域:
展示作业的基本信息,如作业使用的MaxCompute服务的Endpoint、作业所属的MaxCompute项目名称、提交作业的阿里云账号信息、作业的类型(如SQL、SQLRT等)、作业的状态(如Success、Failed等)、作业提交时间、作业执行结束时间、作业执行消耗的时长、作业执行进度、作业优先级以及作业在资源配额组内的排队位置等。
作业详情区域:
提供作业执行的详细信息,包括作业执行图、Fuxi Job页签等。
作业执行图以可视化方式展示三个维度的子任务依赖关系:Fuxi Job层、Fuxi Task层和Operation层。同时提供一系列辅助工具,如进度图、输入/输出热度图等,为排查问题提供帮助。
Fuxi Job页签可以切换不同的Fuxi Job,并查看每个Fuxi Job下的Fuxi Task详情以及对应的Fuxi Instance信息。
三、查看作业运行信息
Instance信息:
在Logview页面中,上半部分展示的是提交的SQL任务对应的MaxCompute Instance信息。
包含URL链接、项目、InstanceID、提交人、开始时间、结束时间和状态(Status)等。
可以单击Status查看当前队列的Status详细信息,包括Waiting、Running、Terminated等状态以及排队位置、队列长度、优先级等子状态信息。
Task信息:
在Logview页面中,下半部分展示的是该Instance对应的task信息。
包括任务名称、类型、状态、运行结果(Result)、详细信息(Detail)、开始时间、结束时间、总运行时间(Latency)、进度等。
在Job运行结束后,可以看到运行结果。例如一条select SQL的结果。
一个Job在运行中和结束后,均可以单击Detail来查看任务运行的具体情况。
四、高级功能
作业回放:
Logview支持作业回放功能,可以像播放媒体文件一样回顾作业执行的历史轨迹。
这有助于用户了解MaxCompute实例在不同时刻的运行状态,快速判断子任务级运行顺序及消耗时间,掌握作业执行的关键路径。
Fuxi Sensor:
在某些区域(如西南1成都、华南1深圳等),Logview提供了Fuxi Sensor功能。
用户可以单击Fuxi Task对应的Sensor查看Fuxi Instance的CPU及内存信息,这有助于进行更深入的性能分析和调优。
通过以上步骤和介绍,您可以在MaxCompute中有效地使用Logview查看作业的运行信息、进行Debug和性能分析。
通过Logview可看到一个Job的如下内容: 任务的运行状态。 任务的运行结果。 任务的细节和每个步骤的进度。 Job提交到MaxCompute后,会生成Logview的链接。 您可以直接在浏览器上打开Logview链接,进入查看Job的信息。
查看MaxCompute的Logview来获取作业运行信息和实例详情,您可以按照以下步骤操作:
如果您有Instance ID,可以通过在MaxCompute控制台执行waiting instance id命令生成Logview。
访问MaxCompute文档获取详细指南。
Logview界面分为Instance信息和Task信息两部分:
Instance信息部分显示任务状态、开始和结束时间等。
Task信息部分包括任务名称、状态、结果、详细信息等。
在Logview页面:
点击Status查看详细状态,包括Sub Status、WaitPos等。
通过Task信息,可以看到任务名称、类型、状态、结果、详细信息、开始和结束时间等。
在阿里云的大数据计算服务 MaxCompute 中,Logview
是一个非常有用的工具,用于查看和分析作业的执行日志。通过 Logview
,你可以详细了解作业的执行过程、错误信息以及其他调试信息。以下是查看 Logview
的步骤:
首先,你需要提交一个 MaxCompute 作业。可以通过多种方式提交作业,例如使用 odpscmd
命令行工具、DataWorks 或者编程接口(如 Python SDK)。
odpscmd
提交作业假设你已经安装并配置好了 odpscmd
,可以使用以下命令提交一个 SQL 作业:
odpscmd -e "sql your_sql_query;"
Instance ID
当你提交作业后,MaxCompute 会返回一个 Instance ID
。这个 Instance ID
是唯一标识该作业的编号,后续你需要使用它来查看 Logview
。
odpscmd
获取 Instance ID
如果你使用 odpscmd
提交作业,可以直接从输出中获取 Instance ID
。例如:
odpscmd -e "sql your_sql_query;"
# 输出示例
...
INSTANCE_ID: 202310141755_0001
...
Logview
有了 Instance ID
后,你可以通过以下几种方式查看 Logview
。
odpscmd
查看 Logview
你可以直接在 odpscmd
中使用 logview
命令来查看 Logview
:
odpscmd -e "logview <INSTANCE_ID>;"
Logview
登录阿里云控制台:
进入 MaxCompute 控制台:
进入实例管理页面:
查找并查看 Logview
:
Instance ID
。Instance ID
右侧的“详情”按钮。Logview
内容Logview
页面通常包含以下几个部分:
Instance ID
、创建时间、状态等。假设你提交了一个 SQL 作业,并获得了 Instance ID
为 202310141755_0001
,你可以通过以下命令查看 Logview
:
odpscmd -e "logview 202310141755_0001;"
或者通过 Web 控制台:
Instance ID
为 202310141755_0001
的作业,点击“详情”按钮。通过这些步骤,你可以方便地查看和分析 MaxCompute 作业的 Logview
,从而更好地了解作业的执行情况和调试问题。
使用Logview查看作业运行信息
Logview是MaxCompute Job提交后查看和Debug任务的工具。
通过Logview可看到一个Job的如下内容:
任务的运行状态。
任务的运行结果。
任务的细节和每个步骤的进度。
Job提交到MaxCompute后,会生成Logview的链接。您可以直接在浏览器上打开Logview链接,进入查看Job的信息。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。