阿里云Cloud Shell中使用日志服务CLI最佳实践

本文涉及的产品
对象存储 OSS,20GB 3个月
文件存储 NAS,50GB 3个月
对象存储 OSS,内容安全 1000次 1年
简介: 目前阿里云云命令行Cloud Shell已经部署日志服务CLI,免部署配置,一键管理日志服务资源与下载日志服务数据更轻松!

背景

目前阿里云云命令行Cloud Shell已经部署日志服务的命令行工具(CLI)(版本0.1.16, log-python-sdk-v-0.6.44并会定期升级),且根据当前登录用户自动配置好用户的临时AK和默认Region等。

常用场景

1. 管理日志服务资源

Cloud Shell下的默认Region如下:

中国站:杭州
国际站:新加坡
日本站:东京

因此使用日志服务CLI和常规部署后一样,在操作非默认Region下资源时,也需要切换Region,可以直接在命令行参数--region-endpoint中直接指定,例如以下查看当前用户上海Region下的日志服务Project:

aliyunlog log list_project --format-output=json --region-endpoint=cn-shanghai.log.aliyuncs.com

注意:如果要切换到ECS/局域网Region,目前只支持上海局域网(cn-shanghai-intranet.log.aliyuncs.com),其他Region目前只能是走公网Endpoint。

更多关于日志服务CLI的操作,请访问日志服务CLI文档中心日志服务CLI最佳实践集

2. 下载数据到NAS或者OSS

现有方案比较

也可以直接在Cloud Shell中使用日志服务CLI下载较大量数据,与其他方法的比较如下:

比较 控制台直接下载 本地运行CLI下载 Cloud Shell运行CLI下载 编程下载[2]
最大下载量 查询为前100条,统计是所有 百万级 十万级别[1] 无限
部署 需手工安装 自动部署 手工部署
秘钥传播 需要 自动 需要
局域网下载 支持(需要部署在对应Region ECS上) 仅上海 支持(需要部署在对应Region ECS上)
NAS集成 手动 自动[3] 手动
  1. Cloud Shell默认执行1个小时左右后需要重启
  2. 编程下载需要依赖消费组,可以参考相关最佳实践
  3. NAS在登录Cloud Shell会自动提示是否挂在NAS,确认后会自动在上海Region下并挂在一个的NAS(并提供5GB免费空间,推荐打开)。

操作步骤

  1. 在日志服务交互式界面下选择【通过命令行工具下载数据】时,选择对话框中高亮部分部分复制(注意:不需要复制--access-id开始部分):

image


  1. 打开Cloud Shell

image

  1. 粘贴步骤#1中的文本,并配置一个文件路径例如 >> download.txt

image

  1. 之前已经配置好NAS,可以在上海Region下看到对应的NAS盘:

image

进一步上传到OSS

  1. 运行命令aliyun oss ls可以查看当前可以操作的OSS的Bucket列表(以及Region信息)
  2. 选择合适的目标,运行如下命令
aliyun oss cp download.txt oss://bucket-name --region cn-hangzhou

注意:有一个oss://前缀,--region没有oss-前缀

进一步参考

目录
相关文章
|
7天前
|
存储 数据采集 监控
阿里云DTS踩坑经验分享系列|SLS同步至ClickHouse集群
作为强大的日志服务引擎,SLS 积累了用户海量的数据。为了实现数据的自由流通,DTS 开发了以 SLS 为源的数据同步插件。目前,该插件已经支持将数据从 SLS 同步到 ClickHouse。通过这条高效的同步链路,客户不仅能够利用 SLS 卓越的数据采集和处理能力,还能够充分发挥 ClickHouse 在数据分析和查询性能方面的优势,帮助企业显著提高数据查询速度,同时有效降低存储成本,从而在数据驱动决策和资源优化配置上取得更大成效。
92 9
|
2月前
|
XML JSON 监控
告别简陋:Java日志系统的最佳实践
【10月更文挑战第19天】 在Java开发中,`System.out.println()` 是最基本的输出方法,但它在实际项目中往往被认为是不专业和不足够的。本文将探讨为什么在现代Java应用中应该避免使用 `System.out.println()`,并介绍几种更先进的日志解决方案。
56 1
|
2月前
|
SQL 存储 人工智能
阿里云日志服务的傻瓜式极易预测模型
预测服务有助于提前规划,减少资源消耗和成本。阿里云日志服务的AI预测服务简化了数学建模,仅需SQL操作即可预测未来指标,具备高准确性,并能处理远期预测。此外,通过ScheduledSQL功能,可将预测任务自动化,定时执行并保存结果。
80 3
|
4月前
|
存储 消息中间件 人工智能
AI大模型独角兽 MiniMax 基于阿里云数据库 SelectDB 版内核 Apache Doris 升级日志系统,PB 数据秒级查询响应
早期 MiniMax 基于 Grafana Loki 构建了日志系统,在资源消耗、写入性能及系统稳定性上都面临巨大的挑战。为此 MiniMax 开始寻找全新的日志系统方案,并基于阿里云数据库 SelectDB 版内核 Apache Doris 升级了日志系统,新系统已接入 MiniMax 内部所有业务线日志数据,数据规模为 PB 级, 整体可用性达到 99.9% 以上,10 亿级日志数据的检索速度可实现秒级响应。
AI大模型独角兽 MiniMax 基于阿里云数据库 SelectDB 版内核 Apache Doris 升级日志系统,PB 数据秒级查询响应
|
3月前
|
设计模式 SQL 安全
PHP中的设计模式:单例模式的深入探索与实践在PHP的编程实践中,设计模式是解决常见软件设计问题的最佳实践。单例模式作为设计模式中的一种,确保一个类只有一个实例,并提供全局访问点,广泛应用于配置管理、日志记录和测试框架等场景。本文将深入探讨单例模式的原理、实现方式及其在PHP中的应用,帮助开发者更好地理解和运用这一设计模式。
在PHP开发中,单例模式通过确保类仅有一个实例并提供一个全局访问点,有效管理和访问共享资源。本文详细介绍了单例模式的概念、PHP实现方式及应用场景,并通过具体代码示例展示如何在PHP中实现单例模式以及如何在实际项目中正确使用它来优化代码结构和性能。
49 2
|
2月前
|
监控 网络协议 CDN
阿里云国际监控查询流量、用量查询流量与日志统计流量有差异?
阿里云国际监控查询流量、用量查询流量与日志统计流量有差异?
|
3月前
|
开发者 Python
基于Python的日志管理与最佳实践
日志是开发和调试过程中的重要工具,然而,如何高效地管理和利用日志常常被忽略。本文通过Python中的logging模块,探讨如何使用日志来进行调试、分析与问题排查,并提出了一些实际应用中的优化建议和最佳实践。
|
3月前
|
SQL 人工智能 运维
在阿里云日志服务轻松落地您的AI模型服务——让您的数据更容易产生洞见和实现价值
您有大量的数据,数据的存储和管理消耗您大量的成本,您知道这些数据隐藏着巨大的价值,但是您总觉得还没有把数据的价值变现出来,对吗?来吧,我们用一系列的案例帮您轻松落地AI模型服务,实现数据价值的变现......
231 3
|
4月前
|
JSON Java fastjson
Java日志通关(五) - 最佳实践
作者日常在与其他同学合作时,经常发现不合理的日志配置以及五花八门的日志记录方式,后续作者打算在团队内做一次Java日志的分享,本文是整理出的系列文章第五篇。
|
4月前
|
Java Shell Linux
【Linux入门技巧】新员工必看:用Shell脚本轻松解析应用服务日志
关于如何使用Shell脚本来解析Linux系统中的应用服务日志,提供了脚本实现的详细步骤和技巧,以及一些Shell编程的技能扩展。
62 0
【Linux入门技巧】新员工必看:用Shell脚本轻松解析应用服务日志

相关产品

  • 日志服务