技术博文

本文档介绍如何使用Sqoop工具实现文件存储HDFS版和关系型数据库MySQL之间的双向数据迁移。

阿里云SLS告警响应升级，通知渠道新增了对函数计算的支持，从而可以在告警触发的时候进行一定的自动化响应操作，以便进行故障自愈，减轻手动运维压力，提高系统的可用性。

AES加密解密

一键挂载支持在NAS控制台查询、挂载和卸载NFS协议文件系统，自动适配Linux版本，应用最佳挂载参数。无须命令行操作，用图形化界面即可轻松管理NFS协议文件系统的挂载状态。

Zabbix作为常用的开源监控系统，提供了丰富的告警规则用于系统监控，同时支持多种告警通知渠道。您可以将日志服务告警系统设为Zabbix的一个通知渠道，由日志服务告警系统完成告警降噪、通知等处理，并且通过包括短信、电话、微信、钉钉、邮箱在内的10多种通知渠道发送给用户。

SLS新版告警支持多种监控目标，如SLS的日志存储，时序存储；也支持对外部系统如Promethus,Grafana,Zabbix产生的告警进行管理；在对SLS的存储进行监控时，用户可以自定义告警监控规则或者使用内置的告警规则。自定义告警监控规则主要包括监控目标，触发条件，行动配置等。本文主要介绍在创建自定义告警规则时，如何使用统一的查询分析语法来查询并定义监控目标。

在本次测评中，我将对日志服务SLS产品进行全面评估，主要从以下四个方面展开。首先，我将进行功能测试，基于之前参加的两次训练实验，对其功能进行评估。其次，我将与其他数据分析&可观测性产品进行比较，以了解SLS的优势和差异。然后，我将进行成本与收益分析，探讨SLS作为一站式的可观测数据存储分析平台所带来的成本节约和收益提升。最后，我将对SLS进行简要总结，并提出一些期待，希望能够为用户提供有用的参考信息。

文本主要介绍阿里云块存储团队同学们的踩坑经验，总结成案例和方法分享公示，实践和方法论不限于分布式系统。

为了保证多租户场景下，单个用户可以获得与独占资源时相同的体验，云服务需要综合利用负载均衡、请求优先级调度、实例隔离等多项技术，让用户流量恰当地分布在整个集群中。

阿里云对象存储服务OSS前后联调

SLS 的队列功能及上下游生态可以为日志入湖提供端到端的支持，要修高速公路（PaaS/SaaS 数据源），也要去做“村村通”（端、开源软件）。 SLS 入湖支持包括四个部分： ● 可靠的采集能力覆盖 ● 弹性的写入与存储能力 ● 日志 ETL 与入湖准备工作 ● 围绕湖生态的模板支持与一键入湖

本文档主要介绍在挂载文件存储HDFS版的 Hadoop 集群上安装及使用 Tez。

在配置告警通知的时候，通常我们需要知道告警的触发详情。例如Nginx访问错误告警，我们需要知道错误的HTTP Status 分布，错误的机器IP等信息，并且需要将这些信息体现在通知中，以便在接收到告警通知后，能够一目了然地知道发生了什么事情。那么在创建告警规则的时候，我们就需要进行合理的配置，使得告警在触发后，可以将这些信息放在合适的位置发送给通知服务，从而在通知模板里可以被引用到，从而被正确地通知。

SLS发布了一款日志应用：告警管理中心；告警管理中心是一套以业务为中心告警管理运维平台，企业可以将同时将已有的监控告警平台如Zabbix，Prometheus，Datadog等产生的告警和SLS上的Project/Logstore等资源产生的告警添加到告警运维运维中心进行统一的告警管理和通知配置，将相关业务的告警收敛到一个地方进行运维管理，可以有效的提高运维效率。

本文档主要介绍如何在挂载文件存储HDFS版的 Hadoop 集群上安装及使用 Spark。

非常有幸参加了QCon上海站的可观测分会场，并和大家分享阿里在可观测性数据引擎的一些思考和技术实践，本文主要是对于分享的文字整理。

SLS团队联合EBS团队发布了EBS Lens，针对块存储提供数据分析、资源监控的功能，可以帮助用户获取云上块存储资源信息与性能监控数据、提升云上块存储资源的管理效率、高效分析业务波动与资源性能消耗情况。

阿里云日志服务致力于为用户提供统一的可观测性平台，同时支持日志、时序以及Trace数据的查询存储。用户可以基于收集到的各类数据构建统一的监控以及业务大盘，从而及时发现系统异常，感知业务趋势。但是随着收集到的数据量不断增长，特别是遇到业务峰值的时候，大盘报表展示会产生明显的延迟，无法及时查看重要数据。Scheduled SQL支持定时分析数据、存储聚合数据、投影与过滤数据，并将执行的分析结果存入用户指定的日志库或者时序库中，供用户后续分析使用。由于在聚合后数据量将大大小于之前，因而非常适合进行即时数据分析以及大盘展示。

在SLS告警中，告警监控通过对数据源的查询监控，然后产生告警，并将告警发送到告警管理，告警管理会对告警进行降噪处理包括合并抑制静默后，在将告警发送给行动管理，最终发送通知到用户配置的接收渠道。在整个过程中，告警监控作为告警的源头，决定着告警是否能准确的发出。在配置告警监控规则时，配置不当或者配置错误都会导致告警不能触发或者不是希望的触发。本文主要介绍在告警监控中如何进行自助排查问题。

爬虫框架：Scrapy

什么是Selenium

本文主要介绍了OSS-HDFS服务以及使用OSS-HDFS服务平替自建HDFS。

连接1次孤岛，服务N个场景。Tapdata Live Data Platform （LDP）通过为实时数据集成增加一个高速缓存的方式，将企业核心的常用的数据实时复制到缓存层（最后一次ETL），再从缓存层为企业的多个应用场景快速提供数据， 实现一次打通，多次复用的降本增效价值。Tapdata LDP 现已入驻阿里云云市场。

本文主要介绍IDaaS EIAM两种日志（管理操作+用户行为）接入SLS日志审计的最佳实践

K8s丰富的controller为分布式任务编排提供了极大的便利，然而任务的时长可能很短（如定时清理数据的任务），甚至有些任务因为一启动就运行失败出现秒退的情况，这给采集任务日志带来了很大的挑战。本文将基于高性能轻量级可观测采集器iLogtail探讨Job日志的多种采集方案，分析这些方案在不同场景下对日志采集所能做到稳定性保证以及方案优化空间。

为了帮助用户改善查询分析体验，让更多不熟悉SQL语法的用户也能使用SLS进行日志分析，SLS推出了交互式查询分析功能（Data Explorer）。Data Explorer让用户只需一些简单的点击和选择操作即可完成复杂的日志分析场景，助力用户专注于业务分析之上，而无需关注SQL语法细节。

在SLS告警评估、触发到通知的整个生命周期过程中，都会有一些日志记录，通过这些日志我们可以借助告警对系统的整体健康状况、稳定性等有一个相对全面的了解。

Prometheus作为一个开源的云原生监控系统，具有很广泛的应用场景，通过各种Exporter收集各类设备，应用的指标，将各类指标抽象为时序数据，在Prometheus上可以使用PromQL进行高效的指标查询和分析。SLS告警是云上的一站式告警监控运维平台，支持各种Ops场景。SLS告警系统主要包括指标采集，监控系统，告警管理，通知管理等子系统。本文介绍如何将Prometheus告警无缝转换为SLS告警，并使用SLS告警的管理功能。

iLogtail是阿里云中简单日志服务又名“SLS”的采集部分。 它用于收集遥测数据，例如日志、跟踪和指标，目前已经正式开源(https://github.com/alibaba/ilogtail)。本文通过介绍ilogtail如何在K8S环境进行安装、配置、使用的最简流程，帮助用户使用预编译版本快速上手ilogtail日志采集。

本文档介绍文件存储HDFS版和对象存储OSS之间的数据迁移过程。您可以将文件存储HDFS版数据迁移到对象存储OSS，也可以将对象存储OSS的数据迁移到文件存储HDFS版上。

PolarDB是阿里巴巴自主研发的下一代云原生关系型数据库，阿里云日志服务PolarDB Lens围绕其提供了一站式的数据库资产概览、日志采集管理、分析和场景应用落地支持，本文介绍了PolarDB和PolarDB Lens的基本特性，并通过性能实验使读者对PolarDB Lens的功能有一个直观的认知。