本篇介绍日志服务数据加工的相关概念

### 一、 背景介绍         近年来，物联网（IoT）技术发生了巨大的变化。NB-IoT、LoRa等技术的产生解决了网络覆盖、设备功耗成本问题；尤其是最近5G技术的商用，意味着支持海量设备连接进行高质量数据通讯即将有坚实的基础设施支持。

前言 Elasticsearch 是一个开源的分布式 RESTful 搜索和分析引擎。它可以在近实时条件下，存储，查询和分析海量的数据。它还支持将快照备份至HDFS/S3上面，而阿里云OSS兼容S3的API，本文将介绍如何使用ES的Repository-S3插件将快照备份至OSS。

1.云盘在线扩容介绍  阿里云支持针对正在使用中（running状态）的云盘进行在线扩容，用户无需重启（reboot instance）实例即可完成物理空间扩容。 2.云盘在线扩容操作演示  您可以通过控制台或者API方式完成在线kuo扩容。

摘要 从MySQL到Tablestore的全量数据导出可以参考同系列文章《数据同步-从MySQL到Tablestore》，本文主要介绍将MySQL的增量数据同步到Tablestore的一种方式——使用阿里集团的数据传输服务DTS的数据订阅功能做增量数据的读取以及改写。

如何快速的批量对监控系统中的多时序数据进行异常检测，如何对批量检测的结果进行快速的进行异常模式过滤？ 阿里云日志服务平台，可以让您通过简单的SQL就可以对上千条时序数据进行异常检测，同时快速的针对指定异常模式进行过滤，缩短用户对异常的排查时间。

简介 差不多十年前，随着功能机的淘汰和智能机的普及，互联网开始进入移动互联网时代，最具代表性的产品就是微博、微信，以及后来的今日头条、快手等。这些移动化联网时代的新产品在过去几年间借着智能手机的风高速成长。

### 前言 数据复制主要指通过互联的网络在多台机器上保存相同数据的副本，通过数据复制方案，人们通常希望达到以下目的：1）使数据在地理位置上更接近用户，进而降低访问延迟；2）当部分组件出现故障时，系统依旧可以继续工作，提高可用性；3）扩展至多台机器以同时提供数据访问服务，从而提升读吞吐量。

一、背景   目前上云已经成为行业发展趋势，越来越多的企业级客户将业务系统和数据库迁移到云上。而传统的备份一体机/备份软件方式，并不适合云上ECS、RDS等产品的备份与容灾服务。阿里云块存储服务提供云原生的快照服务，通过针对关键业务系统的自动以及手工快照，确保用户业务系统在发生灾难时，也能够快速进行业务恢复。

数据质量决定运营分析的质量 在上文中，我们介绍了GrowthHacking的整体架构，其中数据采集是整个数据分析的基础，只有有了数据，才能进行有价值的分析；只有高质量的数据，才能驱动高质量的运营分析.可以说,数据质量决定了运营质量。

增长关乎产品的存亡 增长！增长！增长！业务增长是每一个创业者每天面临的最大问题。无论你的产品是APP，还是web，或者是小程序，只能不断的维持用户的增长，才能向资本市场讲出一个好故事，融资活下去。活到最后的产品，才有机会盈利。

基于阿里云文件存储NAS构建高可用的GitLab

Kubernetes（k8s） 凭借着其优良的架构，灵活的扩展能力，丰富的应用编排模型，成为了容器编排领域的事实标准。越来越多的企业拥抱这一趋势，选择 k8s 作为容器化应用的基础设施，逐渐将自己的核心服务迁移到 k8s 之上。

日志服务数据加工上线，介绍了配置数据数据加工时从源logstore到目标logstore进行分发的权限配置细节与样例

日志服务加工功能对每个配置的任务，都提供了免费的规则洞察报表与诊断功能，覆盖了总览指标、消费延迟与速率指标、活跃Shard指标、异常详等

日志服务数据加工上线，本文概述其语法框架与样例，覆盖事件操作宏、事件类操作函数、字段类操作函数、表达式函数等

日志服务数据加工上线，本文介绍规则编排的使用场景，覆盖自由编排、内置字段提取、富化，以及使用内置的100多种表达式函数完成自由灵活的数据加工。

日志服务数据加工上线，本文以SLB日志加工实战为例，覆盖规则编写、控制台交互、权限配置、监控排错等

日志服务数据加工：功能概述

一、LVM简介   LVM是逻辑盘卷管理（Logical Volume Manager）的简称，它是Linux环境下对磁盘分区进行管理的一种机制，LVM是建立在硬盘和分区之上的一个逻辑层，来提高磁盘分区管理的灵活性。

阿里云AI整体解决方案概览

基于阿里云容器服务和文件存储NAS构建自动化持续集成交付环境

本文会简述大数据分析场景需要解决的技术挑战，讨论目前主流大数据架构模式及其发展。最后我们将介绍如何结合云上存储、计算组件，实现更优的通用大数据架构模式，以及该模式可以涵盖的典型数据处理场景。 大数据处理的挑战 现在已经有越来越多的行业和技术领域需求大数据分析系统，例如金融行业需要使用大数据系统结合VaR(value at risk)或者机器学习方案进行信贷风控，零售、餐饮行业需要大数据系统实现辅助销售决策，各种IOT场景需要大数据系统持续聚合和分析时序数据，各大科技公司需要建立大数据分析中台等等。

# 背景 订单系统在各行各业中广泛应用，为消费者、商家后台、促销系统等第三方提供用户、产品、订单等多维度的管理和查询服务。为了挖掘出海量订单数据的潜能，丰富高效的查询必不可少。然而很多时候并不能给出完整准确的查询关键字，例如，只知道收货人姓氏，或是产品名称部分关键字，或是根据收货人手机尾号找到订单，我们将这类查询归为“模糊查询”。

前言 Tablestore是一款NoSQL多模型数据库，可提供海量结构化数据存储以及快速的查询和分析服务。如何将数据导入Tablestore，可以通过SDK/API、控制台、命令行工具直接写入、或者使用离线数据迁移工具DataX等。

为防止滥用消耗过多机器资源，我们对默认安装的Logtail进行了一系列的资源限制。默认安装的Logtail最多日志采集速度为20M/s，20个并发发送。如需提高采集性能，请参考本篇文章。

前言 目前出行市场主要分为传统和新兴两个阵营：私家车、公共交通、出租车和长租车为传统出行提供服务，共享单车、网约车以及分时租赁共享汽车则是最近几年兴起的出行方式。_图1 出行方式分析_出行者往往是在成本和出行便捷之间权衡选择出行方式。

1.RAID简介 RAID是将多个独立的磁盘按照一定的方式组成1个磁盘阵列组，相比单个磁盘能够有效的提高磁盘的容量、带宽以及可靠性和可用性。 说明： 1.不建议对云盘采用RAID5 和RAID6模式，这些RAID模式的奇偶校验数据会占用一定的IOPS，从而造成性能的损失 2.建议创建RAID0,RAID1模式，并使用相同分区大小，以减少云盘空间的浪费 如下是常见的RAID配置选项： 配置 优点 劣势 使用场景 RAID0 I/O在卷内以条带化的方式分布在各个磁盘上。

1.场景简介 若整块磁盘作为1个分区使用（即不存在多个逻辑分区，例如/dev/vda1,/dev/vda2）。请不要在ECS磁盘上创建分区，而是直接在裸设备上创建文件系统。 2.在裸设备上创建文件系统（如下以ubuntu系统举例） 1.以root身份登录Linux系统 运行如下命令，查看磁盘名称： fdisk -l 回显信息如下图所示，表示当前ECS服务器有两块云硬盘，/dev/vda是系统盘，而/dev/vdb是新添加的数据盘。

前言 现在越来越多的人都开始关心自己的运动数据，比如每日的计步、跑步里程、骑行里程等。运动APP与运动类的穿戴设备借助传感器、地图、GPS定位等技术，收集好运动数据以后，通过与互联网社交功能结合，产生了一种新的运动模式。

围绕日志，挖掘其中更大价值，一直是我们团队所关注。在原有日志实时查询基础上，今年SLS在DevOps领域完善了如下功能： - 上下文查询 - 实时Tail和智能聚类，以提高问题调查效率 - 提供多种时序数据的异常检测和预测函数，来做更智能的检查和预测 - 数据分析的结果可视化 - 强大的告...

互联网快速发展的今天，社交类应用、消息类功能大行其道，占据了大量网络流量。大至钉钉、微信、微博、知乎，小至各类App的推送通知，消息类功能几乎成为所有应用的标配。根据场景特点，我们可以将消息类场景归纳成三大类：IM（钉钉、微信）、Feed流（微博、知乎）以及常规消息队列。

Azure在2018年推出了Data Explorer产品，提供实时海量流数据的分析服务（非流计算），面向应用、网站、移动端等设备。以下是对于该产品的解读和学习笔记。

本博文主要为大家介绍阿里云提供的基础云监控、日志服务两大产品，通过云监控与日志服务可以做到每天不需要时刻关注所开发的软件系统、服务器、数据库等健康状况就掌握异常情况，并能及时进行应急响应和处理。

移动应用的打包和分发呈现明显的峰谷效用，用户常常需要短时间内准备大量资源保障分发的实时性，完成分发后又需要及时释放资源，降低成本。本次分享将介绍如何通过函数计算构建 Serverless 架构的包分发服务，在开发运维效率，性能和成本间取得良好的平衡。

表格存储本着提升用户体验的思路，打造《表格存储Tablestore权威指南》。为用户提供可借鉴的开发指导、经典案例。经典案例按照场景应用类型划分，目前提供五类场景：元数据、消息数据、轨迹溯源、科学大数据以及物联网；每个类型下都会提供多种经典场景。

背景 随着人们风险意识的提高与普及，越来越多的人愿意为自己与家人投一份保险，保险行业的飞速发展也带来了许多问题：海量的保险单该如何存储？如何高效地对保险单进行检索？传统的解决方案一般使用MySQL等关系型数据库对数据进行持久化与检索，但是随着数据量的上涨如何进行水平扩展变成了一个问题。

前言 在刚刚过去的2018年，“毒疫苗”事件再次触及了大众的敏感神经，因为十年前的“毒奶粉”事件还历历在目。我们急需创建一个全国性的药品(食品)监控追踪体系。与此同时，近年来随着国家对医药行业的大力支持，中国的医疗事业也出现了跨越式的发展，大量的新型药品上市，极大的丰富了患者和消费者的选择范围。

前言 Fluentd是一个实时开源的数据收集器，基于CRuby实现，td-agent是其商业化版本，由Treasure Data公司维护。本文将介绍如何使Fluentd能够读写OSS。 安装 首先下载并安装td-agent，笔者使用的是td-agent-3.

数据同步-从MySQL到Tablestore DataX是阿里集团广泛使用的离线数据导出工具， 本文将详细介绍如何从MySQL导出全量数据到Tablestore（OTS）中。 一、导出步骤 DataX工具目前已经在github上开源，可以从github上拉到源代码进行本地编译，也可以直接下载编译好的压缩包进行解压直接使用，这里选择本地编译方式。

阿里云文件存储NAS开发测试环境最佳实践

引言 随着近几年物联网的发展，时序数据迎来了一个不小的爆发。为了存储这些时序数据，各大企业纷纷推出自己的时序数据库。Tablestore作为阿里云自研的NoSQL多模型数据库，能够提供海量结构化数据存储以及快速的查询和分析服务，其在存储模型、数据规模以及写入和查询能力上，都能很好的满足时序数据的场景，另外已经支持很多时序类业务，例如监控类的云监控，事件类的阿里健康药品追踪以及快递包裹轨迹等。

对于一个快递公司，在全国范围内有着大量的快递点、快递员、运输车辆以及仓储中心。而快递自产生后，就会在这些地点、人物之间流转。因而，一套完善的快递管理追踪系统是快递公司的重要管理工具； 用户通过平台客户端下单后，产生唯一的快递单号作为唯一身份标识。

前言 气象数据是一类典型的大数据，具有数据量大、时效性高、数据种类丰富等特点。气象数据中大量的数据是时空数据，记录了时间和空间范围内各个点的各个物理量的观测量或者模拟量，每天产生的数据量常在几十TB到上百TB的规模，且在爆发性增长。

前言 IM全称是『Instant Messaging』，中文名是即时通讯。在这个高度信息化的移动互联网时代，生活中IM类产品已经成为必备品，比较有名的如钉钉、微信、QQ等以IM为核心功能的产品。当然目前微信已经成长为一个生态型产品，但其核心功能还是IM。

【最新动态】 为数据计算提供强力引擎，阿里云文件存储 HDFS 公测 在2019年3月的北京峰会上，阿里云正式推出全球首个云原生 HDFS 存储服务—文件存储 HDFS ，为数据分析业务在云上提供可线性扩展的吞吐能力和免运维的快速弹性伸缩能力，降低用户 TCO 。

不同应用需要不一样的存储架构，对IOPS、延时、吞吐的要求不同，没有一个存储产品可以做到完全覆盖所有的应用场景。针对不同场景，阿里云提供满足用户定制化需求的最优存储类型服务。

2019年2月阿里云存储产品月报