日志服务发布IPython/Jupyter Notebook扩展，可以轻松地使用Python对海量数据进行深度加工（ETL）、交互式分析（通过SQL、DataFrame）、机器学习与可视化等。

第一章：用户使用场景介绍   阿里云控制台提供了各个产品相关图形化配置，并且功能比较齐全。对于用户来说，学习成本低、易操作、易上手。因此，绝大多数用户使用主账号登录控制台进行日常的运维管理操作。由于主账号对其名下的所有阿里云资源都拥有完全控制的权限，一旦主账号的登录密码泄露，该账号下的资产将面临极大的损失，甚至有可能被他人恶意使用而造成相关法律风险。

1 背景     OSS推出的全球加速功能，客户端离OSS数据中心距离越远加速效果就会越好，比如跨洋或者跨大洲预期会有数倍的性能提升，但是对于很多OSS用户，并不一定需要在所有区域加速。     比如用户在国内有个Bucket，用户会在全球各地上传或下载这个Bucket 内的数据，由于OSS本身提供优质的网络及高质量的BGP多线接入能力，在国内大部分区域访问OSS速度都能做到“很快”，此时如果在国内也使用传输加速的话可以做到“更快”，但是“很快”其实已经能够满足大部分用户的需求，用户不愿意为从“很快”到“更快”买单。

安骑士与日志服务打通，对外开放平台依赖或者产生的日志，包括主机、安全共11种子类日志。提供免费180天的实时的日志自动采集存储、并提供基于日志服务的查询分析、报表报警、下游计算对接与投递的能力。

## 简介 随着存储团队的产品愈加丰富，我们发现处理对文件、内容本身的高性能、稳定、安全存储之外，用户更多的对挖掘存储内容对价值提出了要求。对于多媒体文件（如图片、视频、音频、文档等），其包含的信息量是非常丰富的。如何将这些信息激活，有效的进行管理和检索，是 智能媒体管理(IMM) 尝试解决的问题。 ## 媒体集 Set 为此，IMM 设计了 媒体集 ( Set ) 的概念，表示

我们在上一篇文章中介绍了不同部署形式下应用的升级方法，同时展示了如何配置停机发布、滚动发布这两类 k8s 原生支持的部署升级策略。本文将介绍如何通过二次开发或使用一些第三方工具在 k8s 中实现应用的蓝绿发布、金丝雀发布和 A/B 测试。

随着小步快跑、快速迭代的开发模式被越来越多的互联网企业认同和采用，应用的变更、升级频率变得越来越频繁。为了应对不同的升级需求，保证升级过程平稳顺利地进行，诞生了一系列的部署发布模式。

一、阿里云提供完善且全面的权限管控体系     阿里云提供业内最为完善的权限管控体系，涵盖了“基于资源的权限管理”以及“基于用户的权限管理”层面。并且阿里云“访问控制”采用基于ABAC（Attribute Based Access Control）而不是简单的RBAC（Role Based Access Control），用户可以访问者的当前环境属性（例如，current time、source ip、HTTP访问方式、prefix等参数）判断是否具有相应的操作权限。

在服务构建中，我们经常需要对用户的图片做进一步分析。本文利用 智能媒体管理（IMM） 提供的图片索引功能，快速搭建一个人脸搜索的功能，示例使用 Python 2.7 实现。

本文将重点介绍如何使用syslog（通过UDP/TCP/TLS)与SIEM(如IBM Qradar, HP Arcsight, Splunk等)对接，确保传输的性能与可靠性，以便确保阿里云上的所有法规、审计、与其他相关日志能够导入到您的安全运维中心（SOC）中。

介绍日志服务命令行工具ETL灵活的扩展UDF，包括协议、规则与样例等

介绍日志服务命令行工具ETL简单、全面、灵活的日志规则编排与转换方式，编排覆盖分发、分裂、删减等；转换包括：JSON、KV、正则表达式、CSV、Lookup等

日志服务命令行工具ETL发布，解决数据采集、分析查询、投递归档、外部整合过程中的数据规整痛点，提供实时、可靠、可扩展、可管理的运行模式支持，以及全面简单的ETL规则，并支持丰富的扩展支持。

阿里云WAF的日志分析的运营中心报表再升级，以拓扑图的形式展示关键指标，支持交互与过滤、更好的大盘投屏方式

# Tunnel Service Go SDK ## 安装 * 下载源码包 ```bash go get github.com/aliyun/aliyun-tablestore-go-sdk/tunnel ``` * 安装依赖 * 可以在tunnel目录下使用dep安装依赖 * 安装[dep](https://github.

前言 前面一文主要讲了NMDB的起源、业务场景以及Media Document数据模型，而本节主要讲述NMDB的系统架构、核心模块以及底层技术。在深入了解其架构之前，我们先要明确NMDB的定位和功能设计目标，先看下Netflix内部视频处理的整个流程： 算法处理：Netflix内部有一个Archer平台，在其上运行各种算法来提取视频数据中的元数据，例如提取视频帧中文字信息，提取的元数据为一个Media Document。

前言 Netflix（美国最大的PGC视频内容商）在18年下半年陆续发了几篇文章来讲述他们内部的NMDB系统的设计和实现，NMDB的全称是Netflix Media Database，用于解决Netflix内部视频结构化数据的统一存储和分析问题。

随着容器技术的普及，越来越多的应用被容器化。人们使用容器的频率越来越高，但常常忽略一个基本但又非常重要的问题 - 容器镜像的体积。本文将介绍精简容器镜像的必要性并以基于 spring boot 的 java 应用为例描述最小化容器镜像的常用技巧。

日志服务（SLS）11-12月功能发布合集

性能诊断是软件工程师在日常工作中需要经常面对和解决的问题，在用户体验至上的今天，解决好应用的性能问题能带来非常大的收益。Java 作为最流行的编程语言之一，其应用性能诊断一直受到业界广泛关注。可能造成 Java 应用出现性能问题的因素非常多，例如线程控制、磁盘读写、数据库访问、网络I/O、垃圾收集等。

前言 logstash 是开源的服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的 “存储库” 中。 目前logstash已经支持了很多输入和输出插件，本文主要介绍如何使用logstash output oss插件将日志导入OSS。

本文主要介绍了机器学习算法在时间序列预测领域的相关应用和实践，为了更好的适应复杂的实际业务场景，我们探索了小波变换在时序分析中的应用，通过引入小波操作，可以较好的剔除序列中的高频噪声，对序列的整体趋势把握的更好。

一、实战背景 什么是DLA（DataLake Analytics数据湖）？他是无服务器化（Serverless）的云上交互式查询分析服务。

日志无处不在，它作为记录世间万物变化的载体，在运维、研发、运营、安全、BI、审计等领域有着广泛的应用场景。阿里云日志服务是日志类数据的一站式服务平台，其核心组件 LogHub 凭借着高吞吐、低延迟、可自动伸缩等特性，逐渐成为大数据处理领域特别是实时数据处理场景下的基础设施。

Aliyun LOG Java Producer 是为运行在大数据、高并发场景下的 Java 应用量身打造的高性能写 LogHub 类库。相对于原始的 API 或 SDK，使用 producer 写数据能为您带来诸多优势，包括高性能、计算与 I/O 逻辑分离、资源可控制等。

利用模式挖掘中的算法（Apriori Tree、FP-Growth Tree）进行相关的模式挖掘。针对文本中的各个字段信息的统计模式，得到数据中的关联关系，将海量日志中有频繁的模式进行分析。同时可以针对不同的条件进行差异的模式分析，可以快速的辅助分析日志中的有价值信息。

1. OSS C SDK，是否支持在mac系统上运行？ 解答：不支持。 截止本文撰写之际，官网文档基于OSS C SDK 3.6.0编写。 兼容性 对于3.*.*系列SDK：兼容。 对于 2.*.*系列SDK： Windows兼容。

1. OSS控制台不支持上传文件夹，是否有其它方式可以支持？ 解答：OSS提供了ossutil工具，支持文件夹上传。 使用cp命令进行上传/下载/拷贝文件时： 使用-r选项来拷贝文件夹 详见官网说明:https://help.aliyun.com/document_detail/50561.html Github：http://github.com/aliyun/ossutil 2. OSS的URL，怎么将失效时间设置得久一点？ 解答：请使用ossutil工具。

1. OSS最大支持多大的文件？ 解答：非multipart方式上传，最大支持5GB的文件; multipart方式上传，最大支持48.8TB。 通过控制台上传、简单上传、表单上传、追加上传的文件大小不能超过5GB， 要上传大小超过5GB的文件必须使用断点续传方式。

阿里云反爬管理与日志服务打通，对外开放访问与机器人攻击日志。提供近实时的网站具体的日志自动采集存储、并提供基于日志服务的查询分析、报表报警、下游计算对接与投递的能力。

提供实时日志智能聚类(LogReduce)功能，根据日志的相似性进行聚类，快速掌握日志全貌，也不用担心重要信息被淹没在海量日志中，为系统稳定运行保驾护航！

阿里云对象存储用户众多。很多用户需要对OSS内的数据做线上或者线下的备份。本文介绍的基于云存储网关和混合云备份的OSS数据备份方案，不仅能保证OSS数据按策略的多版本备份，而且配置简单，性能好，效率高，成本低。

Fission 是由私有云服务提供商领导开源的 serverless 产品，它借助 kubernetes 灵活强大的编排能力完成容器的管理调度工作，而将重心投入到 FaaS 功能的开发上，其发展目标是成为 AWS lambda 的开源替代品。

通过分析序列进行合理预测，做到提前掌握未来的发展趋势，为业务决策提供依据，这也是决策科学化的前提。 时间序列就是按时间顺序排列的一组数据序列。时间序列分析就是发现这组数据的变动规律并用于预测的统计技术。

SMB网络文件系统协议, 全名服务器消息块（Server Message Block），曾用名CIFS（通用互联网文件系统 Common Internet File System）, 公元1983年诞生于IBM[1]，幼年得到英特尔和微软的照料，最终在微软的培养下成长为当今世上网络文件系统协议两极之一的存在。

OSS开放IPv6/IPv4双栈域名，可同时支持IPv6/IPv4客户端的访问，支持下一代互联网技术IPv6，可服务海量物理网设备连接等应用场景。

数据库作为企业的重要资产，数据备份必不可少。混合云备份推出的备份工作流功能作为备份数据库上云的一种解决方案，使用简单，备份可靠，并且可以订制各种数据库的备份。接下来我们以SQL Server为例，介绍一种利用混合云备份的工作流备份SQL Server的最佳实践。

背景 Serverless 架构的出现让开发者不用过多地考虑传统的服务器采购、硬件运维、网络拓扑、资源扩容等问题，可以将更多的精力放在业务的拓展和创新上。 随着 serverless 概念的深入人心，各大云计算厂商纷纷推出了各自的 serverless 产品，其中比较有代表性的有 AWS lambda、Azure Function、Google Cloud Functions、阿里云函数计算等。

1.Terraform简介    Terraform 是一个开源的自动化的资源编排工具，支持多家云服务提供商。阿里云作为第三大云服务提供商，terraform-alicloud-provider 已经支持了超过 90 多个 Resource 和 Data Source，覆盖20多个服务和产品，吸引了越来越多的开发者加入到阿里云Terraform生态的建设中。

一、方案背景 用户存储海量的文档、媒体文件等数据的同时，对文件元数据（Mate）的管理不可或缺。元数据拥有多维度的字段信息，基本信息包含文件大小、创建时间、用户等。随着人工智能的发展，通过AI技术提取文件核心要素也成为文件元数据的重要信息。

2018天猫双11，阿里云文件存储支撑了关键业务的消息系统存储，在应对几十倍于平时的大流量时，系统表现稳定，帮助业务系统完美度过尖峰流量的考验。本文将介绍阿里云文件存储的背景，以及文件存储是如何来保障业务系统应对高压力的。

本文以 Docker 为例，依托阿里云日志服务团队在日志领域深耕多年积累下的丰富经验，介绍容器日志处理的一般方法和最佳实践。

ossutil发布1.4.2版本，支持上传、复制文件或目录时指定存储类型，支持访问请求者付费模式的Bucket，上传或下载文件时显示传输速度

IMM服务（智能媒体管理）的 API 提供异步接口能力，处理大文件的文档转码、图像或者视频的 AI 处理，此时采用轮训的方式（比如文档转码的 GetOfficeConversionTask接口）效率不高，通过 MNS 队列通知获取异步任务执行结果是一种高效的方式，转载文章提供了 Python 示例，供大家参考。

日志服务团队具备强大的日志采集功能，针对建立索引的日志进行快速的查询和分析能力。基于此，我们团队将时序数据分析功能整合到日志服务中去，结合更加强大的告警功能，帮助用户根据自己的业务需求，快速的构建报警规则，提高效率。

基于TableStore轻松实现亿量级轨迹管理与地理围栏

如何使用TableStore打造店铺搜索系统

第一章：OSS沙箱说明   阿里云OSS不承担网络攻击的防护义务。如果用户的Bucket正在遭受攻击或者有受攻击的风险，OSS会自动将被攻击的Bucket切入到沙箱。沙箱中的Bucket仍然可以正常响应请求，但是用户有可能明显感受到该Bucket服务质量的下降。