|
存储 监控 容器
|

LC3视角:Kubernetes下日志采集、存储与处理技术实践

在Kubernetes服务化、日志处理实时化以及日志集中式存储趋势下,Kubernetes日志处理上也遇到的新挑战,包括:容器动态采集、大流量性能瓶颈、日志路由管理等问题。本文介绍了“Logtail + 日志服务 + 生态”架构,介绍了:Logtail客户端在Kubernetes日志采集场景下的优势;日志服务作为基础设施一站式解决实时读写、HTAP两大日志强需求;日志服务数据的开放性以及与云产品、开源社区相结合,在实时计算、可视化、采集上为用户提供的丰富选择。

14190 0
|
安全 对象存储 Python
|

【最佳实践】如何通过OSS的Bucket Policy设置访问授权?

OSS控制台支持图形化设置Bucket Policy。通过Bucket Policy允许Bucket Owner直接进行访问授权控制,而不需要通过RAM 进行授权。Bucket Policy可以实现带IP条件限制的匿名用户访问策略设置以及跨账号授权策略设置;

10543 1
|
JSON 监控 关系型数据库
|

日志服务(2018-08)6月新功能发布

阿里云日志服务6月新功能发布

2452 0
|
数据采集 监控 应用服务中间件
|

Nginx监控数据采集与分析

本文主要介绍通过日志服务logtail采集nginx status信息,并对采集的status信息进行查询、统计、搭建仪表盘、建立自定义报警,对您的nginx集群进行全方位的监控。

6958 0
|
数据采集 监控 应用服务中间件
|

如何将内网服务器数据采集到日志服务

1.背景公司内部服务器都没有公网访问权限,只有少数网关机可以访问公网,但需要将日志采集到阿里云日志服务进行实时分析,因此需要配置网关机转发来实现内网服务器的日志采集。 2.准备材料 一台可以访问外网的网关机 1.

4055 0
来自: 日志服务SLS  版块
|
存储 监控 BI
|

阿里云DDoS高防 - 访问与攻击日志实时分析(四)

本文介绍了DDoS日志实时分析功能的费用计量细节与案例。

3084 0
|
监控 BI 网络安全
|

阿里云DDoS高防 - 访问与攻击日志实时分析(三)

本文介绍了DDoS日志分析功能的日志报表的使用方法。

3476 0
|
SQL Web App开发 监控
|

日志OLAP:在SQL中使用UDF, lambda函数使用案例

场景 日志服务内置了20+类SQL函数。面对用户复杂的业务场景,例如使用json来沉淀业务数据,普通的SQL函数可能就无法满足需求,需要一些用户自定义处理逻辑。为了处理json类的业务数据,我们可以采用把json展开成多行的形式进行统计分析,今天我们介绍使用UDF(lambda)的方式来编写自定义逻辑,处理json、array、map类型的数据。

1998 0
|
存储 算法 虚拟化
|

阿里云混合云备份服务

随着企业信息化程度越来越高以及业务的快速发展,各类数据成指数级增长,数据安全对企业的成功和业务的持续运营变得越来越重要。如何保证重要业务数据的可靠性,确保在出现灾难或者操作失误的情况下,能找回以前的数据拷贝,如何在最短的时间窗口完成数据的快速备份,如何实现备份数据的异地容灾存放,这些挑战让企业IT管理者不得不重新审视重要业务数据的保护方法。

2730 0
|
SQL 监控 关系型数据库
|

如何开启MySQL慢查询日志

7936 0
|
SQL JSON 数据格式
|

SQL老司机,在SQL中计算 array & map & json数据

场景 通常,我们处理数据,一列数据类型要么是字符串,要么是数字,这些都是primitive类型的数据。在某些比较复杂的业务场景下,我们会在一列中使用复杂的格式,例如数组array, 对象(map),json等格式来表示复杂的数据,例如: __source__: 11.

10154 0
|
监控
|

日志服务支持Shard自动分裂

日志服务提供Shard自动分裂功能,实时监控Shard流量,自动进行shard分裂以应对流量上涨,解决流量估算不准、随时可能上涨又难以及时处理的问题,保障数据完整。

8961 0
|
存储 MySQL 关系型数据库
|

MySQL多线程并发调优

9551 0
|
Shell 对象存储
|

【最佳实践】OSS开源工具ossutil-调节并发参数[英文版]

前言 前面支持一个国外客户,使用ossutil上传文件到OSS,一直调整不好--jobs和--parallel参数。因此给客户写了一篇简单的英文文档。 用户可从这里获取ossutil。 官网: https://help.

2986 0
|
网络协议 Shell 对象存储
|

【最佳实践】OSS开源工具ossutil-Cannot assign requested address解决方案

问题 某用户使用如下命令上传目录到OSS,中间隐去bucket name。 ./ossutil cp oss:///img/330802010400071904 -r -j 15 /home/oss/video-algorithm/ 出现如下错误。

8390 0
|
存储 安全 专有云
|

极致性能、安全可靠 阿里云推出首个企业级块存储产品Apsara Block Storage

6月14日,阿里云宣布推出首个可部署在本地数据中心的企业级块存储产品Apsara Block Storage,该产品基于分布式架构,具备高可靠、高性能、弹性扩展、全面兼容等特点,可轻松部署在本地数据中心,帮助政府、金融、大型企业等构建大规模分布式块存储平台,应对海量数据的敏捷存取需求。

2140 0
来自: 块存储  版块
|
存储 缓存 关系型数据库
|

MySQL执行计划解析

前言 在实际数据库项目开发中,由于我们不知道实际查询时数据库里发生了什么,也不知道数据库是如何扫描表、如何使用索引的,因此,我们能感知到的就只有SQL语句的执行时间。尤其在数据规模比较大的场景下,如何写查询、优化查询、如何使用索引就显得很重要了。

22228 1
|
监控 Kubernetes 容器
|

Kubernets日志采集配置模式介绍与对比

为提供更优的扩展性、灵活性,Logtail采集的配置与K8S中的Deploy/Pod配置完全解耦,两者可以一起部署也可以独立部署,具体取决于您的实际应用和业务需求。下面我们介绍几种典型的配置方式,以便于您在实际应用中进行参考。

3712 0
|
监控 数据格式 容器
|

Kubernetes中Logtail日志采集CRD配置详解

日志采集配置默认支持控制台配置方式,同时针对Kubernetes微服务开发模式,我们还提供CRD的配置方式,您可以直接使用kubectl对配置进行管理。

5769 0
|
Web App开发 XML Shell
|

【最佳实践】OSS开源工具ossutil-大文件断点续传

# OSS断点续传 ## 应用场景 当调用OSS的PutObject来上传较大的文件时,如果上传过程中出现错误,比如网络错误,那么此次上传失败。重试时必须从文件起始位置上传。 针对这种情况,OSS提供了分片上传(Multipart Upload)来达到断点续传的效果。

13242 0
|
对象存储
|

【最佳实践】OSS开源工具ossutil-增量上传

经常碰到内部同学或者外部客户问ossutil关于增量上传的问题。本文简单描述下原理并举例说明。 # 应用场景 ## 场景一 某用户有一批文件(比如1000个)要上传到OSS(或从OSS下载,或从OSS拷贝到OSS,下同),当执行批量上传的过程中出现失败(比如在上传第601个文件时失败)。

7138 0
|
对象存储
|

【最佳实践】OSS开源工具ossutil-过滤参数include/exclude

# 应用场景 某些用户在本地或者OSS上存放了不同类型的文件,比如jpg文件和pptx文件。用户希望在(批量)上传jpg文件的时候设置不同的meta和ACL,而(批量)上传pptx文件的时候设置另外的meta和ACL。

5330 0
|
对象存储
|

【最佳实践】OSS开源工具ossutil-ls --marker使用方法

经常碰到有内部同学和外部客户问ossutil在list的时候marker如何使用,这篇短文可以帮到您。 ossutil的ls命令默认情况下回列出给定bucket/prefix的所有object。--marker参数可以指定从该位置开始list。

2661 0
|
存储 数据采集 监控
|

上海云栖Clouder Lab—小微金融业务跨平台数据共享与处理课程实践

近来各类小微金融业务不断涌现,这些数字化金融创新背后是各种复杂的数据采集、交换、以及构建的过程。 本次Clouder Lab的课程中,我们会以一个第三方支付业务的风控场景为案例,演示如何通过阿里云产品解决核心数据互通的痛点,通过Serverless架构应对业务增长,通过与各计算分析引擎支持建立风控平台对机构和用户进行服务。

2154 0
|
监控
|

日志服务(Log service)5月控制台更新指南

概览 日志查询分析框全面增强 SLB日志分发支持国内Region,仪表盘优化 支持数据永久保存 图表属性相关开放国际站和日本站 可视化图形细节提升 部分已知bug修复 日志查询分析框全面增强 提升可视区域,支持换行编辑查询分析语句 关键字、操作符、函数高亮,查询分析语句更加易读 交互式编辑体验,关键字、200+内置函数以及字段索引自动提升,提升你的编辑体验 SLB日志分发支持国内Region,仪表盘优化 SLB日志分发功能目前已经支持所有的国内Region项目进行分发,优化了默认的字段索引以及仪表盘,欢迎试用。

1438 0
|
存储 对象存储
|

对象存储OSS标准型降价回馈,分享存储规模和技术升级的红利

为回馈客户并分享OSS存储规模和技术不断升级带来的红利,阿里云OSS标准型存储单价,中国大陆所有区域统一降为0.120元/GB/月,降幅18.9%。

5813 0
|
SQL 对象存储
|

Severless SQL on OSS 实验

数据存储在OSS后,可以有多种方式查询分析OSS数据,如自建Spark/Presto/Impala(阿里云EMR以及Hadoop社区官方已支持OSS), 使用MaxCompute、DataLakeAnalytics等。

2639 0
|
存储 缓存 安全
|

架起线上线下存储桥梁,云存储网关开放性能型文件网关及块网关公测

云存储网关支持行业标准的文件和块存储协议,可以通过在本地缓存经常访问的数据来提供低延迟高性能, 让企业或个人安全地将数据存储在阿里云OSS中,最新发布的“性能型文件网关”和“块网关”现已开通公测。

1925 0
|
大数据 应用服务中间件 对象存储
|

OSS直传与UXCore-Uploader实践

本文是我们OSS的用户自己写的一篇文章,笔者做了简单的修改。这里代发。感谢这位用户对OSS的了解如此深! 背景 视联网业务中,需要存储大量的图片、视频等素材资源,为应对这种大数据文件的存储,就接入了阿里云对象存储服务(Object Storage Service,简称 OSS)。

2933 0
|
监控 Python
|

使用Python Log Handler自动上传并解析KV格式的日志

Python Logging Handler可以无需写代码自动高效上传日志, 还可以像Splunk一样对KV格式自动解析字段. 本文介绍如何简单配置.

2508 0
|
Web App开发 JSON 监控
|

使用Python Log Handler自动上传并解析JSON格式的日志

Python Logging Handler可以无需写代码自动高效上传日志, 对JSON格式还可以自动解析字段. 本文介绍如何简单配置.

3092 0
|
监控 Kubernetes 开发工具
|

再次升级!阿里云Kubernetes日志解决方案

今天阿里云Kubernetes日志解决方案再次升级,为您带来以下改进: 1、极致部署体验:只需一条命令一个参数即可完成整个K8S集群的日志解决方案部署。 2、支持更多配置方式:除原生控制台、SDK配置方式外,支持通过CRD方式进行配置(kubectl、控制台、K8S openapi)。

8786 0
|
存储 分布式计算 NoSQL
|

表格存储降价啦,来看看可以省多少钱!

作为为一款完全自研的分布式NoSQL数据库服务,表格存储在性能、稳定性、功能等方便不断的迭代优化,而单机性能的提高也意味着使用单价的降低,同时由于用户规模的扩大,表格存储对按量读写单价进行了最大50%的下调。

2474 0
|
存储 监控 关系型数据库
|

游戏日志分析5:数据库与日志关联分析

在日志分析场景中,我们经常会遇到数据分散在各地场景,例如: 1. 用户操作、行为相关的数据在日志中 2. 用户属性、注册信息,资金、道具等状态存在DB中 3. 根据1和2我们需要对用户进行分层统计,将最后的计算结果写入DB中供报表系统查询 因此为了做分析,我们要在日志服务Logstore.

5922 0
|
数据采集 运维 监控
|

游戏日志分析2:全方位数据采集

在上一篇文章中,我们介绍了日志数据对游戏的重要性,这一篇我们来讨论下如何高效地实施全方位无死角的日志采集。

6093 0
|
运维 监控 数据库
|

游戏日志分析1:概览

介绍如何进行游戏日志处理与分析

5629 0
|
监控 应用服务中间件 nginx
|

Logtail从入门到精通(五):分隔符Nginx访问日志采集实战

除正则表达式方式外,日志服务还支持分隔符模式的日志,分隔符支持单字符和多字符两种方式。本文通过Nginx分隔符访问日志为大家介绍如何使用Logtail采集分隔符类型的日志。

4446 0
|
存储 分布式计算 监控
|

如何使用表格存储控制台进行数据监控

### 摘要 2018年5月10号,表格存储新版控制台的监控功能正式上线,优化后的监控功能,不仅可以为用户提供自定义时间段的监控信息查看,增加了对错误率的展示,还提供了更丰富的监控指标,能够清晰的看到指定时间段内诸如总访问量、CU总消耗、请求行数、流量等监控指标,同时,对监控的粒度也进行了提升,从5分钟提高到60秒。

7936 0
|
存储 NoSQL API
|

如何使用表格存储控制台进行数据管理

#### 摘要 表格存储(TableStore)是构建在阿里云飞天分布式系统之上的 NoSQL 数据存储服务,提供海量结构化数据的存储和实时访问,数据读写是表格存储产品化最重要的功能之一。 本文首先介绍了表格存储原有的数据读写工具及不足之处,接着介绍了表格存储的数据模型,然后对控制台的数据读写功能进行了详尽的阐述,最后对控制台的数据读写功能进行了总结和展望。

5172 0
|
前端开发 JavaScript 开发工具
|

React Native SDK for OSS

此文主要介绍 React Native SDK for OSS的方方面面,包括相关基本概念、项目背景、项目方案、环境搭建运行、使用姿势、注意事项等。文末的附件可运行Example Zip压缩包和针对新手的入门实用文章《从0开始搭建React Native for OSS项目》。

7118 0
|
SQL API 对象存储
|

OSS重磅推出OSS Select——使用SQL选取文件的内容

OSS重磅推出OSS Select功能,可以直接使用简单的SQL语句,从OSS的文件中选取所需要的内容

27988 0
|
存储 JSON NoSQL
|

如何将DynamoDB的数据增量迁移到表格存储

AWS 的 Amazon DynamoDB 和阿里云的表格存储 TableStore 都是完全托管的NoSQL数据库服务,提供快速的、可预期的性能,并且可以实现无缝扩展。本篇文章介绍了如何使用 Lambda 将 DynamoDB 的数据增量迁移到表格存储中。

18947 0
|
存储 监控 Java
|

Logtail从入门到精通(四):正则表达式Java日志采集实战

为简化日志接入门槛,我们提供了极简模式的日志解析方式(如[开启日志采集之旅]()中的介绍)。为了更好的对日志进行分析,我们还提供了其他解析方式,例如:分隔符模式、完整正则模式、JSON模式等。本文将为大家介绍如何使用完整正则解析模式。

7242 0
|
存储 监控 NoSQL
|

使用函数计算对表格存储中数据做简单清洗

表格存储的增量数据流功能能够使用户使用API获取Table Store表中增量数据,并可以进行增量数据流的实时增量分析、数据增量同步等。通过创建Table Store触发器,能够实现Table Store Stream和函数计算的自动对接,让计算函数中自定义的程序逻辑自动处理Table Store表中发生的数据修改,充分的利用了函数计算全托管、弹性伸缩的特点。

3378 0
|
Web App开发 监控 对象存储
|

日志服务(Log service)4月控制台更新指南

概览 查询界面全新视图 支持查询页面以及仪表盘页面内嵌 支持OSS访问日志向导以及安骑士访问日志向导 时间选择器全面加强 部分细节优化和已知bug修复 一.查询界面全新视图 左侧标签页替换为资源树状结构,直接展示用户的日志库、快速查询和仪表盘列表。

2396 0
|
前端开发 安全 Java
|

智能媒体管理产品文档转换/预览功能介绍(4)--快速搭建

智能媒体管理提供了 Cloud Native 架构的文档转换/预览服务,本文介绍快速搭建的示例,让您用 DIY 的体验方式实现文档预览功能。

6194 0
|
监控
|

日志服务时间选择器增强

日志服务(Log Service)提供给用户丰富的时间选择功能,意图帮助用户快速选择时间段对日志信息进行查询和分析。主要包括3个大类 相对时间 整点时间 自定义时间 一、相对时间 相对时间的计算方式为: 当前时间精确到秒 - 窗口 如当前时间为2018-04-26 21:14:32,时间窗口大小.

4945 0
|
PHP 对象存储
|

ThinkPHP 5使用OSS

ThinkPHP 5使用OSS示例。

5702 0

云存储

阿里云存储基于飞天盘古2.0分布式存储系统,产品多种多样,充分满足用户数据存储和迁移上云需求。

0
今日
8275
内容
45
活动
195454
关注
你好!
登录掌握更多精彩内容

相关产品

  • 对象存储
  • 文件存储 NAS
  • 日志服务