OSS Select应用实践与使用技巧系列
OSS Select,让用户可以直接使用SQL语句,从OSS文件中选取所需要的内容,而不必读取整个文件的内容。企业级用户使用OSS Select,可将查询条件下推到OSS,为计算应用加速,更好地发挥数据的价值。
智能媒体管理(IMM)文档转换/预览提供 API 按量计费模式
智能媒体管理 (Intelligent Media Management, IMM) 是阿里云的云服务,它通过 文档标准型 实例提供了 Cloud Native 架构的文档转换/预览功能 ,本文介绍 API 按量计费模式的配置。
开箱即用的ECS文件备份来了!
混合云备份是一种简单可靠且经济实惠的在线备份方案。为了让用户更方便的对阿里云ECS作文件备份,混合云备份现推出了ECS文件备份的集中管控功能。用户登陆混合云备份控制台后,只需要三步,就可以走完ECS文件备份/还原的整个流程。
SLS机器学习介绍(02):时序聚类建模
在大型互联网企业中,对海量KPI(关键性能指标)进行监控和异常检测是确保服务质量和可靠性的重要手段。基于互联网的服务型企业(如线上购物、社交网络、搜索引擎等)通过监控各种系统及应用的数以万计的KPI(如CPU利用率、每秒请求量等)来确保服务可靠性。
Spark读写OSS并使用OSS Select来加速查询
Spark读写OSS 基于这篇文章搭建的CDH6以及配置,我们来使Spark能够读写OSS(其他版本的Spark都是类似的做法,不再赘述)。 由于默认Spark并没有将OSS的支持包放到它的CLASSPATH里面,所以我们需要执行如下命令下面的步骤需要在所有的CDH节点执行 进入到$CDH_HO.
OSS Select使用场景及技巧
背景介绍 OSS Select是OSS近期推出的一项新功能,它可以对OSS上的类CSV文件(其他类型文件比如Json也会很快推出)在服务器端运行SQL查询,仅将查询结果返回给客户端。举例来说,假如你有一个10GB的csv日志文件,有一列数据是错误码,想把其中所有错误码等于500的日志找出来,用OSS Select仅仅返回错误码是500的日志,在从而降低用户的数据传输成本以及处理数据的成本,相比在客户端下载整个文件再处理在性能上也可以提高最多到6倍以上。
OSS新特性:支持文件上传、复制时,指定Object的存储类型以及修改已有文件的存储类型
用户在上传、复制文件时,可灵活地指定文件的存储类型为Standard、IA、Archive;用户也可以修改实时修改文件的存储类型,比如从低频型(IA)修改为标准型。
配置云存储网关在线服务支持多个互联VPC-云企业网
1 概述 云存储网关是一款帮助客户在现有本地应用程序、基础设施和数据存储与阿里云之间实现无缝集成的存储服务。通过可在本地和云上部署的兼容行业标准存储协议的虚拟设备,将现有的存储应用程序和工作负载链接阿里云存储服务,无缝对接阿里云的存储和计算服务。
配置云存储网关在线服务支持多个互联VPC-高速通道版
1 概述 云存储网关是一款帮助客户在现有本地应用程序、基础设施和数据存储与阿里云之间实现无缝集成的存储服务。通过可在本地和云上部署的兼容行业标准存储协议的虚拟设备,将现有的存储应用程序和工作负载链接阿里云存储服务,无缝对接阿里云的存储和计算服务。
【转载】智能媒体管理(IMM) Python SDK DEMO
本文针对智能媒体管理的文档转码、图片内容识别、人脸检测、二维码识别、人脸聚类等功能,提供了 Python 的 SDK 使用 DEMO,希望通过这些实例能够尽快帮助使用文档、图片的智能管理能力。
使用Apache Impala(CDH6)查询OSS的数据
CDH6 目前CDH的最新版本是6.0.1,支持Hadoop 3.0.0,本文将介绍如何使CDH6的相关组件(Hadoop/Hive/Spark/Impala等)能够读写OSS。CDH5对OSS的支持在这篇文章介绍。
SLS机器学习介绍(01):时序统计建模
时序数据是业务监控中最多方法,双十一大盘、业务监控系统、系统性能平台等都可以看到他的身影。为了更好的在日志服务平台中,针对时序数据进行进行较好的分析和交互,本团队针对单时序数据数据的各种场景,开发了相应的时序数据处理算法,可直接嵌入在标准的MySQL语法中使用,降低了用户对这类算法的使用难度,提供更好的服务。
CDH5 Hadoop如何支持读写OSS
CDH和CM(Cloudera Manager) CDH (Cloudera’s Distribution, including Apache Hadoop)是众多Hadoop发行版本中的一种,由Cloudera维护,目前有不少用户使用这个发行版本。
HDP2.6 Hadoop如何支持读写OSS
HDP和Ambari HDP(Hortonworks Data Platform)是由Hortonworks发行的大数据平台,里面包含了Hadoop、Hive、HBase等很多开源组件,目前有不少用户直接使用HDP版本的Hadoop。
【最佳实践】如何搭建反向代理服务访问OSS资源?
1.当前存在的问题 无法通过固定的IP方式访问OSS:阿里云OSS通过Restful API方式对外提供服务。最终用户通过OSS默认域名或者绑定的自定义域名方式访问(例如:https://your_bucketname.oss-cn-hangzhou.aliyuncs.com/your_object ) 。
通过Classiclink联通经典网络和云存储网关在线服务
1.概述 云存储网关是一款帮助客户在现有本地应用程序、基础设施和数据存储与阿里云之间实现无缝集成的存储服务。通过可在本地和云上部署的兼容行业标准存储协议的虚拟设备将现有的存储应用程序和工作负载链接阿里云存储服务无缝对接阿里云的存储和计算服务。
【最佳实践】如何通过OSSimport工具将线下数据迁移至金融云OSS?
1. 当前存在的问题: 金融云由于等保要求,不能直接将闪电立方设备寄送到金融云机房。因此,我们还不能通过闪电立方的方式直接迁移数据至金融云OSS。但是金融云提供了另外一种类型的Bucket-金融云公网Bucket。
【最佳实践】使用BYOK密钥加密OSS中对象
1. 服务端加密介绍 使用服务器端加密方式保护静态数据,即OSS将用户数据写入数据中心内的磁盘时,会在对象级别加密数据,并且在访问这些数据时自动解密。用户只需要验证请求是否拥有访问权限。当前OSS支持如下两种服务端加密方式(注意:您不能对同一对象同时应用两种不同类型的服务器端加密方式): 使用由OSS完全托管的服务端加密功能:数据加密密钥的生成和管理,由OSS负责,并采用高强度、多因素的安全措施进行保护。
混合云备份服务搜索功能
背景 为了方便用户快速从大量历史备份中找到想要恢复的文件,混合云备份服务于近日发布了搜索功能。通过搜索功能,用户可以根据备份文件的文件名及其他一些元数据快速、准确地找到备份中的特定文件,并一键恢复到本地。
Serverless下日志采集、存储、分析实践
本文重点介绍了Serverless的发展以及这个浪潮下日志所扮演的角色,并通过阿里云日志服务提供的实时采集、可靠存储、交互式分析能力,为用户搭建Serverless应用日志处理架构提供了两个实践参考。
基于Tablestore打造亿量级订单管理解决方案
一、方案背景 订单系统存在于各行各业,如电商订单、银行流水、运营商话费账单等,是一个非常广泛、通用的系统。对于这类系统,在过去十几年发展中已经形成了经典的做法。但是随着互联网的发展,以及各企业对数据的重视,需要存储和持久化的订单量越来越大。
智能媒体管理(IMM)人脸分组PHP DEMO
智能媒体管理(IMM)提供了高效、准确的人脸识别、人脸分组等相关功能。通过简单的API调用即可实现。以下给出一个PHP的DEMO供参考。
Kubernetes日志采集Sidecar模式介绍
DaemonSet和Sidecar模式各有优缺点,目前没有哪种方式可以适用于所有场景。因此我们阿里云日志服务同时支持了DaemonSet以及Sidecar两种方式,并对每种方式进行了一些额外的改进,更加适用于K8S下的动态场景。
CLI使用案例8:使用CLI了解基础资源使用状况
想要知道日志服务一些重要资源的使用状况?例如: 1. 一个Project的总shard数量是否已经超过了200个限制? 2. Logtail配置、机器组、报表数等是否快要满了? 现在使用CLI一行命令即可实现!
一图胜千言 - 查看态势感知日志分析内置9大报表
本篇介绍如何使用态势感知数据分析的内置报表功能: - 告警中心 - 漏洞中心 - 基线中心 - 登录中心 - 进程中心 - 网络连接中心 - DNS访问中心 - Web访问中心 - 主机对外Http 网络会话中心
态势感知大数据安全重要一环,实时日志分析上线!
态势感知日志服务实时日志分析即将上线!为客户提供更好符合法规的日志管理、安全防护与业务分析能力: * 快速:安全与主机日志分析从十几分钟级提升为秒级,网络日志从几小时级提升为1小时级别 * 全面:覆盖网络、主机、安全三大类共14种子类日志 * 开放:与阿里云、开源生态下流计算、大数据系统融合,.
智能媒体管理产品“文档标准型”使用介绍
智能媒体管理(Intelligent Media Management, IMM) 是阿里云的云服务,它通过 文档标准型 实例提供了 Cloud Native 架构的文档转换/预览功能,本文介绍功能使用、计费相关的配置。
基于TableStore的海量电商订单元数据管理
# 一、背景 订单系统存在于各行各业,如电商订单、银行流水、运营商话费账单等,是一个非常广泛、通用的系统。对于这类系统,在过去十几年发展中已经形成了经典的做法。但是随着互联网的发展,以及各企业对数据的重视,需要存储和持久化的订单量越来越大。
基于TableStore的物联网元数据管理
# 背景 常见的企业级无线接入方案有两种,分别被称作廋AP和胖AP。瘦AP(AC+AP)架构为比较传统的企业级无线接入方案,主要优点就是漫游体验好,但是AC宕机的话会导致所属的AP全部无法工作。对于大型的办公场所,漫游的需求相对较弱,新型的胖AP(无AC,不会因为AC宕机导致网络不可用)+ 云端控制器架构成为了新兴的一种企业无线接入方案,运维人员通过云端对AP进行监控与管理。
表格存储如何在控制台使用多元索引(SearchIndex)功能
# 背景: 多元索引(SearchIndex)是TableStore 2018年重点打造的核心能力,目的是为在线数据平台(TableStore)提供丰富的查询能力, 目前提供了多种索引能力,包括倒排索引、多维空间索引等。
基于OSS+DataLakeAnalytics+QuickBI的Serverless的查询分析和可视化BI
数据存储在OSS后,可以有多种方式查询分析OSS数据,如自建Spark/Presto/Impala(阿里云EMR以及Hadoop社区官方已支持OSS), 使用MaxCompute、DataLakeAnalytics等。
【New Feature】阿里云OSS同城区域冗余存储重磅发布,提供云上同城容灾服务能力!
近日,阿里云在杭州云栖大会发布了OSS“同城区域冗余”存储产品。可满足企业级客户对于”发生机房级灾难事件时数据不丢失,业务不中断“的需求。相比于建设线下同城容灾机房,OSS“同城区域冗余”存储,可以极大的降低企业的建设成本。
通过全局二级索引加速表格存储上的数据查询
名词定义 索引表:对主表某些列数据的索引,只能读不能写。 预定义列:表格存储为Schema-free模型,原则上一行数据可以写入任意列,无需在schema中指定。但是也可以在建表时预先定义一些列,以及其类型。
9.20 杭州云栖CloudLab:环境准备
CloudLab场景介绍 随着信息化的发展,企业每天会产生各式各样的结构化,半结构化的数据。如何高效低成本的存储和处理这些数据,如何充分发挥数据的价值是企业普遍面临的挑战。今天的CloudLab,会带大家手把手部署一个建议的消息系统,让大家体验一下,基于表格存储(TableStore)的Timeline模型可以快速开发一款企业内部的消息系统。
TableStore发布多元索引功能,打造统一的在线数据平台
TableStore发布多元索引功能,提供多字段ad-hoc查询、模糊查询、全文检索、排序、范围查询、嵌套查询、空间查询等功能,打造统一的在线数据平台
【New Feature】基于OSS的WORM特性,提供云上数据合规存储
OSS现在已经支持WORM特性。允许用户以不可擦除、不可重写的方式存储和使用OSS上的数据。这非常适合于金融、保险、在线协作等领域。第三方软件提供商和合作伙伴可以基于OSS的WORM特性提供云上数据合规存储。
在控制台使用OSS Select
对象存储OSS(Object Storage Service)具有海量、可靠、安全、高性能、低成本的特点。OSS提供标准、低频、归档类型,覆盖多种数据从热到冷的存储需求,单个文件的大小从1字节到48.8TB,可以存储的文件个数无限制。
LogHub新增公网IP/服务端到达时间标签
日志服务LogHub功能新增加了两种默认标签:日志写入客户端的公网IP地址和服务端接受日志的时间。客户端公网IP可以用于统计客户端的位置分布。服务端到达时间可以统计日志的实际到达服务端的时间。
混合云备份服务保护阿里云NAS实践
如何在第一时间将负面影响降至最低点,最大限度的减少损失,就成了存储安全的最后一道防线,也就是我们常说的数据恢复。本文就针对这点介绍了如何使用阿里混合云备份服务对阿里云NAS进行数据保护。 阿里混合云备份服务是一套已经商业化的原生备份服务,提供了简单易用,并且高效安全的数据保护方案。
云存储
阿里云存储基于飞天盘古2.0分布式存储系统,产品多种多样,充分满足用户数据存储和迁移上云需求。