使用MaxCompute访问TableStore(OTS) 简明手册
大数据计算服务 MaxCompute 能够提供强大的分析能力,而分布式 NoSQL 数据库表格存储在行级别上的实时更新和可覆盖性写入等特性,相对于 MaxCompute 内置表 append-only 批量操作,提供了一个很好的补充。
超级快递——如何用系统来保证快递准时送达
随着电商的发展,人们对快递的准时性的要求不断提高,而日增量数以亿级的快递状态信息的存储、异常状态的检测都是令人头疼的问题。在本文中,我们使用分布式NoSQL数据库TableStore与全托管的消息服务来解决这个难题。
如何使用OSS事件通知功能?
概述 图片内容分享平台、音视频平台如何及时的感知有新数据上传到OSS?如何及时感知相关内容发生了更新?如何及时感知重要文件被删除?如何知晓OSS上数据同步已经完成?OSS推出了“事件通知”功能,能够对大家所关心的OSS资源上的相关操作及时的进行消息通知。
阿里云文件存储助力悦跑圈上云之成功案例
广州悦跑信息科技有限公司是一家专注于通过移动互联网应用以及跑步社交运动和线下赛事活动为中国跑步爱好者提供全方位服务的高科技企业。截止2017年1月,旗下悦跑圈APP用户规模达3000万。 作为典型的O2O的应用悦跑圈需要在服务器端维护海量的核心业务数据并且需要高可用、高可靠和稳定安全的平台来存储数据。
深入对比 HBase 与阿里云的表格存储服务
谷歌的 Bigtable 于 2016 年推出了兼容 HBase 的接口,而作为国内最早推出分布式 NoSQL 数据存储服务的阿里云表格存储也在最近正式发布了HBase Client,能够帮助用户将业务轻松从 HBase 迁移至表格存储。
如何使用表格存储实现网盘文件的极速秒传
目前不少云备份、网盘等产品都提供了秒传的功能,一方面能够显著的提高了用户的使用体验,另外一方面由于避免了不必要的文件传输,又有效的降低了存储成本与带宽成本。
使用DataX同步MaxCompute数据到TableStore(原OTS)优化指南
概述 现在越来越多的技术架构下会组合使用MaxCompute和TableStore,用MaxCompute作大数据分析,计算的结果会导出到TableStore提供在线访问。MaxCompute提供海量数据计算的能力,而TableStore提供海量数据高并发低延迟读写的能力。
【知云】第九期:如何实现直播平台数据化精准运营?日志服务+大数据双剑合璧
现在精细化运营越来越重要,但对直播平台而言,后期的运营策略往往缺乏数据支撑。那么如何实现数据化精准运营呢?本文中云计算布道师游圣将为大家分享基于日志服务和大数据平台的阿里云数据化运营解决之道。
形形色色Trace系统(1):AWS X-Ray
AWS 在2016 Re:Invent上推出了X-Ray,对如今微服务编程,以及ServerLess Architecture非常有前瞻性。另外近期一个比较大新闻是:Google Stack Driver开始支持Zipkin(Twitter 开源的Tracing系统)。
自定义LOG投递OSS数据Partition,优化你的计算
数据划分Partition OSS数据存储具有高可靠、低成本等优点,是海量数据存储的最佳选择之一,尤其适用于半结构化的日志存储,并可以结合E-MapReduce(使用Hive、Impala等计算引擎)通过schema-on-read方式加载数据做查询分析。
如何使用OSS RTMP功能直播/鉴黄?
音视频直播平台如何实现数据存储?视频监管及风控需求如何满足?直播视频/图片内容如何自动审核?视频监控行业如何降低视频数据存储成本?OSS近期推出了RTMP收流功能。用户可以直接用RTMP协议将音视频数据上传到OSS,并且可以在推流的同时实时截图、鉴黄。
如何搭建亿级社交信息分享平台?
由于移动互联网的兴起,人与人之间的交流、信息分享能够以电子信号的速度传递在各个终端设备之间,像朋友圈、微博、Twitter等社交平台的出现,大大方便和丰富了人们的日常生活。通过本文,我们来看看如何搭建一个高并发、低延时、能够承受亿级活跃用户的社交信息分享平台。
从SQL到NoSQL—如何使用表格存储
NoSQL 是一个用于描述高扩展高性能的非关系数据库的术语。 NoSQL 数据库提供的 schemafree 数据模型能够让应用无需预先定义表结构,适应业务的多元化发展,而对超大数据规模和高并发的支持让 NoSQL 数据库得到了广泛的应用。
【行业存储方案】数娱行业存储解决方案
从图片分享到短视频再到音视频直播,面对越来越高的多媒体数据的存储要求,以及超高量并发的请求场景以及多样化的数据处理需要,互联网数娱行业应该如何选择合适的存储架构,在当下的直播和“网红经济”的热点中夺占先机。2016年10月杭州云栖大会,阿里云存储重磅发布数娱存储解决方案,存储行业解决方案频道页同期上
【产品动态】云存储11月月刊
恩... 以后半年的的存储线产品更新信息准备进厂云栖社区了....... 求关注求赞求评论......最重要的是——希望大家用好阿里云存储产品啦啦啦~~~
日志服务发布Windows Logtail,完整支持两大平台
日志服务支持客户端、网页、Syslog、SDK/API等方式接入数据,参考。 Linux平台上的Logtail客户端拥有优秀的性能和良好的接入体验,在解决跨平台兼容问题后,我们推出Windows Logtail,在功能体验、性能表现上对齐Linux平台版本。
揭秘 | 阿里云为什么能入选Gartner魔力象限
日前,研究机构Gartner公布了2015年全球公共云存储服务魔力象限。 阿里云入围全球TOP5厂商之列,成为首家入选的中国云服务商。
Table Store(原OTS) 如何支持大cell写入
TableStore设计目标是快速读写简单的表数据,所以对单列大小限制在2M Byte(一次写入超大cell会引起系统波动),对大部分用户来说,这个值都是足够的,但是仍然有一些用户碰到了如下问题:用户自身绝大部分cell都能保证低于2M,按时有极个别的Cell高达20M,此时如果专门为这些大cell
TableStore: 使用Datax将实例A的数据迁移到实例B中
现在我们需要将数据从一个老的实例A迁移到实例B上面,做一下备份,我们打算使用Datax作为我们的数据传输工具,其中用到了otsreader和otswriter。
使用Logtail收集各网络日志数据
日志服务提供各种内网、私网、公网等[访问点](https://help.aliyun.com/document_detail/29008.html),可以非常便捷地将混合网络中的数据进行接入
日志服务(原SLS)新功能发布(15)--控制台支持查看协同消费组(ConsumerGroup)消费进度
日志服务中分区(Shard)是每个日志库下基本读写单元,每个分区能承载一定量的服务能力,随着日志数据不断增加,需要通过分裂增加Shard数量,对于多个Shard如果直接通过PullLogs接口拖取数据的话,需要处理负载均衡和故障恢复等各种问题
Uber市场部门日志实时处理-解读
Kafka 2016 Summit上Uber工程师Danny Yuan分享了一个Streaming Processing PPT,如何解决Uber里Operation Team所需要的需求。看了整个视频觉得介绍很细致,这对于大部分LBS (Location Based Service)有很好的借鉴意
日志处理实战:一个外卖网站解决方案(持续更新中)
“我要点外卖“是一个平台型电商网站,用户、餐厅、配送员等。用户可以在网页、App、微信、支付宝等进行下单点菜;商家拿到订单后开始加工,并自动通知周围的快递员;快递员将外卖送到用户手中。我们希望通过该网站的案例,教会大家如何通过日志进行商业运营与决策。
《Kafka Stream》调研:一种轻量级流计算模式
流计算,已经有Storm、Spark,Samza,包括最近新起的Flink,Kafka为什么再自己做一套流计算呢?Kafka Stream 与这些框架比有什么优势?Samza、Consumer Group已经包装了Kafka轻量级的消费功能,难道不够吗? 花了一些时间阅读[docs](http
Windows下编译使用Aliyun OSS C SDK
本文以VS2008、VS2010、VS2012、VS2013、VS2015为例说明编译OSS C SDK、运行示例程序的方法及常见问题。
如何用消息系统避免分布式事务?
前阵子从支付宝转账1万块钱到余额宝,这是日常生活的一件普通小事,但作为互联网研发人员的职业病,我就思考支付宝扣除1万之后,如果系统挂掉怎么办,这时余额宝账户并没有增加1万,数据就会出现不一致状况了。 上述场景在各个类型的系统中都能找到相似影子,比如在电商系统中,当有用户下单后,除了在订单表插入一条
表格存储服务在社交应用场景的实践
阿里云的表格存储服务(http://www.aliyun.com/product/ots)是一款面向PB级结构化/半结构化数据存储和百万级高并发读写访问的NoSQL数据库服务,在移动社交场景中有着非常广发的应用,如今非常火热的钉钉也将后台的消息推送和存储功能从MySQL迁移到表格存储上,以获得更加.
使用Datax将MySQL中的数据导入到TableStore中
背景 由于我们的数据在MySQL中的数据已经快接近亿级别,在访问MySQL并发读写的时候遇到了很大的瓶颈,严重的Block了我们的业务发展,主要从白天十点到晚上十点之前,并发访问的用户比较多,我们在写的前面加上了队列,系统后台自动同步。但是读上没有很好的办法解决,所以我们急需一个有较高吞吐量的实时
阿里技术女神的成长之路(有生活素颜照哦)
从入职到现在2年多的时间里,经常有人问起:为什么要做程序员?为什么要来阿里? 这里不聊技术,不聊项目,只是简单分享,邻家女孩初长成,一路走来的风景……
日志服务接入方式之loghub log4j appender
使用Loghub Log4j Appender,您可以控制日志的输出目的地为阿里云日志服务,使用Loghub Log4j Appender的好处 客户端日志不落盘:既数据生产后直接通过网络发往服务端。 对于已经使用log4j记录日志的应用,只需要简单修改配置文件就可以将日志传输到日志服务。 异
日志服务接入方式之log producer library
Producer Library解决的问题: 客户端日志不落盘:既数据生产后直接通过网络发往服务端。 客户端高并发写入:例如一秒钟会有百次以上写操作。 客户端计算与IO逻辑分离:打日志不影响计算耗时。
号外号外~~OSS监控服务上线啦!!
如何让OSS服务质量透明?如何全面、快速掌握服务运行状态?如何更容易自助定位问题? OSS监控服务来了——服务好助手,问题调查神器助你一臂之力!!
云存储
阿里云存储基于飞天盘古2.0分布式存储系统,产品多种多样,充分满足用户数据存储和迁移上云需求。