分布式计算

首页 标签 分布式计算
# 分布式计算 #
关注
37445内容
阿里云服务器配置选择方法和经验(CPU+内存+宽带)
阿里云ECS云服务器配置的选择不仅仅包括CPU核数、内存及宽带多少,还需要根据实际业务场景选择对应的规格族,云吞铺子分享阿里云服务器的选配方法和经验: 云服务器的CPU+内存选配 普通的个人小型网站,如:个人博客等小流量网站,可选择入门级配置的云服务器推荐配置:1核CPU、1G或2G内存、硬盘40G、1M或2M带宽 论坛、门户类网站:论坛、门户类网站,用户活跃性与访问量较高,为了保证足够的服务器资源空间,提升访问速度。
Hadoop数据迁移MaxCompute最佳实践
本文向您详细介绍如何通过使用DataWorks数据同步功能,将Hadoop数据迁移到阿里云MaxCompute大数据计算服务上。您也可以参考本文进行MaxCompute数据到Hadoop的反向迁移。
丰富、连接、待集成—MaxCompute 生态再出发
2019杭州云栖大会大数据生态专场,由阿里云高级技术专家李睿博带来以 “丰富、连接、待集成— MaxCompute 生态再出发” 为题的演讲。本文围绕 MaxCompute 生态进行讲述,主要包括 “更好的工具和接口”、“连接云上各种数据”、“开放自定义引擎” 三部分。主要内容包括 MaxCompute 获得了 Tableau 官方支持,更好的搬站工具和命令行工具体验,大数据+AI 在 Python 生态部分的工作进展,以及开放自定义引擎的能力。
如何在运行pyspark时加载本地jar包?
某内网项目需要测试spark和mongodb联调,因为不能连接外网,所以下载好了相应的jar包扔进去了。 官网给出的事例代码如下: ./bin/pyspark --conf "spark.mongodb.
阿里云大数据利器之-RDS迁移到Maxcompute实现动态分区
当前,很多用户的业务数据存放在传统关系型数据库上,例如阿里云的RDS,做业务读写操作。当数据量非常大的时候,此时传系关系型数据库会显得有些吃力,那么会经常有将mysql数据库的数据迁移到[大数据处理平台-大数据计算服务(Maxcompute,原ODPS)(https://www.aliyun.com/product/odps?spm=5176.doc27800.765261.309.dcjpg2),利用其强大的存储和计算能力进行各种查询计算,结果再回流到RDS。
阿里、Databricks、Intel的十位专家和你细聊Hadoop技术实践及生态
2016杭州云栖大会开源大数据专场不仅聚集阿里Hadoop、Spark、Hbase、JStorm各领域的技术专家,还邀请到了Databricks、Intel等公司的技术专家来讲述阿里在Hadoop大生态领域的实践与探索、Hadoop生态的技术细节以及一些应用实践。
MaxCompute(原ODPS)开发入门指南——数据上云篇
根据《MaxCompute(原ODPS)开发入门指南——计量计费篇》的了解,大家清楚了MaxCompute可以做什么,计费模式如何,想必大家也开通了MaxCompute想进行一次POC,但是大家遇到第一个问题一定是我的数据如何上云?
| |
来自: 数据库
阿里云开源大数据内核团队招聘人才
此次发布的岗位均是 Hadoop、Spark、HBase、flink等底层引擎内核的研究机会,机会难得,小伙伴们赶紧尝试下。工作地点杭州、北京。简历发给我:dragon.caol@alibaba-inc.com
如何使用Tunnel SDK上传/下载MaxCompute复杂类型数据
基于Tunnel SDK如何上传复杂类型数据到MaxCompute?首先介绍一下MaxCompute复杂数据类型: 复杂数据类型 MaxCompute采用基于ODPS2.0的SQL引擎,丰富了对复杂数据类型类型的支持。
免费试用