一、实验概述
大数据计算服务(MaxCompute,原名 ODPS)是一种快速、完全托管的 GB/TB/PB 级数据仓库解决方案。MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。
本实验实验结合实际数据和案例,深入浅出的演示了如何进行MaxCompute各种客户端的配置。
二、实验目标
本实验讲述如何借助Intellij IDEA开发工具使用 MaxCompute 服务的基础功能。
完成此实验后,可以掌握的能力有:
1. 安装配置Intellij IDEA; 2. 安装MaxCompute Studio插件; 3. 创建MaxCompute项目空间连接; 4. 使用Intellij IDEA管理数据和资源 (难度大,选做); 5. 使用Intellij IDEA开发SQL程序(难度大,选做); 6. 使用Intellij IDEA开发Java程序 (难度大,选做); 7. 与MaxCompute客户端集成; 8. 配置MaxCompute Studio;
三、学习建议
1. 掌握Intellij IDEA集成开发工具的使用; 2. 提前安装 ODPS客户端(下载客户端软件)等;
第 2 章:实验准备
2.1 检查本地系统软件安装配置情况
(1) 下载本实验所用到的介质包:(见实验附件)
将ODPS_DEMO.zip解压至本地目录 C:\ODPS_DEMO,解压密码为:aca21104
(2) 查看本次实验课用到的介质:
dir C:\ODPS_DEMO\InstallMedia
至少应该包含以下文件:
odpscmd_public.zip odps-eclipse-plugin-bundle-0.16.0.jar odps-sdk-core-0.18.3-public.jar
说明:
a) 为了方便用户使用 MapReduce及UDF的Java SDK进行开发工作,ODPS提供了Eclipse开发插件。
该插件能够模拟MapReduce及UDF的运行过程,为用户提供本地调试手段,并提供了简单的模板生成功能。
b) 与MapReduce提供的本地运行模式不同,Eclipse插件不能够与ODPS同步数据。用户使用的数据需要
手动拷贝到Eclipse插件的warehouse目录下
(3) 检查系统是否安装了Java运行环境(1.6及以上版本):
java -version
说明:JDK1.8的下载地址如下:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
(4)检查是否安装了IntellijIDEA,如果没有安装请参看本小节完成安装包的下载。
在官网中(https://www.jetbrains.com/idea/download/#section=windows),Ultimate版本是需要购买的,
建议下载免费的Community版本。点击“Download Community”按钮进行下载,如图:
(5) 使用实验账号,登录阿里云官网,检查账号下的可用资源:
应至少包括 大数据计算 服务;
如无项目,请新建一个项目用于本次实验,本实验中使用项目名称为 aca21104_demo;
检查可用 AccessKeyID 和 AccessKeySecret,并记录一对用于后续实验;
2.2 申请MaxCompute资源
在弹出的左侧栏中,点击 创建资源 按钮,开始创建实验资源。
资源创建过程需要1-3分钟。完成实验资源的创建后,用户可以通过 实验资源 查看实验中所需的资源信息,例如:阿里云账号等
第 3 章:实验内容
在弹出的左侧栏中,点击 创建资源 按钮,开始创建实验资源。
资源创建过程需要1-3分钟。完成实验资源的创建后,用户可以通过 实验资源 查看实验中所需的资源信息,例如:阿里云账号等
3.1 安装配置Intellij IDEA
1、安装配置Intellij IDEA
(1) 找到下载的安装介质 ideaIC-2017.2.1.exe,双击安装,并点击“Next”按钮,如图:
(2) 选择安装位置,并点击“Next”按钮
(3) 设置安装选项,并点击“Next”按钮
(4)采用默认选择启动菜单目录,并点击“Install”按钮
(5)点击“Finish”按钮,完成安装。
(6) 启动Intellij IDEA,进行初始配置,选择“Create New Project”
(7) 设置JDK环境目录,JDK1.8下载安装目录,点击“Next”
(8) 选择“Create project from template”,点击“Next”
(9) 设置项目名称,以及项目存放路径,点击“Finish”,如图
2、安装MaxCompute Studio插件
MaxCompute Studio 对用户环境有以下要求:
· Windows, Mac OS, 或者 Linux 系统客户端
· 安装 IntelliJ IDEA 14.1.4 以上版本 (支持 Ultimate 版本或免费的 Community 版本,PyCharm 也被支持)
· 安装 JRE 1.8 (最新的 IntelliJ IDEA 版本捆绑了 JRE 1.8)
· 安装 JDK 1.8 (可选: 如果需要开发和调试 Java UDF,需要安装 JDK)
方式一:在线安装(推荐)
MaxCompute Studio 是一个 IntelliJ IDEA 的插件,MaxCompute Studio 插件已对全部公网用户开放,用户可以通过 IntelliJ 官方插件库安装,步骤如下:
(1) 在 IntelliJ IDEA 中打开插件配置页面 (Windows/Linux 用户通过菜单 File | Settings | Plugins, Mac 用户通过菜单 IntelliJ IDEA | Preferences | Plugins ),如图:
(2) 点击 Browse repositories… 按钮,然后搜索 MaxCompute Studio。
(3) 找到 MaxCompute Studio 插件页面,点击绿色 Install 按钮进行安装,如图:
(4) 确认安装后,重新启动 IntelliJ IDEA,完成安装。
方式二:本地安装
MaxCompute Studio 也可以通过本地文件进行安装,步骤如下:
(1) 从 MaxCompute Studio 插件页面 下载插件包。(下载地址:https://plugins.jetbrains.com/plugin/9193-maxcompute-studio),如图:
(2) 在 IntelliJ IDEA 中打开插件配置页面 (Windows/Linux 用户通过菜单 File | Settings | Plugins, Mac 用户通过菜单 IntelliJ IDEA | Preferences | Plugins )
(3) 点击按钮 Install plugin from disk…,选择刚才下载的 zip 文件进行安装,如图:
(4) 确认安装后,重新启动 IntelliJ IDEA,完成安装。
3、创建MaxCompute项目空间连接
Studio 的一大核心功能就是浏览 MaxCompute 项目空间(Project)的资源,包括 Table、UDF、Resource 等。
为了能够在 Studio 中访问它们,以及其它很多功能,我们首先需要在新建项目连接。步骤如下:
(1) 项目空间浏览器(Project Explorer) ,可以使用以下任意一种方式:
通过菜单 View | Tool Windows | MaxCompute Project Explorer,如图:
点击 IntelliJ 窗口左侧下方MaxCompute Project Explorer 工具窗口 (Tool Window) 标签,如图:
(2) 空间连接的用户对话框,可以使用以下任意一种方式:
在空白处点击鼠标右键,在弹出菜单中选择 Add project 菜单强,如图:
点击的 项目空间浏览器(Project Explorer) 工具栏中的添加按钮 +,如图:
(3) 在 Add MaxCompute Project 对话框中,填入相关配置选项,有两种方式添加 MaxCompute 项目空间的连接:
Using Properties File:使用 MaxCompute 配置文件,可直接添加 MaxCompute 客户端中 conf 目录下的odps_config.ini文件,如图:
Using Properties:手工配置连接 MaxCompute Project 的各项属性值(注意:project name请填写实验资源中maxcompute的项目名称),如图:
4) 点击按钮OK完成添加,后台会自动同步这个项目的表和函数元数据到本地。
同步完成后在 项目空间浏览器(Project Explorer) 窗口的树中能看到这个新增的 Project 节点,
如果添加失败会提醒失败原因,需要重新添加。