使用Studio开发大数据应用

简介: 基于Studio操作MaxCompute。

MaxCompute Studio的一大核心功能是浏览MaxCompute项目空间(Project)的资源,包括Table、UDF、Resource等,要想实现这一功能,首先需要创建项目连接。
前提条件:
由于IntelliJ IDEA的Tool window要显示必须先打开某个IntelliJ project,而配置MaxCompute Project需要进入IntelliJ界面Tool Windows中的MaxCompute Project Explorer,所以在创建MaxCompute Project链接前,先添加或者导入一个IntelliJ Project。这里将以在Windows下新增Project为例。
运行IntelliJ IDEA后,单击 File,在下拉菜单中选择New,选择Project…,具体如下图所示:image
选择弹出页面中的 MaxCompute Studio,单击 “Next“按钮,具体如下图所示:
image

填写Project name,Project location保持默认即可,单击“ Finish“按钮。
image

创建MaxCompute项目链接:
建议您根据自己的Region配置MaxCompute项目连接,否则会出现无法访问等错误。
操作步骤
1、单击菜单中的View选项,选择Tool Windows,单击弹出页面中的Project Explorer,具体如下图所示:
image

2、单击左上角的“+”,添加一个MaxCompute Project,具体如下图所示。
image

3、在Add MaxCompute Project对话框中,填入相关配置选项。
配置项参数说明:
Properties File:使用odpscmd安装配置文件中的odps_config.ini文件来初始化AK/Endpoint等配置项;
AK Account: 用AK账号来初始化AK,可单击右侧“+“号按钮添加AK Account;
Access Id、Access Key:连接MaxCompute project时的AK/Endpoint等配置信息,必填。可手工填写,也可通过上述Properties File或AK Account来初始化配置;
Project Name: MaxCompute项目名称;
End Point:http://service.odps.aliyun.com/api,保持默认。
image

说明

    单击dialog左下角的?即可链接到在线文档。

若同步出现超时错误,可以在setting标签页酌情延长元数据同步到本地的超时时间。
4、配置完成后,单击“OK“按钮。看到左侧MaxCompute Project Explorer中会显示MaxCompute Project的信息,可以通过鼠标单击查看该project中的表、视图、函数以及资源等信息,具体如下图所示。
image

查看/修改MaxCompute项目链接:
在Project Explorer中,对需要修改的MaxCompupte项目右键选择 Show|Modify project properties。
image

在弹出框中可以查看或修改该MaxCompute project的Connection和Setting。
用过大数据开发套件的同学,对于本地数据上传下载,都会遇到这样的问题:
 导入本地数据 功能,限制本地数据文件大小最大为10MB;
 查询结果导出本地时,由于select语句返回结果最大为10000行的限制,最多只能导出1w数据;
 数据导出本地文件的功能只有‘查询结果导出本地’。
要解决以上问题,通常都是需要自己安装MaxCompute客户端odpscmd,通过tunnel命令进行导入导出。
现在来教大家使用MaxCompute Studio工具界面,可以更轻松完成Tunnel命令能完成的本地数据导入导出工作。
创建ods_test 表.
进入MaxCompute Studio的Project Explorer窗口,展开Table&View,鼠标单击Table&View选中,右键选择”Create new table”,具体如下图所示:image

在创建表/视图页面,将上面的建表SQL脚本复制到SQL DDL SCRIPT脚本开发中,单击“执行”按钮,具体如下图所示:

image
出现Script Result提示SUCCESS,表示ods_test表已经创建,单击右上角的“x”关闭窗口,具体如下图所示:
image

可以看到创建的ods_test股票基本信息表。

image

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
9月前
|
存储 数据采集 搜索推荐
Java 大视界 -- Java 大数据在智慧文旅旅游景区游客情感分析与服务改进中的应用实践(226)
本篇文章探讨了 Java 大数据在智慧文旅景区中的创新应用,重点分析了如何通过数据采集、情感分析与可视化等技术,挖掘游客情感需求,进而优化景区服务。文章结合实际案例,展示了 Java 在数据处理与智能推荐等方面的强大能力,为文旅行业的智慧化升级提供了可行路径。
Java 大视界 -- Java 大数据在智慧文旅旅游景区游客情感分析与服务改进中的应用实践(226)
|
9月前
|
机器学习/深度学习 数据采集 数据可视化
Java 大视界 -- 基于 Java 的大数据可视化在城市空气质量监测与污染溯源中的应用(216)
本文探讨Java大数据可视化在城市空气质量监测与污染溯源中的创新应用,结合多源数据采集、实时分析与GIS技术,助力环保决策,提升城市空气质量管理水平。
Java 大视界 -- 基于 Java 的大数据可视化在城市空气质量监测与污染溯源中的应用(216)
|
9月前
|
存储 监控 数据可视化
Java 大视界 -- 基于 Java 的大数据可视化在企业生产运营监控与决策支持中的应用(228)
本文探讨了基于 Java 的大数据可视化技术在企业生产运营监控与决策支持中的关键应用。面对数据爆炸、信息孤岛和实时性不足等挑战,Java 通过高效数据采集、清洗与可视化引擎,助力企业构建实时监控与智能决策系统,显著提升运营效率与竞争力。
|
9月前
|
Java 大数据 数据处理
Java 大视界 -- 基于 Java 的大数据实时数据处理在工业互联网设备协同制造中的应用与挑战(222)
本文探讨了基于 Java 的大数据实时数据处理在工业互联网设备协同制造中的应用与挑战。文章分析了传统制造模式的局限性,介绍了工业互联网带来的机遇,并结合实际案例展示了 Java 在多源数据采集、实时处理及设备协同优化中的关键技术应用。同时,也深入讨论了数据安全、技术架构等挑战及应对策略。
|
9月前
|
数据采集 搜索推荐 Java
Java 大视界 -- Java 大数据在智能教育虚拟学习环境构建与用户体验优化中的应用(221)
本文探讨 Java 大数据在智能教育虚拟学习环境中的应用,涵盖多源数据采集、个性化推荐、实时互动优化等核心技术,结合实际案例分析其在提升学习体验与教学质量中的成效,并展望未来发展方向与技术挑战。
|
9月前
|
机器学习/深度学习 人工智能 自然语言处理
Java 大视界 -- Java 大数据机器学习模型在自然语言生成中的可控性研究与应用(229)
本文深入探讨Java大数据与机器学习在自然语言生成(NLG)中的可控性研究,分析当前生成模型面临的“失控”挑战,如数据噪声、标注偏差及黑盒模型信任问题,提出Java技术在数据清洗、异构框架融合与生态工具链中的关键作用。通过条件注入、强化学习与模型融合等策略,实现文本生成的精准控制,并结合网易新闻与蚂蚁集团的实战案例,展示Java在提升生成效率与合规性方面的卓越能力,为金融、法律等强监管领域提供技术参考。
|
9月前
|
存储 人工智能 算法
Java 大视界 -- Java 大数据在智能医疗影像数据压缩与传输优化中的技术应用(227)
本文探讨 Java 大数据在智能医疗影像压缩与传输中的关键技术应用,分析其如何解决医疗影像数据存储、传输与压缩三大难题,并结合实际案例展示技术落地效果。
|
9月前
|
机器学习/深度学习 安全 Java
Java 大视界 -- Java 大数据在智能金融反洗钱监测与交易异常分析中的应用(224)
本文探讨 Java 大数据在智能金融反洗钱监测与交易异常分析中的应用,介绍其在数据处理、机器学习建模、实战案例及安全隐私等方面的技术方案与挑战,展现 Java 在金融风控中的强大能力。
|
9月前
|
机器学习/深度学习 算法 Java
Java 大视界 -- Java 大数据机器学习模型在生物信息学基因功能预测中的优化与应用(223)
本文探讨了Java大数据与机器学习模型在生物信息学中基因功能预测的优化与应用。通过高效的数据处理能力和智能算法,提升基因功能预测的准确性与效率,助力医学与农业发展。
|
9月前
|
机器学习/深度学习 搜索推荐 数据可视化
Java 大视界 -- Java 大数据机器学习模型在电商用户流失预测与留存策略制定中的应用(217)
本文探讨 Java 大数据与机器学习在电商用户流失预测与留存策略中的应用。通过构建高精度预测模型与动态分层策略,助力企业提前识别流失用户、精准触达,实现用户留存率与商业价值双提升,为电商应对用户流失提供技术新思路。