MaxCompute问答整理之2020-02月

简介: 飞天大数据平台计算引擎MaxCompute成为全球首个TPCx-BB认证的公共云产品,是除Hive、Spark以外TPCx-BB第三个标准支持的大数据引擎。

本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文。希望对大家有所帮助。

问题一、子账号无法访问DataWorks工作空间,提示缺少AccessKey ID,但这个账号已经有AccessKey ID的,是什么原因造成无法访问?
在控制台的个人信息中进行绑定AK信息,才可以使用大数据开发平台。

问题二、MaxCompute使用Tunnel命令上传数据时,源文件是csv格式,字段中有逗号分隔的数据,上传会被拆分成多列,这个怎么设置能避免这个问题?
如果描述字段中本身有逗号的话,建议转换数据的分隔符为其他符号,即修改csv文件的默认分隔符为其他分隔符。再通过-fd指定为其他分隔符进行上传。

问题三、如何查看MaxCompute JDBC Driver的日志?
MaxCompute JDBC Driver的日志默认放在Driver Jar包所在的同级目录,文件名为jdbc.log。如果将用户代码与Driver打包为一个超级Jar,日志将会在超级Jar所在的同级目录。

问题四、MaxCompute有数据库一致性和锁的处理机制吗?
MaxCompute支持ACID语义原子性(Atomicity):一个操作或是全部完成,或是全部不完成,不会结束在中间某个环节。一致性(Consistency):从操作开始至结束的期间,数据对象的完整性没有被破坏。隔离性(Isolation):操作独立于其它并发操作完成。持久性(Durability):操作处理结束后,对数据的修改将永久有效,即使出现系统故障,该修改也不会丢失。

问题五、在MaxCompute中运行SQL语句查询表test中数据,test表中数据为1万条,查询一直处于Job Quening...状态,无法执行,原因是什么?
请排查任务运行状态,可能有个任务运行完了所有的资源,请先中止或者等待此任务。可以在MaxCompute客户端中运行Show Instances/Show P命令来查看实例信息。

问题六、使用MaxCompute SQLTask执行cost sql sql命令时报错ODPS-0130161:[1,1] Parse exception - invalid token 'cost'怎么解决呢?
需要使用Java SDK中的SQLCostTask接口来实现单条SQL费用的查询。接口使用方式可以参考:https://www.javadoc.io/doc/com.aliyun.odps/odps-sdk-core/latest/com/aliyun/odps/task/SQLCostTask.html

问题七、MaxCompute中为什么SQL查询不同的分区,费用差异比较大?
分区Size较大就会造成费用较多。您可以使用desc table_name partition(pt_spec)命令查看具体分区大小。
分区表的意义在于优化查询。查询表时通过WHERE子句查询指定所需查询的分区,避免全表扫描,提高处理效率,降低计算费用。

问题八、MaxCompute中如何删除生产环境的表?
可以在MaxCompute客户端或DataStudio中使用 drop table project_name.table_name; 删除生产环境的表。

问题九、MaxCommpute中,是否可以添加或删除列?
可以添加列,但不可以删除列。如果有删除列的需求,可以新建表,再重命名表。

问题十、如何理解开源与云原生的大数据技术与产品?
2020 大数据技术公开课第一季《从开源到云原生,你不得不知的大数据实战》,通过比较和实操,帮助开发者们更好的理解和掌握大数据技术。大家可以通过文字和视频观看学习。
https://yq.aliyun.com/articles/744581

欢迎扫码加入 MaxCompute开发者社区钉钉群,或点击链接 申请加入。
2群.png

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
SQL 数据库 流计算
出现了 FlinkServerException 或 FlinkSQLException 错误
出现了 FlinkServerException 或 FlinkSQLException 错误
937 1
|
JSON 搜索推荐 网络协议
玩转curl指令—测试简单的HTTP接口
玩转curl指令—测试简单的HTTP接口
1592 0
|
安全 大数据 API
elasticsearch|大数据|elasticsearch的api部分实战操作以及用户和密码的管理
elasticsearch|大数据|elasticsearch的api部分实战操作以及用户和密码的管理
776 0
|
存储 算法 虚拟化
理解镜像文件
镜像文件根据其用途和格式的不同,可以分为多种类型。常见的镜像文件类型包括: ISO镜像:主要用于存储光盘(如CD、DVD)的内容。ISO镜像文件能够完整地复制光盘上的所有数据,包括文件系统、目录结构、文件内容以及权限设置等。 VHD(Virtual Hard Disk)镜像:是微软虚拟机(如Hyper-V)使用的虚拟硬盘文件格式。它用于存储虚拟机操作系统和应用程序的数据。 IMG镜像:一种通用的镜像文件格式,可用于存储多种类型的数据,包括磁盘分区、整个磁盘、文件系统等。 WIM(Windows Imaging Format)镜像:是微软用于部署Windows操作系统的镜像文件格式。它支持对多个
2014 8
|
DataWorks 数据挖掘 Serverless
阿里云EMR Serverless StarRocks 内容合集
阿里云 EMR StarRocks 提供存算分离架构,支持实时湖仓分析,适用于多种 OLAP 场景。结合 Paimon 与 Flink,助力企业高效处理海量数据,广泛应用于游戏、教育、生活服务等领域,显著提升数据分析效率与业务响应速度。
514 0
|
人工智能 JSON API
LongDocURL:中科院联合阿里推出多模态长文档理解基准数据集,用于评估模型对复杂文档分析与推理的能力
LongDocURL 是由中科院与淘天集团联合推出的多模态长文档理解基准数据集,涵盖 2,325 个问答对,支持复杂文档的理解、推理和定位任务。
667 77
LongDocURL:中科院联合阿里推出多模态长文档理解基准数据集,用于评估模型对复杂文档分析与推理的能力
|
存储 数据采集 OLAP
饿了么基于Flink+Paimon+StarRocks的实时湖仓探索
饿了么的实时数仓经历了多个阶段的演进。初期通过实时ETL、报表应用、联动及监控构建基础架构,随后形成了涵盖数据采集、加工和服务的整体数据架构。1.0版本通过日志和Binlog采集数据,但在研发效率和数据一致性方面存在问题。2.0版本通过Dataphin构建流批一体化系统,提升了数据一致性和研发效率,但仍面临新业务适应性等问题。最终,饿了么选择Paimon和StarRocks作为实时湖仓方案,显著降低了存储成本并提高了系统稳定性。未来,将进一步优化带宽瓶颈、小文件问题及权限控制,实现更多场景的应用。
1520 8
饿了么基于Flink+Paimon+StarRocks的实时湖仓探索
|
Java Maven
SpringBoot项目接入Jco调用SAP接口遇到的问题
在SpringBoot项目中接入SAP接口通过Jco时遇到两个主要问题。首先,Jco不允许重命名或重新打包"sapjco3.jar",解决方案是将jar安装到本地和服务器的Maven仓库,配置pom.xml避免打包,并在服务器上更新环境变量。其次,调用后需释放`DestinationDataProvider`以防止异常。此外,调用SAP函数的步骤包括设置入参、执行和获取结果,涉及字段、结构和表类型的数据操作。
1433 0
|
SQL JSON 分布式计算
干货 | Elasticsearch、Kibana数据导出实战
以下两个导出问题来自Elastic中文社区。 问题1、kibana怎么导出查询数据? 问题2:elasticsearch数据导出 就像数据库数据导出一样,elasticsearch可以么? 或者找到它磁盘上存放数据的位置,拷贝出来,放到另一个es服务器上或者转成自己要的数据格式?
干货 | Elasticsearch、Kibana数据导出实战
|
存储 测试技术 Apache
阿里云实时计算企业级状态存储引擎 Gemini 技术解读
本文整理自阿里云 Flink 存储引擎团队李晋忠,兰兆千,梅源关于阿里云实时计算企业级状态存储引擎 Gemini 的研究。
127474 4
阿里云实时计算企业级状态存储引擎 Gemini 技术解读

热门文章

最新文章

相关产品

  • 云原生大数据计算服务 MaxCompute