数据ACP总结(二)

本文涉及的产品
.cn 域名,1个 12个月
简介:

接上 大数据ACP总结(一)

刚刚顺利苟过了阿里ACP, 主要复习策略是多次熟悉阿里云提供大数据官方教程,官方文档,并对核心环境做总结。

社区关于复习提纲的内容以及比较详细了,这里梳理下存在关键细节的考点,也给大家一些参考。

Tunnel :

核心命令

  Usage: tunnel <subcommand> [options] [args]
    Type 'tunnel help <subcommand>' for help on a specific subcommand.
Available subcommands:
    upload (u)
    download (d)
    resume (r)
    show (s)
    purge (p)
    help (h)

Q:是否支持 ascii 字符的分隔符?

A:命令行方式不支持,配置文件可以用十六进制表示。如 u000A,表示回车。

Q:文件大小是否有限制?

A:文件大小没有限制,但一次 upload 无法超过 24 小时,可以根据实际上传速度和时间来估算能够上传的数据量。

Q:记录大小是否有限制?

A:记录大小不能超过 200M。

Q:是否要使用压缩?

A:默认会使用压缩,如果带宽允许的情况下,可以关掉压缩。

Q:同一个表或 partition 是否可以并行上传?

A:可以。

Q:是否支持不同字符编码?

A:支持不同的编码格式参数,带 bom 标识文件不需要指定编码。

Q:导入后的脏数据怎么处理?

A:导入结束后,如果有脏数据可以通过 tunnel show bad [sessionid] 查看脏数据。

Q:上传下载的文件路径是否可以有空格?

A:可以有空格,参数需要用双引号括起来。

Q:为什么会出现乱码?

A:可能是上传文件的字符编码和工具指定的编码不符。

Q:导入数据最后一列为什么多出r符号?

A:windows 的换行符是rn,macosx 和 linux 的换行符是n,tunnel 命令使用系统换行符作为默认列分隔符,所以从 macosx 或 linux 上传 windows 编辑保存的文件会把r作为数据内容导进去。

Q:Tunnel 下载/上传速度正常速度范围是多少?

A:Tunnel 下载上传,受网络因素影响较大,正常网络情况下速度范围在 1MB/s-20MB/s 区间内。

Q:Tunnel 域名是什么?

A:不同 region 对应不同的域名,详情请参见 访问域名和数据中心。

Q:无法上传/下载怎么办?

A:找到配置中配置的 tunnel 域名,通过 curl -i 域名例如 curl -i http://dt.odps.aliyun.com 测试网络是否连通,若无法连通请检查机器网络或更换为正确的域名。

Q:上传/下载速度缓慢怎么办?

A:您可以从以下几方面进行检查:

检查机器网络状态,ping tunnel_endpoint 域名延迟是否异常。

Q:Tunnel 需注意的分隔符问题有哪些?

A:Tunnel 需要注意的分隔符问题,如下所示:

列分隔符 fd 不能包含行分隔符 rd。

行分隔符 rd。

默认值: rn (windows) 和 n(linux)。

上传开始的时候会打印提示信息,告知本次上传所使用的行分隔符(0.21.0 版本及以后)供用户查看和确认。

列分隔符 fd。

默认值:, (逗号)。

Mapreduce:

image

  • mapreduce 采用了大量便宜低成本的机器支持横向扩展,并非失效是常态
  • bdp.system.bizdate 为格式为当前前一天 格式YYYYMMDD
  • bdp.system.cycdate 为调度实例定时运行时间
  • 一个 map 的输出结果可能会被分配到多个 reduce 上去
  • 一个 reduce 的输入数据可能来自于多个 map 的输出
  • 一个 MR 处理可以不包括任何 map
目录
相关文章
|
机器学习/深度学习 存储 运维
阿里云ACA考完多久后考ACP?能不能一次通过?
阿里云认证系统推出后,越来越多的人选择考取这个证书,以求获得最好的发展,但是另一方面,还有很多人对这个证书有很多不了解的地方,或者是误区,下面跟随小编一起看看吧。
371 0
阿里云ACA考完多久后考ACP?能不能一次通过?
|
数据采集 机器学习/深度学习 存储
阿里云ACP是什么?考试内容是什么?
近几年云行业发展日益壮大,越来越多的人选择进入这一行,而阿里云ACP就是一块敲门砖,不仅能带你进入这个行业,更能为你带来良好的待遇、优秀的岗位。
1330 0
阿里云ACP是什么?考试内容是什么?
|
机器学习/深度学习 存储 数据采集
阿里云 ACP是什么?阿里云 ACP有什么用?
直到现在,还有很多从事互联网的工作人员都并不是清楚阿里云 ACP是什么,它是阿里云企业推出的针对于数据分析工程师的资格认证,有极高的含金量。因为阿里云在国内市场处于领先地位,他们推出的资格认证自然而然受到很多人的欢迎,很多互联网行业从业人员都以获得阿里ACP认证为荣。那么,阿里云 ACP是什么?阿里云 ACP有什么用?在认证大使官网上查阅了相关资料,我得到了答案。
942 0
阿里云 ACP是什么?阿里云 ACP有什么用?
|
弹性计算 运维 负载均衡
阿里云acp考试题库介绍 阿里云ACP认证有没有用?
互联网时代如果你还不懂电脑知识,那你恐怕就落伍了,现在很多互联网公司都会招聘网站运维人员,如果你懂相关技术那么将来就业就会方便很多。想要应聘互联网运维岗位是需要有相关证书的,其中阿里云acp认证就是很多人都会去考的一种认证,因为阿里云市场占有率比较高,这也导致国内普遍比较认可阿里云acp认证。如果你打算报考阿里云acp认证,下面认证大使就来给大家介绍一下阿里云acp考试题库。
1039 0
阿里云acp考试题库介绍 阿里云ACP认证有没有用?
|
运维 架构师 云计算
阿里云acp认证注意什么?什么人适合考阿里云acp?
生活中的很多朋友都开始考虑考一些证书,因为很多企业都需要含金量高而且有能力的人才。那么什么人适合考阿里云acp?认证大使小编带你一起接着了解清楚。
229 0
阿里云acp认证注意什么?什么人适合考阿里云acp?
|
云安全 存储 弹性计算
阿里acp认证是什么?阿里acp考试内容是什么?
随着阿里巴巴的壮大,使用阿里云服务的企业越来越多,而考取阿里acp认证会为您的职业生涯锦上添花,那么阿里acp认证是什么?阿里acp考试内容是什么?关于阿里云ACP认证考试的经验分享,今天认证大使带大家一起来了解下。
451 0
阿里acp认证是什么?阿里acp考试内容是什么?
|
弹性计算 分布式计算 负载均衡
为什么要获得阿里云acp认证?阿里云acp考试题库有哪些内容?
作为全球知名集团,阿里巴巴有着很高的影响力,旗下的阿里云公司推出的阿里云acp认证也让人趋之若鹜,那么今天就来为大家介绍一下:为什么要获得阿里云acp认证?阿里云acp考试题库有哪些内容?
203 0
为什么要获得阿里云acp认证?阿里云acp考试题库有哪些内容?
|
Web App开发 云安全 弹性计算
阿里云acp考试有什么用?阿里云ACP认证考试注意事项有哪些?
阿里云acp考试有什么用?这段时间很多朋友们都在研究这个阿里云acp考试,看见那么多人都在报考阿里云acp考试,那么阿里云acp认证考试形式和试卷结构是什么?下面就让认证大使来给大家详解一下相关的疑问。
341 0
阿里云acp考试有什么用?阿里云ACP认证考试注意事项有哪些?
|
存储 人工智能 安全
阿里云acp报名方法 阿里云acp考试相关答疑
云服务是近几年互联网产业发展的重点项目,国内以阿里、腾讯为代表的巨头都投入了大量的人力物力和财力,其中阿里云表现地更为出色,占据了国内最大的云服务市场,也带动了其上下游产业发展,国内对于具有相应能力的专业人员需求量极大。阿里云认证凭借其市场地位,得到了更多专业人员的青睐,凡是通过其认证就业就不再是难事,今天为大家介绍阿里云acp报名方法等相关内容。
320 0
阿里云acp报名方法 阿里云acp考试相关答疑
|
弹性计算 分布式计算 负载均衡
阿里云acp考试是什么?阿里云acp题库有哪些内容?
阿里巴巴,作为全球知名集团,拥有极强的市场竞争力。旗下的阿里云公司也在云计算、大数据、云服务等新型互联网领域发展的风生水起。近些年,阿里云公司推出的阿里云认证掀起了互联网行业的汹涌热潮,许多互联网从业人员心里都清楚考过了阿里云acp认证考试,拿到了阿里云acp认证,就获得了升职加薪的通行证。那么今天就来聊聊阿里云acp题库:阿里云acp考试是什么?阿里云acp题库有哪些内容?
216 0
阿里云acp考试是什么?阿里云acp题库有哪些内容?