开发者社区> 问答> 正文

MaxCompute tunnel upload报错

odps@ demo987654321>tunnel upload C:/work/BI/odpscmd_public_May/ipdata.txt.utf8 ipresource;
ERROR: TunnelException - ErrorCode=Local Error, ErrorMessage=400
FAILED: error occurred while running tunnel command
odps@ demo987654321>tunnel upload C:/work/BI/odpscmd_public_May/ipdata.txt.utf8 ipresource;
ERROR: TunnelException - ErrorCode=Local Error, ErrorMessage=400
FAILED: error occurred while running tunnel command
odps@ demo987654321>a

使用studio import data同样报错

展开
收起
pengchao 2019-06-14 17:33:34 4570 0
1 条回答
写回答
取消 提交回答
  • MaxCompute(原ODPS)有一套自己的MapReduce编程模型和接口,简单说来,这套接口的输入输出都是MaxCompute中的Table,处理的数据是以Record为组织形式的,它可以很好地描述Table中的数据处理过程,然而与社区的Hadoop相比,编程接口差异较大。Hadoop用户如果要将原来的Hadoop MR作业迁移到MaxCompute的MR执行,需要重写MR的代码,使用MaxCompute的接口进行编译和调试,运行正常后再打成一个Jar包才能放到MaxCompute的平台来运行。这个过程十分繁琐,需要耗费很多的开发和测试人力。如果能够完全不改或者少量地修改原来的Hadoop MR代码就能在MaxCompute平台上跑起来,将是一个比较理想的方式。 现在MaxCompute平台提供了一个HadoopMR到MaxCompute MR的适配工具,已经在一定程度上实现了Hadoop MR作业的二进制级别的兼容,即用户可以在不改代码的情况下通过指定一些配置,就能将原来在Hadoop上运行的MR jar包拿过来直接跑在MaxCompute上。目前该插件处于测试阶段,暂时还不能支持用户自定义comparator和自定义key类型,下面将以WordCount程序为例,介绍一下这个插件的基本使用方式。
    

    “答案来源于网络,供您参考” 希望以上信息可以帮到您!

    2019-09-26 10:29:58
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Data+AI时代大数据平台应该如何建设 立即下载
大数据AI一体化的解读 立即下载
极氪大数据 Serverless 应用实践 立即下载