开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

MaxCompute打包依赖的问题,odps在平台运行的时候是没有阿里云对应的环境吗?

问题一:MaxCompute打包依赖的问题,odps在平台运行的时候是没有阿里云对应的环境吗?b4e507fdf52d294d90cf47cd44d35cc5.png我上传没有依赖的就报错,有依赖的就没问题,有依赖的打包后还是挺大的 问题二:我试了下你的maven,你的也是没有写明打包插件,是不行的,依赖也没有打上去,应该是得在打包插件写明打上依赖,你的不写是也可以上传并执行成功吗? 问题三:我就是用你的依赖打包的,不行的。你是测试是可以吗? 问题四:本地可以,上传不行。类找不到,acf6e8fddbd98bd334b154ca02b8ff07.png同一个jar包(不带依赖那个),本地可以成功,上传到资源上,SQL节点用就不行了。我怀疑是否成功就是看代码中是否有依赖到阿里云相关的类,因为我的代码是有依赖到 4.0.0

<groupId>com.aliyun.odps.myJava</groupId>
<artifactId>vas-data-udf</artifactId>
<version>1.0-SNAPSHOT</version>
<properties>
    <sdk.version>0.43.4-public</sdk.version>
    <maven.compiler.source>1.8</maven.compiler.source>
    <maven.compiler.target>1.8</maven.compiler.target>
</properties>

<dependencies>
    <dependency>
        <groupId>com.aliyun.odps</groupId>
        <artifactId>odps-sdk-core</artifactId>
        <version>${sdk.version}</version>
    </dependency>
    <dependency>
        <groupId>com.aliyun.odps</groupId>
        <artifactId>odps-sdk-udf</artifactId>
        <version>${sdk.version}</version>
    </dependency>
    <dependency>
        <groupId>com.aliyun.odps</groupId>
        <artifactId>odps-udf-local</artifactId>
        <version>${sdk.version}</version>
    </dependency>
    <dependency>
        <groupId>com.aliyun.odps</groupId>
        <artifactId>odps-sdk-mapred</artifactId>
        <version>${sdk.version}</version>
    </dependency>
    <dependency>
        <groupId>com.aliyun.odps</groupId>
        <artifactId>odps-mapred-local</artifactId>
        <version>${sdk.version}</version>
    </dependency>
    <dependency>
        <groupId>com.aliyun.odps</groupId>
        <artifactId>odps-sdk-graph</artifactId>
        <version>${sdk.version}</version>
    </dependency>
    <dependency>
        <groupId>com.aliyun.odps</groupId>
        <artifactId>odps-graph-local</artifactId>
        <version>${sdk.version}</version>
    </dependency>
    <dependency>
        <groupId>junit</groupId>
        <artifactId>junit</artifactId>
        <version>4.13.1</version>
    </dependency>
</dependencies>

<build>
    <plugins>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-compiler-plugin</artifactId>
            <version>2.3.2</version>
            <configuration>
                <source>1.8</source>
                <target>1.8</target>
            </configuration>
        </plugin>

        <plugin>
            <artifactId>maven-assembly-plugin </artifactId>
            <configuration>
                <descriptorRefs>
                    <descriptorRef>jar-with-dependencies</descriptorRef>
                </descriptorRefs>
                <archive>
                    <manifest>
                        <mainClass>com.atguigu.etl.MyDriver</mainClass>
                    </manifest>
                </archive>
            </configuration>
            <executions>
                <execution>
                    <id>make-assembly</id>
                    <phase>package</phase>
                    <goals>
                        <goal>single</goal>
                    </goals>
                </execution>
            </executions>
        </plugin>

    </plugins>
</build>

输入就是一个字符串就可以测出来的

展开
收起
冰激凌甜筒 2023-05-29 17:12:31 95 0
1 条回答
写回答
取消 提交回答
  • 针对问题一的回答:因为自建udf,udf用的我理解是你打的包里的内容了 针对问题二的回答:897e41540b02da263b13a82ffe475544.png我是上传的这样的jar包 针对问题三的回答:是,我打的包是可以的,此回答整理自钉群“MaxCompute开发者社区2群”

    2023-05-29 18:33:54
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    Data+AI时代大数据平台应该如何建设 立即下载
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载