BigBench on MaxCompute 基准测试套件简明安装与运行指南

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 本文将介绍如何基于 MaxCompute大数据计算服务环境安装与运行BigBench大数据基准测试套件。

先决条件

  1. 注册阿里云账户
  2. MaxCompute客户端软件 (推荐使用0.27.0或以上版本) ,详情请见:安装并配置客户端
  3. Java 1.7 (Oracle/OpenJDK) 或以上版本 (推荐使用64位版本) 。

下载BigBench 套件

  1. 请点击[此链接](),下载BigBench on MaxCompute套件。
  2. 或直接访问以下该项目的github地址以获取BigBench on MaxCompute 套件。

配置BigBench on MaxCompute

  1. 编辑engines/maxcompute/conf文件夹中的engineSettings.conf 文件,配置MaxCompute客户端执行文件,如下所示:

    BINARY="$MAXCOMPUTE_CLIENT_DIR/bin/odpscmd"
  2. 编辑conf文件夹中的userSettings.conf文件,配置MaxCompute的项目名,如下所示:

  3. BIG_BENCH_DEFAULT_DATABASE="$MAXCOMPUTE_PROJECT_NAME"

  4. 编辑conf文件夹中的bigBench.properties文件,配置BigBench的测试阶段,如下所示:

    workload=BENCHMARK_START,POWER_TEST,THROUGHPUT_TEST_1,BENCHMARK_STOP,VALIDATE_POWER_TEST,VALIDATE_THROUGHPUT_TEST_1

如无特殊需求,请使用以上默认的测试阶段。

运行BigBench on MaxCompute基准测试套件

使用BigBench 驱动脚本运行BigBench基准测试。

$INSTALL_DIR/bin/bigBench runBenchmark

BigBench on MaxCompute 日志存放目录

运行与结果日志存放在以下目录。

$INSTALL_DIR/logs

FAQ

如何在BigBench基准测试套件中设置MaxCompute的参数?

你可以在engineSettings.sql文件中,为所有MaxCompute的查询配置参数,文件位置如下所示:

$INSTALL_DIR/engines/maxcompute/conf/engineSettings.sql

在这个文件里已经配置了一系列MaxCompute的参数。如无特殊需求,请使用默认配置。

如何针对特定query设置MaxCompute的参数?

你可以在queries目录下的engineLocalSettings.sql文件中配置,文件位置如下所示:

$INSTALL_DIR/engines/maxcompute/queries/q??/engineLocalSettings.sql

你可以把你针对特定query的MaxCompute参数配置在这个文件里, BigBench套件会自动导入这个文件,并覆盖MaxCompute全局变量。如无特殊需求,请使用默认配置。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
2月前
|
消息中间件 分布式计算 大数据
大数据-123 - Flink 并行度 相关概念 全局、作业、算子、Slot并行度 Flink并行度设置与测试
大数据-123 - Flink 并行度 相关概念 全局、作业、算子、Slot并行度 Flink并行度设置与测试
138 0
|
1月前
|
机器学习/深度学习 自然语言处理 前端开发
前端神经网络入门:Brain.js - 详细介绍和对比不同的实现 - CNN、RNN、DNN、FFNN -无需准备环境打开浏览器即可测试运行-支持WebGPU加速
本文介绍了如何使用 JavaScript 神经网络库 **Brain.js** 实现不同类型的神经网络,包括前馈神经网络(FFNN)、深度神经网络(DNN)和循环神经网络(RNN)。通过简单的示例和代码,帮助前端开发者快速入门并理解神经网络的基本概念。文章还对比了各类神经网络的特点和适用场景,并简要介绍了卷积神经网络(CNN)的替代方案。
|
2月前
|
自然语言处理 机器人 Python
ChatGPT使用学习:ChatPaper安装到测试详细教程(一文包会)
ChatPaper是一个基于文本生成技术的智能研究论文工具,能够根据用户输入进行智能回复和互动。它支持快速下载、阅读论文,并通过分析论文的关键信息帮助用户判断是否需要深入了解。用户可以通过命令行或网页界面操作,进行论文搜索、下载、总结等。
58 1
ChatGPT使用学习:ChatPaper安装到测试详细教程(一文包会)
|
2月前
|
测试技术 Python
自动化测试项目学习笔记(一):unittest简单运行(初始化,清除,设置测试行为)
本文介绍了Python的unittest框架的基础用法,包括测试初始化(setup)、清除(tearDown)函数的使用,以及assertEqual和assertGreaterEqual等断言方法,并展示了如何创建测试用例,强调了测试函数需以test_开头才能被运行。
64 1
自动化测试项目学习笔记(一):unittest简单运行(初始化,清除,设置测试行为)
|
2月前
|
分布式计算 大数据 Java
大数据-86 Spark 集群 WordCount 用 Scala & Java 调用Spark 编译并打包上传运行 梦开始的地方
大数据-86 Spark 集群 WordCount 用 Scala & Java 调用Spark 编译并打包上传运行 梦开始的地方
31 1
大数据-86 Spark 集群 WordCount 用 Scala & Java 调用Spark 编译并打包上传运行 梦开始的地方
|
2月前
|
分布式计算 Hadoop 大数据
大数据体系知识学习(一):PySpark和Hadoop环境的搭建与测试
这篇文章是关于大数据体系知识学习的,主要介绍了Apache Spark的基本概念、特点、组件,以及如何安装配置Java、PySpark和Hadoop环境。文章还提供了详细的安装步骤和测试代码,帮助读者搭建和测试大数据环境。
67 1
|
2月前
|
SQL 分布式计算 NoSQL
大数据-170 Elasticsearch 云服务器三节点集群搭建 测试运行
大数据-170 Elasticsearch 云服务器三节点集群搭建 测试运行
46 4
|
2月前
|
SQL 分布式计算 大数据
大数据-168 Elasticsearch 单机云服务器部署运行 详细流程
大数据-168 Elasticsearch 单机云服务器部署运行 详细流程
60 2
|
2月前
|
运维 监控 数据可视化
大数据-171 Elasticsearch ES-Head 与 Kibana 配置 使用 测试
大数据-171 Elasticsearch ES-Head 与 Kibana 配置 使用 测试
71 1
|
2月前
|
SQL 消息中间件 大数据
大数据-159 Apache Kylin 构建Cube 准备和测试数据(一)
大数据-159 Apache Kylin 构建Cube 准备和测试数据(一)
72 1