第三届数据库大赛攻略 - 啥情况007

简介: 本届比赛结合Intel的Optane PMEM技术,为数据上云加速赋能为背景,设计一套数据全量载入MySql数据库的系统。

## 1. 赛题简介

官方赛题传送门:

https://code.aliyun.com/dts_test/dts-contest


## 2. 核心优化思路

这次比赛的优化主要是围绕三个方面:

  • 针对PMEM这个新介质的属性的优化
  • 针对MySql服务器资源利用的优化
  • 通过架构设计,以并发的方式进行数据I/O,处理,上传,尽可能最大化利用可用资源。架构设计的核心其实与业界常用的数据ETL架构很类似。


#### 2.1 针对PMEM的属性分析和实践观测

本次比赛由于PMEM提供的方式,很多细节性能特性的优化并不明显,唯一需要注意的是需要并发顺序读写。其中读选择了mmap的方式,8线程并行读。写盘则是通过多线程各自pmem_map_file,写入自己文件。


#### 2.2 使用load data infile批量上传数据

此处也是应用了大数据生产消费链路里常用的数据batching来有效的提供网络和消费方CPU使用率的思路,通过将上传数据合并进行批量上传来提高效率。再有就是通过对数据进行排序来帮助MySql服务器加速。


## 3 架构设计图

#### 3.1 整体链路图

Screen Shot 2021-09-27 at 9.58.38 PM.png


#### 3.2 单源文件处理图

image.png

## 4. 核心断点恢复数据结构

image.png


## 5. 比赛总结感想

首先非常感谢主办方阿里云和英特尔,很高兴能够在第二届和第三届的比赛都取得不错的成绩。本届比赛一方面有些可惜比赛的重点并不是侧重在新一代pmem的性能探索上,另一方面也很开心能够写一套非常贴近实用案例的完整系统,配合数据上云的大趋势,受益匪浅。最后期待一下第四届数据库比赛。


相关文章
|
21天前
|
关系型数据库 测试技术 分布式数据库
|
2月前
|
关系型数据库 分布式数据库 数据库
2024年全国大学生计算机系统能力大赛PolarDB数据库创新设计赛(天池杯)等你来战!
2024年全国大学生计算机系统能力大赛PolarDB数据库创新设计赛(天池杯)等你来战!
2024年全国大学生计算机系统能力大赛PolarDB数据库创新设计赛(天池杯)等你来战!
|
6月前
|
SQL 存储 算法
数据库编程大赛:一条SQL计算扑克牌24点
参加NineData举办的数据库编程大赛,展示你的技术才华!用一条SQL语句解决扑克牌24点的计算表达式。这场比赛面向数据库爱好者、开发者、程序员、DBA等,展示你的编程技能,并有机会赢得丰厚奖励。欢迎大家来挑战!
251 0
数据库编程大赛:一条SQL计算扑克牌24点
|
SQL 关系型数据库 MySQL
阿里云瑶池数据库SQL大赛获奖名单及参考答案
阿里云瑶池数据库SQL大赛获奖名单及参考答案
832 0
阿里云瑶池数据库SQL大赛获奖名单及参考答案
|
存储 Cloud Native NoSQL
互联网+大赛-阿里云数据库赛题解析|学习笔记
快速学习互联网+大赛-阿里云数据库赛题解析
互联网+大赛-阿里云数据库赛题解析|学习笔记
|
存储 SQL BI
赛况激烈!2022 OceanBase数据库大赛50强诞生
数据库作为各行业数据的存储、管理和分析的软件,是承载数据要素、影响数字经济发展的底座。对于数据库从业者而言,对数据库的要求就是对自身能力的要求。据有关数据统计,目前国内从事数据库内核研发的人员稀缺,制定可行且有效的人才培养方案迫在眉睫。 OceanBase 作为国内自研数据库的厂商,产品能力已经在金融、电信、政企等诸多重要行业得到了验证。自 2021 年起,OceanBase 已连续举办两届数据库大赛,旨在用坚实的数据库系统知识与过硬的实践环境,锻炼出一批真正可投入生产环境的数据库人才。
578 0
赛况激烈!2022 OceanBase数据库大赛50强诞生
|
弹性计算 Java 数据库
第四届数据库大赛赛道2分布式NewSQL测试c++代码运行
第四届数据库大赛赛道2分布式NewSQL测试c++代码运行
143 0
第四届数据库大赛赛道2分布式NewSQL测试c++代码运行
|
弹性计算 Java 数据库
第四届数据库大赛赛道2分布式NewSQL测试代码运行
第四届数据库大赛赛道2分布式NewSQL测试代码运行
110 0
第四届数据库大赛赛道2分布式NewSQL测试代码运行
|
SQL 存储 分布式计算
数据库乘风者征文大赛获奖名单出炉!
让同学们久等了,经过导师团综合评估,最终获奖名单如下,感谢大家投递的优质文章,未来希望数据库越来越好!
数据库乘风者征文大赛获奖名单出炉!
下一篇
无影云桌面