排序分类| 学习笔记

简介: 快速学习排序分类

开发者学堂课程【Hadoop 分布式计算框架 MapReduce:排序分类】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/94/detail/1520


排序分类


1、排序分类

(1)部分排序

MqpReduce 根据输入记录的键对数据集排序。保证输出的每个文件内部有序。

(2)全排序

最终输出结果只有一个文件,且文件内部有序。实现方式是只设置一个 ReduceTask。

但该方法在处理大型文件时效极低,因为一台机器处理所有文件,完全丧失了 MapReduce 所提供的并行架构。

(3)辅助排序: ( GroupingComparator 分组)

在 Reduce 端对 key 进行分组。应用于:在接收的 key 为 bean 对象时,想让一个或几个字段相同(全部字段比较不相同)的 key 进入到同个 reduce 方法时 ,可以采用分组排序。

(4)二次排序

在自定义排序过程中1如果 compareTo 中的判断条件为两个即为二次排序。


2、自定义排序 WritableComparable

(1)原理分析

bean 对象作为 key 传输,需要实现 WritableComparable 接口重写 compareTo 方法,就可以实现排序。

图片2.png

相关文章
|
12月前
|
存储 移动开发 算法
八大排序(一)--------排序的基本概念与分类
八大排序(一)--------排序的基本概念与分类
64 0
|
SQL 存储 算法
索引的基本介绍与分类
索引的基本介绍与分类
|
算法 搜索推荐 索引
【基础算法】排序 查找 算法
【基础算法】排序 查找 算法
|
数据挖掘
白话Elasticsearch43-深入聚合数据分析之案例实战__排序:按每种颜色的平均销售额升序排序
白话Elasticsearch43-深入聚合数据分析之案例实战__排序:按每种颜色的平均销售额升序排序
82 0
|
存储 数据挖掘 BI
【python数据分析】数据的分组,遍历,统计
数据的分组,遍历,统计 俗话说:“人与类聚,物以群分”,到这里我们将学习数据的分组以及分组后统计。Pandas的分组相对于Excel会更加简单和灵活。
【python数据分析】数据的分组,遍历,统计
|
自然语言处理 搜索推荐 算法
相关度排序 | 学习笔记
快速学习相关度排序。
186 0
|
算法
基础算法练习200题01、劳动分组
基础算法练习200题01、劳动分组
89 0
|
人工智能 算法 搜索推荐
算法基础 | 常用排序算法小结(一)
算法基础 | 常用排序算法小结
112 0
算法基础 | 常用排序算法小结(一)
|
人工智能 算法 搜索推荐
算法基础 | 常用排序算法小结(三)
算法基础 | 常用排序算法小结
114 0
算法基础 | 常用排序算法小结(三)
|
人工智能 算法 搜索推荐
算法基础 | 常用排序算法小结(二)
算法基础 | 常用排序算法小结
123 0
算法基础 | 常用排序算法小结(二)