每天1000+架次航班起降,算法+大数据能做什么

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 自2016年9月22日开赛以来,吸引了3457支队伍参赛,选手覆盖中国大陆、中国香港、美国、日本、法国、英国、新加坡等13个国家和地区。大赛共设2个独立赛场,即“1场算法挑战赛(机场客流量的时空分布预测)+1场众智创新赛(机场停机位资源分配优化)”,直面机场管理痛点。
过去10年,中国民航业实现了大跨越式的发展。以飞机为例,2005年我国的民航运输飞机仅863架,到2015年底猛增至2650架。作为国内三大航空枢纽机场之一的广州白云国际机场,改革开放后发展迅速,旅客吞吐量和起降架次曾连续8年全国第一,每天都有超过1000架次航班起降。

fe35b7c638411a6c4b30655f7256fc39b00c9829

在大量航班管理之外,机场还需要调配上千量特种车辆、近万名员工24小时不间断地提供服务,复杂程度可想而知。目前国内主要机场普遍存在以下两个问题急需解决: 旅客流量精准预测是一切保障工作开展的前提,却对季节、天气、地理、人文、节假日等众多因素敏感; 航班机位资源调度受限于时下主流资源分配系统的效率,非最优结果导致了地面保障资源的浪费。

基于上述原因,广东省人民政府与阿里巴巴集团联合主办了 2016“数据引领 飞粤云端”广东航空大数据创新大赛,首次开放机场数据,聚焦民航核心难题,并提供高达60万的奖金池。

877453f392eef7d519268261a229e7f909077d26

2016“数据引领 飞粤云端”广东航空大数据创新大赛,由广东省人民政府和阿里巴巴集团联合主办,广东省经济和信息化委员会、惠州市人民政府、阿里云计算有限公司承办

本次大赛基于天池大数据平台,以广州白云机场业务为场景,面向选手开放阿里云的海量数据处理服务MaxCompute和白云机场航空数据。自2016年9月22日开赛以来, 吸引了3457支队伍参赛,选手覆盖中国大陆、中国香港、美国、日本、法国、英国、新加坡等13个国家和地区。大赛共设2个独立赛场,即“1场算法挑战赛(机场客流量的时空分布预测)+1场众智创新赛(机场停机位资源分配优化)”,直面机场管理痛点:

  • 参赛选手根据真实业务场景下的值机、安检、登机、WiFi等旅客流量信息,选用人工智能机器学习方法,预测未来一段时间内航站楼旅客流量数据,帮助机场在每天黎明前就可以对一整天的旅客流量做出估计。复赛中选手们达到的最佳旅客流量估计已经能够达到每个节点每个时刻的平均误差2.3人。
  • 机场停机位规划是非常复杂的多目标多约束条件的优化问题,参赛选手建立巧妙的数学模型,采用特殊设计的智能算法,能够很短时间(秒级)得到非常高效的机位分配策略,既考虑到约束条件,又考虑到临时调整,具有很强的实用性。赛题加入了大量的实际约束条件,比如机位合并,父子机位,临时机位等,更接近实际的调度场景。选手们在原有的算法基础上经过融合和创新,屡次刷新记录,吸收了人工调度的经验,算法的可行性和柔软性高,适用于现场调度。
广东机场白云信息科技工程师李鹏表示:机场把安全作为第一位,在以安全为重的模式下无法采用快速迭代、实时更新等最新互联网软件开发技术,随着旅客流量的增加,机场需要紧跟时代潮流,提升机场服务水平,这要求信息服务在安全的前提下做到更新迅速、方便快捷。传统运营生产系统中以保障航班为主,通过大量人力劳力做到服务尽量满足激增的旅客需求,这种方式未对未来情况预测分析,无法合理及时安排工作人员,资源利用率非常低,这要求机场必须充分利用大数据技术,分析各类关联因素,挖掘潜在因子,做到实时预测,精确管理。

“大数据是这个时代带给我们的机遇”

11月15日晚,广东航空大数据创新大赛专场技术讲座在华南理工大学圆满举行,邀请到阿里云数据科学家闫新发、阿里云高级业务专家刘锦江、广东机场白云信息科技有限公司工程师李鹏、王鹏等多位嘉宾出席分享,现场座无虚席,华南学子们争相提问,气氛热烈。

0491b9a5ceb9bce833f1a0ac1f22f6f8d2f30608

紧扣本次大赛的主题航空数据,阿里云高级业务专家刘锦江由面到点为我们展示了大数据如何驱动机场智能管理。他强调大数据聚焦的是具体的业务问题,比如机场管理中具体的机位、基础设施或者人流的预测等,使用的是现成的计算工具和资源,比如阿里云的天池大数据平台。随着科技发展,我们可以通过计算(或者说数据)去解决各式各样现实问题,解决问题的方法可以称之为“大数据”。

那么,怎样的数据可以称之为“大”数据呢?人类利用计算机以来,解决问题时着眼点只能是与问题直接相关的数据,比如具体的航班信息、空间信息、人流的绝对数量等,没办法把更宽泛的数据汇集进来,比如天气数据、车流信息、机场人流的人群属性特征等。在传统的基础设施条件下,受到信息源、计算能力的限制,无法把如此多方位的因素综合起来。“今天,有了云计算的基础,我们第一次有可能以一种普惠的成本,接触到一个这么宽的数据领域,将各种相关、不相关的数据汇集起来解决一个问题。大数据是这个时代带给我们的机遇。”


欢迎加入MaxCompute钉钉群讨论

35a12d1cfb9f44bb6eead5bf43e9e0ca60393eff

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
2月前
|
机器学习/深度学习 算法 搜索推荐
从理论到实践,Python算法复杂度分析一站式教程,助你轻松驾驭大数据挑战!
【10月更文挑战第4天】在大数据时代,算法效率至关重要。本文从理论入手,介绍时间复杂度和空间复杂度两个核心概念,并通过冒泡排序和快速排序的Python实现详细分析其复杂度。冒泡排序的时间复杂度为O(n^2),空间复杂度为O(1);快速排序平均时间复杂度为O(n log n),空间复杂度为O(log n)。文章还介绍了算法选择、分而治之及空间换时间等优化策略,帮助你在大数据挑战中游刃有余。
67 4
|
2月前
|
存储 分布式计算 算法
大数据-106 Spark Graph X 计算学习 案例:1图的基本计算、2连通图算法、3寻找相同的用户
大数据-106 Spark Graph X 计算学习 案例:1图的基本计算、2连通图算法、3寻找相同的用户
68 0
|
4月前
|
机器学习/深度学习 自然语言处理 算法
【数据挖掘】金山办公2020校招大数据和机器学习算法笔试题
金山办公2020校招大数据和机器学习算法笔试题的解析,涵盖了编程、数据结构、正则表达式、机器学习等多个领域的题目和答案。
106 10
|
1月前
|
缓存 算法 大数据
大数据查询优化算法
【10月更文挑战第26天】
57 1
|
1月前
|
机器学习/深度学习 数据采集 算法
大数据中缺失值处理使用算法处理
【10月更文挑战第21天】
44 3
|
1月前
|
分布式计算 Java 开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景,随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码,发现使用的`nativeBooster.saveModel`方法不支持OSS路径,而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令,帮助用户顺利迁移模型存储路径。
|
5月前
|
机器学习/深度学习 算法 搜索推荐
从理论到实践,Python算法复杂度分析一站式教程,助你轻松驾驭大数据挑战!
【7月更文挑战第22天】在大数据领域,Python算法效率至关重要。本文深入解析时间与空间复杂度,用大O表示法衡量执行时间和存储需求。通过冒泡排序(O(n^2)时间,O(1)空间)与快速排序(平均O(n log n)时间,O(log n)空间)实例,展示Python代码实现与复杂度分析。策略包括算法适配、分治法应用及空间换取时间优化。掌握这些,可提升大数据处理能力,持续学习实践是关键。
129 1
|
2月前
|
存储 机器学习/深度学习 分布式计算
大数据技术——解锁数据的力量,引领未来趋势
【10月更文挑战第5天】大数据技术——解锁数据的力量,引领未来趋势
|
25天前
|
存储 分布式计算 数据挖掘
数据架构 ODPS 是什么?
数据架构 ODPS 是什么?
210 7
|
25天前
|
存储 分布式计算 大数据
大数据 优化数据读取
【11月更文挑战第4天】
40 2