构建大数据网络 需要重视这五个地方

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 在人们考虑大数据时,人们留意到了“大”这一个字,可是在投建基础架构时,人们还应当留意“分布式”。实际上,大数据的应用程序需要处理大量信息,并且在出自弹性的考虑将数据拷贝到多个部位时,信息的规模变得越来越大。

在人们考虑大数据时,人们留意到了“大”这一个字,可是在投建基础架构时,人们还应当留意“分布式”。

实际上,大数据的应用程序需要处理大量信息,并且在出自弹性的考虑将数据拷贝到多个部位时,信息的规模变得越来越大。可是,大数据的最关键属性并非在于它的规模,而在于它将大作业切分成很多小作业的能力,它才能将解决一两个任务的资源细化到好几个位置变成并行处理。

在将大规模和分布式架构组合合为一体时,人们就能发觉大数据网络有一组独特的需求。下边是需要考量的五个层面:

1.网络弹性与大数据的应用程序

假如有一组分布式资源必需通过互联网络开展协调时,可用性就显得尤为重要。假如互联网出现故障,那样导致的不良影响是出现不持续的坏计算资源与数据集。

精确地说,大部分网络结构和工程师的首要侧重点是正常运作时间。可是,网络问题时间的根本原因又不尽相同。他们或者来源于于各个领域,包含机械故障(硬件与软件)、维系和人为错误。故障是无法避免的。尽管网络的高度可用性也很关键,可是想要设计极致可用性是不可能的。

网络架构师不能用故障来躲避目的,而应当设计某些能适应故障的弹性网络。网络的弹性在于路径多样性(资源之间设置多条路径)和故障转移(可以迅速察觉问题和迁移到其他路径上)。除开传统的平均故障时间间隔(MTBF)方法,大数据网络的真正设计标准必须要包括这些性能。

2.处理大数据的应用中的网络拥塞问题

大数据的应用程序不但是规模大,并且也有一种我称之为突发性的特性。当一个作业启动之后,数据就开始调拨。在高流量时间段里,拥塞是一个严重的问题。殊不知,拥塞将会造成更多的队列时间延迟和丢包率。除此之外,拥塞还将会触发重转,这可能让实际上负荷艰巨的互联网没法承受。因而,网络架构设计时应当尽可能减少拥塞点。按照可用性的设计标准,降低拥塞要求网络具有较高的路径多样性,这样才能容许网络将流量分离到很多不一的路径上。

3.大数据中网络一致性要比迟延性更关键

事实上,大部分大数据应用程序对网络延迟不太敏感。假如计算时间的数量级为几秒钟或几分钟,那样即便网络上出现较大延时也是无所谓的——数量级大约为几千毫秒。殊不知,大数据应用程序通常具备较高的同步性。这代表着作业是并行执行的,而各个作业之间较大的性能差异或者会引起程序运行的故障。为此,网络不但要足够高效,并且要在时间与空间上具备相同的性能。

4.目前就要准备大数据将来的可伸缩性

或者令人有点意外的是,大部分大数据集群事实上并不大。或者说,即便每台服务器配置双向冗余,适用全部集群也只需要四个接入交换机(假定是分別有72个10GbE浏览端口的Broadcom交换机)。

可伸缩性并非在于现如今集群目前有多规模性,而是说怎样均衡地拓展支持将来的部署规模。假如基础架构设计目前只合适小规模部署,那样这个架构将怎样随之节点数目的增多而持续进化?在未来某一个时刻,它是不是需要完全重新设计架构?这个架构是不是必须某些短程数据和数据位置信息?重要是要记住,可伸缩性并非取决于绝对规模,而是更关注于实现足够规模解决方案的路径。

5.利用网络分割来处理大数据

网络分割是创建大数据环境的关键条件。在非常简单的形式上,分割将会暗示着要将大数据流量与其余网络流量分离,这样应用程序形成的突发流量才不易影响别的核心任务工作负荷。此外,人们还需要解决运行多个作业的多个租户,以考虑性能、合规性和/或审计的需求。这些工作要求在一些场合中实现网络负荷的逻辑分离,某些场所则还要实现它们的物理分离。架构师必须同时在两个层面上开展规划,可是原始需求最好统一在一起。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
2月前
|
存储 监控 安全
单位网络监控软件:Java 技术驱动的高效网络监管体系构建
在数字化办公时代,构建基于Java技术的单位网络监控软件至关重要。该软件能精准监管单位网络活动,保障信息安全,提升工作效率。通过网络流量监测、访问控制及连接状态监控等模块,实现高效网络监管,确保网络稳定、安全、高效运行。
72 11
|
4月前
|
18天前
|
传感器 人工智能 大数据
高科技生命体征探测器、情绪感受器以及传感器背后的大数据平台在健康监测、生命体征检测领域的设想与系统构建
本系统由健康传感器、大数据云平台和脑机接口设备组成。传感器内置生命体征感应器、全球无线定位、人脸识别摄像头等,搜集超出现有科学认知的生命体征信息。云平台整合大数据、云计算与AI,处理并传输数据至接收者大脑芯片,实现实时健康监测。脑机接口设备通过先进通讯技术,实现对健康信息的实时感知与反馈,确保身份验证与数据安全。
|
28天前
|
分布式计算 Shell MaxCompute
odps测试表及大量数据构建测试
odps测试表及大量数据构建测试
|
4月前
|
安全 网络架构
MPLS线路构建稳定、高效网络的优选方案
【10月更文挑战第17天】MPLS线路构建稳定、高效网络的优选方案
101 5
|
30天前
|
运维 监控 Cloud Native
构建深度可观测、可集成的网络智能运维平台
本文介绍了构建深度可观测、可集成的网络智能运维平台(简称NIS),旨在解决云上网络运维面临的复杂挑战。内容涵盖云网络运维的三大难题、打造云原生AIOps工具集的解决思路、可观测性对业务稳定的重要性,以及产品发布的亮点,包括流量分析NPM、网络架构巡检和自动化运维OpenAPI,助力客户实现自助运维与优化。
|
30天前
|
人工智能 大数据 网络性能优化
构建超大带宽、超高性能及稳定可观测的全球互联网络
本次课程聚焦构建超大带宽、超高性能及稳定可观测的全球互联网络。首先介绍全球互联网络的功能与应用场景,涵盖云企业网、转发路由器等产品。接着探讨AI时代下全球互联网络面临的挑战,如大规模带宽需求、超低时延、极致稳定性和全面可观测性,并分享相应的解决方案,包括升级转发路由器、基于时延的流量调度和增强网络稳定性。最后宣布降价措施,降低数据与算力连接成本,助力企业全球化发展。
|
2月前
|
人工智能 分布式计算 数据处理
MaxCompute Data + AI:构建 Data + AI 的一体化数智融合
本次分享将分为四个部分讲解:第一部分探讨AI时代数据开发范式的演变,特别是MaxCompute自研大数据平台在客户工作负载和任务类型变化下的影响。第二部分介绍MaxCompute在资源大数据平台上构建的Data + AI核心能力,提供一站式开发体验和流程。第三部分展示MaxCompute Data + AI的一站式开发体验,涵盖多模态数据管理、交互式开发环境及模型训练与部署。第四部分分享成功落地的客户案例及其收益,包括互联网公司和大模型训练客户的实践,展示了MaxFrame带来的显著性能提升和开发效率改进。
|
2月前
|
数据采集 机器学习/深度学习 人工智能
基于AI的网络流量分析:构建智能化运维体系
基于AI的网络流量分析:构建智能化运维体系
137 13
|
2月前
|
云安全 人工智能 安全