构建大数据网络 需要重视这五个地方

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 在人们考虑大数据时,人们留意到了“大”这一个字,可是在投建基础架构时,人们还应当留意“分布式”。实际上,大数据的应用程序需要处理大量信息,并且在出自弹性的考虑将数据拷贝到多个部位时,信息的规模变得越来越大。

在人们考虑大数据时,人们留意到了“大”这一个字,可是在投建基础架构时,人们还应当留意“分布式”。

实际上,大数据的应用程序需要处理大量信息,并且在出自弹性的考虑将数据拷贝到多个部位时,信息的规模变得越来越大。可是,大数据的最关键属性并非在于它的规模,而在于它将大作业切分成很多小作业的能力,它才能将解决一两个任务的资源细化到好几个位置变成并行处理。

在将大规模和分布式架构组合合为一体时,人们就能发觉大数据网络有一组独特的需求。下边是需要考量的五个层面:

1.网络弹性与大数据的应用程序

假如有一组分布式资源必需通过互联网络开展协调时,可用性就显得尤为重要。假如互联网出现故障,那样导致的不良影响是出现不持续的坏计算资源与数据集。

精确地说,大部分网络结构和工程师的首要侧重点是正常运作时间。可是,网络问题时间的根本原因又不尽相同。他们或者来源于于各个领域,包含机械故障(硬件与软件)、维系和人为错误。故障是无法避免的。尽管网络的高度可用性也很关键,可是想要设计极致可用性是不可能的。

网络架构师不能用故障来躲避目的,而应当设计某些能适应故障的弹性网络。网络的弹性在于路径多样性(资源之间设置多条路径)和故障转移(可以迅速察觉问题和迁移到其他路径上)。除开传统的平均故障时间间隔(MTBF)方法,大数据网络的真正设计标准必须要包括这些性能。

2.处理大数据的应用中的网络拥塞问题

大数据的应用程序不但是规模大,并且也有一种我称之为突发性的特性。当一个作业启动之后,数据就开始调拨。在高流量时间段里,拥塞是一个严重的问题。殊不知,拥塞将会造成更多的队列时间延迟和丢包率。除此之外,拥塞还将会触发重转,这可能让实际上负荷艰巨的互联网没法承受。因而,网络架构设计时应当尽可能减少拥塞点。按照可用性的设计标准,降低拥塞要求网络具有较高的路径多样性,这样才能容许网络将流量分离到很多不一的路径上。

3.大数据中网络一致性要比迟延性更关键

事实上,大部分大数据应用程序对网络延迟不太敏感。假如计算时间的数量级为几秒钟或几分钟,那样即便网络上出现较大延时也是无所谓的——数量级大约为几千毫秒。殊不知,大数据应用程序通常具备较高的同步性。这代表着作业是并行执行的,而各个作业之间较大的性能差异或者会引起程序运行的故障。为此,网络不但要足够高效,并且要在时间与空间上具备相同的性能。

4.目前就要准备大数据将来的可伸缩性

或者令人有点意外的是,大部分大数据集群事实上并不大。或者说,即便每台服务器配置双向冗余,适用全部集群也只需要四个接入交换机(假定是分別有72个10GbE浏览端口的Broadcom交换机)。

可伸缩性并非在于现如今集群目前有多规模性,而是说怎样均衡地拓展支持将来的部署规模。假如基础架构设计目前只合适小规模部署,那样这个架构将怎样随之节点数目的增多而持续进化?在未来某一个时刻,它是不是需要完全重新设计架构?这个架构是不是必须某些短程数据和数据位置信息?重要是要记住,可伸缩性并非取决于绝对规模,而是更关注于实现足够规模解决方案的路径。

5.利用网络分割来处理大数据

网络分割是创建大数据环境的关键条件。在非常简单的形式上,分割将会暗示着要将大数据流量与其余网络流量分离,这样应用程序形成的突发流量才不易影响别的核心任务工作负荷。此外,人们还需要解决运行多个作业的多个租户,以考虑性能、合规性和/或审计的需求。这些工作要求在一些场合中实现网络负荷的逻辑分离,某些场所则还要实现它们的物理分离。架构师必须同时在两个层面上开展规划,可是原始需求最好统一在一起。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
1天前
|
负载均衡 网络协议 开发者
掌握 Docker 网络:构建复杂的容器通信
在 Docker 容器化环境中,容器间的通信至关重要。本文详细介绍了 Docker 网络的基本概念和类型,包括桥接网络、宿主网络、覆盖网络和 Macvlan 网络等,并提供了创建、管理和配置自定义网络的实用命令。通过掌握这些知识,开发者可以构建更健壮和灵活的容器化应用,提高应用的可扩展性和安全性。
|
2天前
|
人工智能 安全 算法
网络安全与信息安全:构建数字世界的防线
在数字化浪潮席卷全球的今天,网络安全与信息安全已成为维系社会秩序、保障个人隐私与企业机密的关键。本文旨在探讨网络安全漏洞的成因、加密技术的应用及安全意识的提升策略,以期为读者提供一个全面而深入的网络安全知识框架。
|
1天前
|
存储 安全 网络安全
网络安全与信息安全:构建安全防线的多维策略在当今数字化时代,网络安全已成为维护个人隐私、企业机密和国家安全的关键要素。本文旨在探讨网络安全漏洞的本质、加密技术的重要性以及提升公众安全意识的必要性,以期为构建更加坚固的网络环境提供参考。
本文聚焦于网络安全领域的核心议题,包括网络安全漏洞的现状与应对、加密技术的发展与应用,以及安全意识的培养与实践。通过分析真实案例,揭示网络安全威胁的多样性与复杂性,强调综合防护策略的重要性。不同于传统摘要,本文将直接深入核心内容,以简洁明了的方式概述各章节要点,旨在迅速吸引读者兴趣,引导其进一步探索全文。
|
2天前
|
安全 网络安全 云计算
云计算与网络安全:构建安全的数字未来
在数字化浪潮中,云计算已成为推动企业创新与发展的重要引擎。然而,随着云服务的普及,网络安全问题也日益凸显,成为制约云计算进一步发展的瓶颈。本文旨在深入探讨云计算环境下的网络安全挑战,分析云服务中的安全隐患,并提出相应的信息安全对策。通过构建安全的云计算环境,为企业数字化转型保驾护航,共同迈向安全的数字未来。
|
2天前
|
存储 安全 网络安全
网络安全与信息安全:构建防线的多维策略
在数字化浪潮中,网络安全已成为企业和个人不可忽视的重要议题。本文深入探讨了网络安全漏洞的本质、加密技术的核心作用以及提升安全意识的重要性。通过分析真实案例和最新研究成果,我们揭示了网络威胁的多样性和复杂性,同时提供了实用的防护措施和策略。无论你是技术专家还是普通用户,本文都将帮助你建立更全面的网络安全视角,共同守护数字世界的安全与和谐。
|
5天前
|
安全 网络安全 数据安全/隐私保护
网络安全与信息安全:构建数字世界的坚固防线
本文深入探讨了网络安全与信息安全的重要性,重点分析了网络安全漏洞、加密技术以及安全意识等关键领域。通过对这些方面的详细阐述,旨在提高公众对网络安全的认识,促进更加安全的数字环境。
|
2天前
|
数据采集 存储 JSON
从零到一构建网络爬虫帝国:HTTP协议+Python requests库深度解析
在网络数据的海洋中,网络爬虫遵循HTTP协议,穿梭于互联网各处,收集宝贵信息。本文将从零开始,使用Python的requests库,深入解析HTTP协议,助你构建自己的网络爬虫帝国。首先介绍HTTP协议基础,包括请求与响应结构;然后详细介绍requests库的安装与使用,演示如何发送GET和POST请求并处理响应;最后概述爬虫构建流程及挑战,帮助你逐步掌握核心技术,畅游数据海洋。
15 3
|
2天前
|
存储 安全 网络安全
云计算与网络安全:构建安全的数字天空##
随着数字化时代的到来,云计算已经成为企业和个人不可或缺的基础设施。然而,伴随其便利性而来的是一系列网络安全风险和挑战。本文将探讨云计算的基本概念、云服务的类型、网络安全的重要性及常见威胁,并讨论如何通过技术手段和管理策略来确保信息安全,以期为读者提供全面的理解和实用的建议。 ##
|
4天前
|
安全 算法 网络安全
网络安全与信息安全:构建数字世界的防线在数字化浪潮席卷全球的今天,网络安全和信息安全已成为维系社会秩序、保障个人隐私与企业机密的基石。本文旨在深入探讨网络安全漏洞的本质、加密技术的前沿进展以及提升公众安全意识的重要性,共同绘制一幅维护网络空间安宁的蓝图。
本文聚焦网络安全与信息安全的核心议题,通过剖析网络安全漏洞的成因与影响,阐述加密技术在保护信息安全中的关键作用,强调了提升全社会安全意识的紧迫性。不同于常规摘要,本文采用叙述式摘要,以第一人称视角引领读者走进网络安全的世界,揭示问题本质,展望未来趋势。
|
7天前
|
SQL 安全 算法
网络安全与信息安全:构建数字世界的坚固防线##
本文旨在探讨网络安全和信息安全的重要性,分析常见的安全漏洞及其利用方式,介绍加密技术在保护数据安全中的作用,强调提高安全意识的必要性。通过深入浅出的方式,帮助读者理解网络安全的核心概念和实用技术,从而在日常生活中更好地保护自己的信息安全。 ##

热门文章

最新文章