大数据技术:内包还是外包

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

对于零售商来说,大数据是一把双刃剑。这些公司正在努力探索全方位的市场竞争,因为他们试图抵御像亚马逊公司这样的行业巨头,一些公司正在将大量资源部署到开发自己的大数据解决方案中,以试图与零售巨头进行竞争。

零售商面临的一个问题是他们需要内部构建还是应该将其外包给供应商。

随着软件即服务(SaaS)模式的普及,在企业环境中部署新的解决方案变得越来越简单和快速。这自然会导致行业不断增长的创新,因为传统的解决方案在短短几个星期内就容易被更新颖,更有效的解决方案所替代。

同时,大型零售商希望在公司内部开发解决方案的愿望,就像亚马逊在内部技术上投入大量资金,自己开发很多产品。然而,重要的是要意识到,并不是所有的产品和解决方案都可以或应该在内部建设。零售商应将基础设施视为数据平台,供应商以同样的方式进行创新,MAC和Android平台允许个别开发人员通过应用程序进行创新。

人们相信,云计算算法将在未来几年成为最常见的SaaS应用程序。把算法作为“核心竞争力”并将其发展局限于内部团队的零售商,只会扼杀技术创新,从长远来后将会落后。在这里列出其原因。

成本

伟大的算法解决方案需要核心人才。这些人才的竞争是十分激烈的,特别是数据科学。数据科学家通常具有计算机科学,统计学或数学方面的博士学位,其薪资超过15万美元。

由于市场上优秀的工程师和数据科学家的供应有限,这些工程师更多的是应聘初创公司或亚马逊,Google和Facebook等技术巨头的职位。不幸的是,大多数实体和在线零售商并不会成为顶尖工程师的目的地。因此,零售商必须通过支付更高薪金来弥补。

通过简单的数学计算表明,一个由20位数据科学家和工程师的团队可以将会让零售商每年花费400万美元的费用。而这只是招聘人才的费用,并没有包括来支持解决方案开发的任何基础设施的投资。相比之下,典型的SaaS解决方案每年的价格将低于100万美元(这可能是绝对的上限,传统的费用将低于50万美元)。通过与供应商合作,零售商可以节省大量的成本。

快速上市和灵活性

对于任何技术初创企业来说,快速推出市场是确定整体成功的关键。这包括内部技术的发展。从项目开始到启动,成功创建一个大数据解决方案可能需要2-3年的时间。虽然需要立即获得解决方案是一个亟待解决的问题,但技术的生命周期并不能绕过。两年的等待时间可能会造成一两个问题:公司新开发的解决方案在启动时几乎已经过时,或者试图领先于快速发展的技术环境,陷入无休止的重新设计周期中。

同时,随着基于云计算的SaaS模式的广泛应用,第三方解决方案的集成和部署速度从未如此快速。有些可以在短短的20天内集成和部署,这意味着尖端技术不断改进(算法在世界上最大的零售商不断优化和调整),快速满足即时需求。更重要的是,第三方供应商还提供了内部构建系统不具备的灵活性。删除和替换第三方SaaS解决方案非常简单,而不用担心昂贵的成本和内部斗争。

创新

技术和算法的进步非常快。纵观历史,竞争在创新中起着至关重要的作用。SaaS模型使其既易于部署又易于更换解决方案。因此,供应商正在不断创新,并面临改进的压力。当拥有内部团队,这个选择已经做出,因此没有竞争。一旦构建和部署解决方案,团队的目标就是维护和改进解决方案。但人们绝对不会知道内部团队的解决方案是否具有市场竞争力。

通过与第三方SaaS供应商合作,零售商能够在短时间内评估和部署许多尖端解决方案,同时投资更少。许多其他零售商都在使用这些解决方案,供应商经过不断的审查,得到客户的创新和改进。试图在内部构建这些解决方案不仅成本高昂而且进度缓慢,而且最重要的是限制创新,从而使企业的业务从长远来看并不那么灵活。

这并不意味着零售商应该将所有技术完全外包给供应商。当人们在大数据的背景下谈论技术时,它们指的是存储和处理数据的基础设施,以及解释数据和做出预测的算法。基础架构包括以安全,隐私保护的方式存储全方位的客户数据,如购买的优惠券,并使支持应用程序可访问该数据。

算法是基础设施之上的有效应用,利用数据来进行需求预测,流失预测,动态定价或产品个性化和定位。它们建立在数据基础之上,与操作系统之上的应用程序相同。因此,零售商必须投入内部资源和大量时间来建立安全,高效和可扩展的基础架构。

具有外部API和安全性(敏感数据加密)的正确基础设施将使企业能够利用供应商的尖端技术,不断创新。这将使企业将注意力和专业知识集中在核心业务功能上,而不是试图成为无关领域的专家。对于任何企业来说,资金,时间和研发能力都是有限的。成功的企业知道如何将这些资源放在正确的地方来获得成功。  


本文作者:Harris

来源:51CTO

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
26天前
|
存储 机器学习/深度学习 分布式计算
大数据技术——解锁数据的力量,引领未来趋势
【10月更文挑战第5天】大数据技术——解锁数据的力量,引领未来趋势
|
13天前
|
存储 分布式计算 数据可视化
大数据常用技术与工具
【10月更文挑战第16天】
56 4
|
26天前
|
存储 数据采集 监控
大数据技术:开启智能决策与创新服务的新纪元
【10月更文挑战第5天】大数据技术:开启智能决策与创新服务的新纪元
|
2天前
|
消息中间件 分布式计算 大数据
数据为王:大数据处理与分析技术在企业决策中的力量
【10月更文挑战第29天】在信息爆炸的时代,大数据处理与分析技术为企业提供了前所未有的洞察力和决策支持。本文探讨了大数据技术在企业决策中的重要性和实际应用,包括数据的力量、实时分析、数据驱动的决策以及数据安全与隐私保护。通过这些技术,企业能够从海量数据中提取有价值的信息,预测市场趋势,优化业务流程,从而在竞争中占据优势。
22 1
|
4天前
|
存储 分布式计算 Hadoop
数据湖技术:Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第27天】在大数据时代,数据湖技术凭借其灵活性和成本效益成为企业存储和分析大规模异构数据的首选。Hadoop和Spark作为数据湖技术的核心组件,通过HDFS存储数据和Spark进行高效计算,实现了数据处理的优化。本文探讨了Hadoop与Spark的最佳实践,包括数据存储、处理、安全和可视化等方面,展示了它们在实际应用中的协同效应。
25 2
|
5天前
|
存储 分布式计算 Hadoop
数据湖技术:Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第26天】本文详细探讨了Hadoop与Spark在大数据处理中的协同作用,通过具体案例展示了两者的最佳实践。Hadoop的HDFS和MapReduce负责数据存储和预处理,确保高可靠性和容错性;Spark则凭借其高性能和丰富的API,进行深度分析和机器学习,实现高效的批处理和实时处理。
23 1
|
27天前
|
存储 分布式计算 druid
大数据-149 Apache Druid 基本介绍 技术特点 应用场景
大数据-149 Apache Druid 基本介绍 技术特点 应用场景
51 1
大数据-149 Apache Druid 基本介绍 技术特点 应用场景
|
2月前
|
机器学习/深度学习 运维 分布式计算
大数据技术专业就业前景
大数据技术专业就业前景广阔,广泛应用于互联网、金融、医疗等众多行业,助力企业数字化转型。岗位涵盖大数据开发、分析、运维及管理,如大数据工程师、分析师和系统运维工程师等。这些岗位因专业性和稀缺性而享有优厚薪资,尤其在一线城市可达20万至50万年薪。随着技术进步和经验积累,从业者可晋升为高级职位或投身数据咨询、创业等领域,发展空间巨大。
49 5
|
2月前
|
人工智能 编解码 搜索推荐
大模型、大数据与显示技术深度融合 加速智慧医疗多元化场景落地
大模型、大数据与显示技术深度融合 加速智慧医疗多元化场景落地
|
26天前
|
存储 数据采集 分布式计算
大数据技术:开启智能时代的新引擎
【10月更文挑战第5天】大数据技术:开启智能时代的新引擎