小猫吃鱼569
小猫吃鱼569_个人页
小猫吃鱼569
文章
208
问答
0
视频
0
个人介绍
暂无个人介绍
擅长的技术
-
发表了文章 2017-02-19
【Spark Summit East 2017】Kerberizing Spark
本讲义出自Abel Rincon与Jorge Lopez-Malla在Spark Summit East 2017上的演讲，主要介绍了Spark作为主流的大规模并行处理框架，HDFS作为最受欢迎的大数据存储技术，两者之间的结合通常是大数据的常见用例，本讲义分享了如何使得两种技术同处于安全的环境中，另外随着BI技术适应大数据环境，要求几个用户能够同时与集群进行交互，如何保证环境的安全也是一个挑战。
-
发表了文章 2017-02-19
【Spark Summit East 2017】使用Alluxio提升Spark效率
本讲义出自Gene Pang与Haoyuan Li在Spark Summit East 2017上的演讲，主要介绍了Alluxio，前身为Tachyon，是内存加速虚拟分布式存储系统，该系统可以利用内存存储数据，并且加速访问从不同的数据存储系统的数据。
-
发表了文章 2017-02-19
【Spark Summit East 2017】使用Spark和Riak构建物联网应用——模式和反模式
本讲义出自Pavel Hardak在Spark Summit East 2017上的演讲，讨论了存储物联网数据的关系型数据库、NoSQL以及对象存储产品的优点和缺点，并将分享使用Spark结合Riak NoSQL数据库的最佳实践，并解释了为何使用Riak获取可伸缩的持久性后的Spark模型能够解决物联网应用的共性问题，最后还结识了为何Structured Spark Streaming给了对于时间序列分析良机。
-
发表了文章 2017-02-19
【Spark Summit East 2017】不再有“Sbt Assembly”了：使用CueSheet反思Spark Summit
本讲义出自Jong Wook Kim在Spark Summit East 2017上的演讲，主要介绍了CueSheet，一个围绕着Spark构建的开源框架，能够对于Spark应用程序的开发进行加速。CueSheet无需打开终端就可以对于Spark应用进行打包、提交和部署，并且可以帮助开发者方便地进行编程和调试。
-
发表了文章 2017-02-19
【Spark Summit East 2017】下一代存档：使用Hadoop进行存档、电子取证和监管
本讲义出自Jordan Volzn在Spark Summit East 2017上的演讲，存档、电子取证和监管这样几个合规的案例，这些看上去天生就适合使用Hadoop进行处理，但是却没有被广泛采用，演讲中讨论了几者之间共同的局限，以及Spark如何帮助构建新的蓝图并打破原有的解决方案将架构现代化。
-
发表了文章 2017-02-19
【Spark Summit East 2017】基于Bluemix Apache Spark服务的数据驱动的水安全
本讲义出自Vladimir Stemkovski在Spark Summit East 2017上的演讲，主要介绍了非营利性组织Water的使命是致力于为世界各地提供安全饮用水解决方案。IBM的 jStart 团队使用Bluemix Apache Spark服务与气象、经济以及社会数据相结合来寻找行为模式，预测水资源短缺，建议改变车站的运营方式以增加为当地社区提供的安全饮用水。
-
发表了文章 2017-02-19
【Spark Summit East 2017】管道泄漏问题：像女士一样在大数据中做个的标记
本讲义出自Kavitha Mariappan在Spark Summit East 2017上的演讲，主要介绍了如何应对大数据中的管道泄漏问题。
-
发表了文章 2017-02-19
【Spark Summit East 2017】Spark SQL：Tungsten之后另一个可以达到16倍速度的利器
本讲义出自Brad Carlile在Spark Summit East 2017上的演讲，主要介绍了Oracle公司的创新产品：Spark SQL，并介绍了使用Spark SQL创新特性以及在Spark ML生成的新特性，并探讨了工作负载在规模和复杂的相互作用，最后还介绍了最佳实践和调优建议。
-
发表了文章 2017-02-19
【Spark Summit East 2017】Cornami提升Spark性能与速度
本讲义出自Paul Master在Spark Summit East 2017上的演讲，主要介绍了CORNAMI公司的TruStream技术，一个以高密度处理器核心计算内存结构的新架构。演讲中介绍了如何将Spark集成到TruStream计算结构中来对于一般的Spark任务提供更高性能的计算处理能力，并介绍了目前在多服务器集群上构建的应用上如何使用TruStream与Spark提高算法速度，增加功能并且降低成本以及延迟。
-
发表了文章 2017-02-19
【Spark Summit East 2017】现代化你的数据仓库的全新“Sparkitecture”
本讲义出自Myles Collins在Spark Summit East 2017上的演讲，主要介绍了面对数据管道增速，聚合和可视化成为一个简化的，自助的方式的挑战，很多组织开始越来越多地转向求助于Spark, Hadoop, Kafka的结合，并且证明了分析型数据库Vertica等关键实现技术是优化企业级数据仓库体系结构的关键。
-
发表了文章 2017-02-19
【Spark Summit East 2017】实时业务数据分析
本讲义出自Manish Gupta在Spark Summit East 2017上的演讲，当Redis作为分布式共享内存数据存储来进行类似时间序列数据范围查询分析的时候可以帮助Spark加速45倍。使用Redis的机器学习模型redis-ml将可以允许多应用程序同时使用相同的模型，并对于这些模型的分类和执行进行加速。
-
发表了文章 2017-02-19
【Spark Summit East 2017】大数据赋能机器学习
本讲义出自Jiao Wang与Yiheng Wang在Spark Summit East 2017上的演讲，在演讲中Jiao Wang与Yiheng Wang分享了Intel以及用户使用开源的Apache Spark分布式深度学习库BigDL构建的大数据机器学习应用。
-
发表了文章 2017-02-19
【Spark Summit East 2017】Spark + Flashblade
本讲义出自Brian Gold在Spark Summit East 2017上的演讲，现代基础设施和应用程序会产生大量的日志和遥测数据，Pure Storage能从工程台、制造伙伴和测试站的运行的存储系统获取超过5PB第一手日志数据，演讲中介绍了Pure Storage公司从扩展数据仓库和利用Apache Spark的功能满足分析需求的过程中吸取的经验教训。
-
发表了文章 2017-02-19
【Spark Summit East 2017】基于Spark构建的Netflix推荐ML Pipeline
本讲义出自Tsai在Spark Summit East 2017上的演讲，主要介绍了Netflix如何使用Apache Spark作为分布式计算框架以及机器学习技术来构建自己的算法来为8000万以上的用户进行个性化推荐，并介绍了在面对Netflix量级的用户带来的挑战中使用的技术和遇到的陷阱。
-
发表了文章 2017-02-19
【Spark Summit East 2017】构建于高维文档数据集上的基于时间戳的实时分析查询处理与预测模型
本讲义出自Debasish Das在Spark Summit East 2017上的演讲，主要介绍了对于LuceneDAO进行的扩展，允许其从文档术语的观点来使用时间戳进行搜索和时间过滤，演讲中展示了对于一整套查询生成的API，核心观点是通过理解如何使得 Lucene能够意识到在Spark中时间意识是非常重要的，进而构建交互式分析查询处理和时间序列预测算法。
-
发表了文章 2017-02-19
【Spark Summit East 2017】可扩展性机器学习的特征哈希
本讲义出自Nick Pentreath在Spark Summit East 2017上的演讲，主要介绍了特征哈希是用于处理高维特性的一个功能强大的机器学习技术，特征哈希快速、简单、并且节约内存，而且适合在线学习场景，演讲中分享了特征哈希的基本功能，以及如何使用特征哈希在机器学习中的所有功能类型，并介绍了一个在Spark ML管道中使用的更加灵活和强大的转化器。
-
发表了文章 2017-02-19
【Spark Summit East 2017】BigDL：Spark上的分布式深度学习库
本讲义出自Yiheng Wang在Spark Summit East 2017上的演讲，主要介绍了使用Spark构建大数据平台的分布式的深度学习框架，其结合了“高性能计算”和“大数据”的架构，为Spark上的深度学习功能提供本地支持，演讲中还分享了用户通过BigDL构建的深度学习的应用程序，BigDL允许开发者使用大数据平台进行统一数据存储、数据处理和挖掘、机器学习以及深度学习等。
-
发表了文章 2017-02-19
【Spark Summit East 2017】使用Spark MLlib和Apache Solr构建实时实体类型识别系统
本讲义出自Khalifeh Aljadda在Spark Summit East 2017上的演讲，由于实体查询系统中的查询一般比较短，所以由于缺少上下文信息，所以不适合使用传统的bag-of-words模型来确定实体类型，本讲义介绍了一个新颖的实体类型识别系统，该系统使用Spark MLlib和Apache Solr构建，能够结合不同来源的线索来分析出需要查询实体。
-
发表了文章 2017-02-19
【Spark Summit East 2017】为了乐趣和利润的全球扩张
本讲义出自Michelle Casbon在Spark Summit East 2017上的演讲，为了建立一个全球的用户群，一个产品需要支持多种语言环境，这带来挑战是在不同语言环境下对于字符进行本地化，Qordoba为了应对这些挑战，使用了高度可扩展的机器学习和自动化计数，使用Scala和Akka作为编排层，Apache Cassandra和MariaDB作为存储层，Spark进行自然语言处理，Kafka作为消息总线。
-
发表了文章 2017-02-19
【Spark Summit East 2017】使用机器学习注释器和大规模深度学习本体进行语义自然语言理解
本讲义出自David Talby在Spark Summit East 2017上的演讲，主要介绍了一个通过自由文本格式的病人记录给出临床诊断推理和实时的参考意见的端到端系统，该系统的架构是构建在Kafka与Spark Streaming之上的，该系统可以实时地对于数据进行获取和加工，并使用Spark & MLLib进行建模，并通过Elasticsearch使得用户可以低延迟地对于结果进行访问。
-
发表了文章 2017-02-19
【Spark Summit East 2017】使用开源大数据软件构建实时防欺诈引擎
本讲义出自Kees Jan de Vries在Spark Summit East 2017上的演讲，骗子总试图使用盗取来的信用卡购买商品，预定机票和酒店等，这伤害了持卡人的信任和供应商在世界各地的业务，本讲义介绍了使用开源大数据软件：Spark, Spark ML, H2O, Hive, Esper等构建的实时防欺诈引擎，并介绍了面对的挑战。
-
发表了文章 2017-02-19
【Spark Summit East 2017】Drizzle——Spark的低延迟执行
本讲义出自Shivaram Venkataraman在Spark Summit East 2017上的演讲，主要介绍了Spark的低延迟执行引擎——Drizzle，其设计目的在于对流进行处理以及进行迭代工作。
-
发表了文章 2017-02-19
【Spark Summit East 2017】商品集群上的时间演化图处理
本讲义出自Anand Iyer在Spark Summit East 2017上的演讲，主要介绍了构建于通用数据流框架上的时间演化图处理系统Tegra，并介绍了间隔拍摄（Timelapse）来呈现两个计算模型：用于对于进化图的多个快照进行计算的时序分析模型，以及能够有效更新结果的广义增量计算模型。
-
发表了文章 2017-02-19
【Spark Summit East 2017】基于Spark的可扩展的层次聚类算法
本讲义出自Chen Jin在Spark Summit East 2017上的演讲，数据挖掘的第一步工作就是进行聚类，聚类的目标是减少数据冗余或者定义数据类型，层次聚类，是一种被广泛使用的集群技术，它可以通过提出潜在的组织结构从而提供更丰富的表现方式。
-
发表了文章 2017-02-19
【Spark Summit East 2017】Ernest：基于Spark的性能预测大规模分析框架
本讲义出自Shivaram Venkataraman在Spark Summit East 2017上的演讲，近期使用Spark进行机器学习，基因组学和科学分析呈现增长的趋势，然而将这些应用部署在云计算平台上是有一定挑战性的，而应对上述挑战的关键在于有能力预测的应用程序在保持高性能的状态下所需要的资源配置，这样就可以自动选择最优配置。
-
发表了文章 2017-02-18
【Spark Summit East 2017】将HPC算法引入大数据平台
本讲义出自Nikolay Malitsky在Spark Summit East 2017上的演讲，主要介绍了使用轻量级源工具集开发的，基于MPI的Spark平台的扩展，扩展的背景和原理正如题目所示：将HPC算法引入大数据平台。
-
发表了文章 2017-02-18
【Spark Summit East 2017】Opaque：强安全性的数据分析平台
本讲义出自Marius van Niekerk在Spark Summit East 2017上的演讲，随着企业转向以云计算为基础进行数据分析，云安全漏洞的风险构成了严重的威胁。对数据进行加密是数据传输中的第一步，然而却必须在内存中进行解密，这就有可能暴露在被黑客攻击过的操作系统或者虚拟机中。
-
发表了文章 2017-02-18
【Spark Summit East 2017】使用Spark对仙女星系数据进行分析
本讲义出自Jose Nandez在Spark Summit East 2017上的演讲，主要介绍了使用Spark与Python API对于仙女星系的数据进行交互式数据分析，Spark-Python代码充分利用了Spark RDDs进行查询来帮助预测某一对像是否属于仙女星系。
-
发表了文章 2017-02-18
【Spark Summit East 2017】迈向实时：为个性化创建不断更新频率的数据集
本讲义出自Shriya Arora在Spark Summit East 2017上的演讲，主要介绍了NETFLIX使用Spark处理个性化数据集空间的经验，并分享了使用流处理大规模的个性化数据集的案例，对于从批处理到流计算的转型意识以及这一过程中必须要面对的技术挑战。
-
发表了文章 2017-02-18
【Spark Summit East 2017】基于Spark的行为分析研究
本讲义出自John W u在Spark Summit East 2017上的演讲，主要介绍了在Spark生态系统中使用机器学习技术对于一系列应用的用户行为进行分析理解的经验。在这种背景下，Spark使得大型高性能计算系统的强大计算能力可以被可用行为经济学家使用，而不需要像科学家那样去了解并行计算。
-
发表了文章 2017-02-18
【Spark Summit East 2017】Spark，类型函数式编程的引诱者
本讲义出自Jeff Smith与Rohan Aletty在Spark Summit East 2017上的演讲，主要介绍了如何使用Spark作为学习工具，在函数式编程等领域构建技能栈，介绍了从基础工作Scala和函数式编程的概念到完全实现机器学习管道，并讲解了Spark以及MLlib。
-
发表了文章 2017-02-18
【Spark Summit East 2017】使用Spark进行可伸缩的元基因组分析
本讲义出自Zhong Wang在Spark Summit East 2017上的演讲，主要介绍了元基因组分析的相关概念以及目前面临的计算上的挑战，实验表明，使用Spark进行元基因组数据分析的速度、可扩展性、健壮性都非常不错，并且最重要的一点十分容易编程实现，对于元基因组分析来说，Spark是一个具成本效益比较高的解决方案并且能够快速开发和部署的方案。
-
发表了文章 2017-02-18
【Spark Summit East 2017】用Yarn监控Scala和Python Spark工作的动态资源使用情况
本讲义出自Ed Barnes与Ruslan Vaulin在Spark Summit East 2017上的演讲，我们都害怕“失去的任务”和“容器由于超出内存限制被Yarn关闭”的消息在Spark Yarn的应用程序出现的比例增多。
-
发表了文章 2017-02-18
【Spark Summit East 2017】使用Spark RDD构建用户应用
本讲义出自Tejas Patil在Spark Summit East 2017上的演讲，主要介绍了与SQL类的Hive相比，使用Spark RDD API开发用户应用的几个优点，并介绍了如何进行数据分布，避免数据倾斜，如何优化特定于应用程序的优化以及建立可靠的数据管道，为了说明以上的优点，Tejas Patil在演讲中展示了原本基于Hive的经过重新设计基于Spark的大规模复杂语言训练模型管道。
-
发表了文章 2017-02-18
【Spark Summit East 2017】从解决Spark陷阱中学到的问题解决清单
本讲义出自Justin Pihony与Stavros Kontopoulos在Spark Summit East 2017上的演讲，因为Spark，大数据应用程序的编写并不简单，讲义中分享了Lightbend帮助客户在Spark中发现很多的隐藏陷阱，介绍了应该如何洞察这些陷阱和如何避免出现相同的错误。
-
发表了文章 2017-02-18
【Spark Summit East 2017】Stitch Fix从Redshift迁移到Spark的实践
本讲义出自Sky Yin在Spark Summit East 2017上的演讲，数据科学家每天都会编写SQL查询语句，通常情况下，他们知道如何编写正确的查询语句，但不知道为什么他们的查询执行却是缓慢的，所以需要对于SQL查询进行优化，本讲义将介绍如何将一个大表从Redshift迁移到Spark上。
-
发表了文章 2017-02-18
【Spark Summit East 2017】打击网络犯罪:联合特遣部队的实时数据和人工分析
本讲义出自William Callaghan在Spark Summit East 2017上的演讲，网络犯罪是一个大行业。Gartner报道全球安全支出达到了8000万美元，中小型企业占超过一半的攻击目标企业。
-
发表了文章 2017-02-18
【Spark Summit East 2017】使用ADAM处理Terabyte级基因数据集
本讲义出自Frank Austin Nothaft在Spark Summit East 2017上的演讲，主要介绍了构建于Spark分布式计算框架之上的符合Apache 2许可的库ADAM，ADAM允许基因分析在Spark上集群上无缝地进行分布，并为编写基因组分析算法提供了清晰的API，演讲还讨论了ADAM与Hbase对于大型变体数据集进行交互式探索。
-
发表了文章 2017-02-18
【Spark Summit East 2017】为什么没有人会告诉你如何写一个流应用
本讲义出自Mark Grover与Ted Malaska在Spark Summit East 2017上的演讲，主要分享了开发一个非凡的流应用不得不考虑的几个问题。
-
发表了文章 2017-02-18
【Spark Summit East 2017】Debugging PySpark
本讲义出自Holden Karau在Spark Summit East 2017上的演讲，主要介绍了如何对于Spark程序进行调试Debug，并介绍了登录时的对于Spark所支持的各种语言的不同选项以及常见的错误和如何对这些错误进行检测。
-
发表了文章 2017-02-18
【Spark Summit East 2017】使用Spark横向扩展关系型数据库
本讲义出自Cody Koeninger在Spark Summit East 2017上的演讲，扩展了并不一定意味着放弃事务和高效的连接！对于关系型数据库进行横向扩展可以帮助Spark覆盖存储流媒体或批处理计算的功能的实现。
-
发表了文章 2017-02-18
【Spark Summit East 2017】Bulletproof Jobs：大规模Spark处理模式
本讲义出自Sim Simeonov在Spark Summit East 2017上的演讲，主要介绍了Spark工作中的三个防弹原则以及他们的系统原则和设计模式。这三个原则分别是：幂等性、行级结构化日志以及不变的查询结构。
-
发表了文章 2017-02-18
【Spark Summit East 2017】使用Spark进行时间序列分析
本讲义出自Simon Ouellette在Spark Summit East 2017上的演讲，主要介绍了在Spark上与时间序列数据进行交互的Scala / Java / Python库——spark-timeseries，演讲中分享了spark-timeseries的总体设计，目前实现的功能，并将提供一些用法示例。
-
发表了文章 2017-02-18
【Spark Summit East 2017】教会Spark集群弹性管理Worker
本讲义出自Erik Erlandson与Trevor McKay 在Spark Summit East 2017上的演讲，主要介绍了将Openshift Origin作为实验室，实现了Spark能够创建自己的集群并且动态管理API的平台，还分享了如何充分利用Kubernetes生态系统中的API启用应用程序进行弹性部署。
-
发表了文章 2017-02-18
【Spark Summit East 2017】从容器化Spark负载中获取的经验
本讲义出自Tom Phelan在Spark Summit East 2017上的演讲，Tom Phelan探讨了如何实现高可用性的分布式大数据应用和数据中心主机，并分享了学到的经验教训，并对于如何在一个可靠的、可伸缩的、高性能的环境将大数据应用程序容器化给出了一些提示。
-
发表了文章 2017-02-18
【Spark Summit East 2017】pySpark时间序列分析新方向
本讲义出自David Palaitis在Spark Summit East 2017上的演讲，主要介绍了无论是物联网(loT)，财务数据分析，还是时间序列分析都需要合适工具和技术，目前很明显缺少Pandas和pySpark栈的相关软件。
-
发表了文章 2017-02-18
【Spark Summit East 2017】 使用Kafka Connect和Spark Streaming构建实时数据管道
本讲义出自Ewen Cheslack Postava在Spark Summit East 2017上的演讲，主要介绍了面对使用Spark Streaming构建大规模实时数据管道的挑战，Kafka项目最近推出了新的工具—— Kafka Connect，该工具将帮助简化从Kafka导入和导出数据，Ewen Cheslack Postava分享了如何使用Kafka Connect和Spark Streaming构建实时数据管道。
-
发表了文章 2017-02-18
【Spark Summit East 2017】使用Spark和Elasticsearch构建数据集搜索引擎
本讲义出自Oscar Castaneda Villagran在Spark Summit East 2017上的演讲，主要介绍了利用内置了Elasticsearch的Spark集群使得在集群中的驱动节点上运行嵌入式Elasticsearch实例成为了可能，这就为开发更为先进的应用程序奠定了基础，其中一个应用就是数据集搜索。
-
发表了文章 2017-02-18
【Spark Summit East 2017】用于数据分析的基于Kerberos的安全的Spark Notebook
本讲义出自Joy Chakraborty在Spark Summit East 2017上的演讲，主要介绍了为了使用Spark构建基于Kerberos的安全的JupyterHub笔记本所提出的技术设计和开发思想。
-
发表了文章 2017-02-18
【Spark Summit East 2017】Apache Toree：Spark的一种Jupyter内核
本讲义出自Marius van Niekerk在Spark Summit East 2017上的演讲，主要介绍了Toree的设计思想，Toree如何与Jupyter生态系统交互，以及用户如何借助强大的插件系统来扩展Apache Toree的功能。
暂无更多信息
-
发表了文章
2017-03-03
满满的技术干货！Hadoop顶级会议Apache Hadoop Summit精华讲义分享
-
发表了文章
2017-03-02
【Hadoop Summit Tokyo 2016】操纵云上基于Hadoop 集群的YARN
-
发表了文章
2017-03-02
【Hadoop Summit Tokyo 2016】如何构建成功的数据湖泊
-
发表了文章
2017-03-02
【Hadoop Summit Tokyo 2016】像搭乐高一样搭建Storm与Spark Streaming Pipelines块
-
发表了文章
2017-03-02
【Hadoop Summit Tokyo 2016】将HDFS演化成为广义存储子系统
-
发表了文章
2017-03-02
【Hadoop Summit Tokyo 2016】Apache Spark & Apache Zeppelin的安全状态
-
发表了文章
2017-03-02
【Hadoop Summit Tokyo 2016】Apache Storm中的资源感知调度
-
发表了文章
2017-03-02
【Hadoop Summit Tokyo 2016】Columnar Era：利用Parquet，Arrow and Kudu获取高性能
-
发表了文章
2017-03-02
【Hadoop Summit Tokyo 2016】一小时之内使用Apache Nifi从零到数据流
-
发表了文章
2017-03-02
【Hadoop Summit Tokyo 2016】基于成本的查询优化
-
发表了文章
2017-03-02
【Hadoop Summit Tokyo 2016】数据流与Apache NiFi
-
发表了文章
2017-03-02
【Hadoop Summit Tokyo 2016】追踪Hadoop与Storm资源与开销
-
发表了文章
2017-03-02
【Hadoop Summit Tokyo 2016】限制不断变化的多租户日志服务
-
发表了文章
2017-03-02
【Hadoop Summit Tokyo 2016】基于Apache Spark的数据科学
-
发表了文章
2017-03-01
【Hadoop Summit Tokyo 2016】欢迎来到Hadoop的青春时代
-
发表了文章
2017-03-01
【Hadoop Summit Tokyo 2016】云上的大象
-
发表了文章
2017-03-01
【Hadoop Summit Tokyo 2016】以Apache Storm为例增强可靠性的流计算
-
发表了文章
2017-03-01
【Hadoop Summit Tokyo 2016】服务大众的Hadoop
-
发表了文章
2017-03-01
【Hadoop Summit Tokyo 2016】文件格式的基准——Avro, JSON, ORC & Parquet
-
发表了文章
2017-03-01
【Hadoop Summit Tokyo 2016】一个持续部署的Hadoop数据分析平台
滑动查看更多
暂无更多信息
暂无更多信息