|
11月前
|
Windows
|

Office Tool Plus 永恒经典,让每个人都能轻松使用上免费的办公神器!

本文介绍如何使用Office Tool Plus在Windows 11系统上快速、免费安装和激活Office。首先,下载并解压Office Tool Plus,启动后选择“Microsoft 365企业应用版”并设置为简体中文,点击“开始部署”。安装完成后,可通过两种方法激活Office:一是使用命令框输入特定指令,二是通过KMS激活。推荐使用KMS服务器(如kms.loli.beer)进行激活。此外,若之前安装过Office,需先清除激活信息和旧版本残留文件,以确保新安装顺利进行。

8374 9
|
流计算 API SQL
|

Apache Flink 1.9重磅发布!首次合并阿里内部版本Blink重要功能

8月22日,Apache Flink 1.9.0 版本正式发布,本文对此次发版中重要功能特性进行说明,包括批处理作业的批式恢复,以及 Table API 和 SQL 的基于 Blink 的新查询引擎(预览版)State Processor API等等众多社区迫切关注的新特性。

3091 0
来自: 实时计算 Flink  版块
|
机器学习/深度学习 SQL 分布式计算
|

使用Spark SQL进行流式机器学习计算(上)

今天来和大家简单说一下如何使用Spark SQL进行流式数据的机器学习处理

2697 0
|
容器 流计算 资源调度
|

Apache Flink 进阶(四):Flink on Yarn/K8s 原理剖析及实践

本文主要介绍 Flink on Yarn/K8s 的原理及应用实践,文章将从 Flink 架构、Flink on Yarn 原理及实践、Flink on Kubernetes 原理剖析三部分内容进行分享并对 Flink on Yarn/Kubernetes 中存在的部分问题进行了解答。

5436 1
来自: 实时计算 Flink  版块
|
SQL 消息中间件 分布式计算
|

通过Spark SQL实时归档SLS数据

流式计算和SQL 简要介绍Spark SQL流式开发语法 实时归档SLS数据到HDFS

3239 0
|
SQL 分布式计算 Spark
|

Adaptive Execution如何让Spark SQL更高效更好用?

本文转发自技术世界,原文链接 http://www.jasongj.com/spark/adaptive_execution/ 1 背  景 Spark SQL / Catalyst 和 CBO 的优化,从查询本身与目标数据的特点的角度尽可能保证了最终生成的执行计划的高效性。

2032 0
|
SQL 测试技术 API
|

State Processor API:如何读取,写入和修改 Flink 应用程序的状态

Apache Flink 1.9.0引入了状态处理器(`State Processor`)API,它是基于DataSet API的强大扩展,允许读取,写入和修改Flink的保存点和检查点(checkpoint)中的状态。

2074 0
来自: 实时计算 Flink  版块

利用PAI-DSW访问Github, 快速获取最新的学习资源

PAI-DSW(Data science workshop)是专门为数据科学探索者们准备的云端深度学习开发环境,用户可以登录 DSW 进行代码的开发并运行工作。目前 DSW 支持了Github下载,让我们可以更加便捷的访问上面的资源.

5056 0
来自: 人工智能平台PAI  版块
|
存储 关系型数据库 MySQL
|

DataX:导入4字节UTF8编码(生僻字)到Mysql数据库的utf8mb4数据表

MySql数据库的编码支持UFT8字符集。utf-8编码可能是2个字节、3个字节、4个字节的字符,MYSQL的utf-8编码,只支持3个字节的字符。汉字中很多生僻字都是4个字节的字符,日常生活中人的姓名就会有很多高位的生僻字。

6746 1
来自: 大数据计算 MaxCompute  版块
|
分布式计算 Spark 数据格式
|

深入剖析 Delta Lake:详解事务日志

事务日志(Transaction log)是理解 Delta Lake 的一个关键点,很多 Delta Lake 的重要特性都是基于事务日志实现的,包括 ACID 事务性、可扩展元数据处理、时间回溯等等。本文将探讨什么是事务日志,如何在文件层面实现,以及怎样优雅地解决并发读写的问题。

3212 0
|
Apache 项目管理 流计算
|

祝贺!两位 Apache Flink PMC 喜提 Apache Member

目前,国内(华人)近 30 位 Apache Member 中,有 3 位是 Apache Flink 的核心贡献者。他们热爱开源也为开源贡献,不仅积极参与社区与其他 PMC 成员共同规划、主导 Apache Flink 的发展,更活跃在多个开源项目,持续为开源社区做贡献。

3186 0
来自: 实时计算 Flink  版块
|
机器学习/深度学习 分布式计算 大数据
|

# Apache Spark系列技术直播# 第八讲 【 微软Azure平台利用Intel Analytics Zoo构建AI客服支持实践 】

**直播时间**: 2019.01.10(周四) 19:00 - 20:00 **主讲人:** 黄凯——Intel大数据技术团队软件工程师。 卫雨青——Microsoft C+AI 团队软件工程师。

1915 0
|
云栖大会 达摩院 程序员
|

太难了!我耗费心力终于规划出了一张云栖大会日程表

十年前,参加云栖大会还只是程序员的杭州朝圣之旅,而如今,它依然成了透视和分析云计算产业和窥见数字经济的窗口。一切你想看见的、期待看见的,甚至未曾预见的,都会在未来的三天中扑面而来。

1920 0
|
SQL 分布式计算 MaxCompute
|

MaxCompute SQL 使用正则表达式选列

编辑MaxCompute SQL 时,经常会需要在某个表N个列中指定一些列。若需要指定的列比较少,编写SQL时一个个输入既可。当遇到列多的时候,一个个输入就会非常费劲。本文将介绍如何在编写MaxCompute SQL时通过正则表达式表达列(column),从而提升编码效率。

3160 0
来自: 大数据计算 MaxCompute  版块

农业贷款预测

很多农民因为缺乏资金,在每年耕种前会向相关机构申请贷款来购买种地需要的物资,等丰收之后偿还。农业贷款发放问题是一个典型的数据挖掘问题。贷款发放人通过往年的数据,包括贷款人的年收入、种植的作物种类、历史借贷信息等特征来构建经验模型,通过这个模型来预测受贷人的还款能力。 本文借助真实的农业贷款业务场景,利用回归算法解决贷款发放业务。 线性回归,是利用数理统计中回归分析,来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法,运用十分广泛。本文通过农业贷款的历史发放情况,预测是否给预测集的用户发放他们需要的金额的贷款。<br />数据源:UCI开源数据集<br />数据大小:6.62 KB<br />字段数量:10<br />使用组件:过滤与映射,SQL脚本,读数据表,线性回归(旧),合并列<br />

1580 0
来自: 人工智能平台PAI  版块
|
存储 分布式计算 MaxCompute
|

MaxCompute 预付费标准版VS套餐版

MaxCompute 于5月7日正式售卖预付费(包年包月)套餐资源,主打存储密集型套餐,一共三个套餐: 存储密集型160套餐 存储密集型320套餐 存储密集型600套餐 本文主要给大家介绍预付标准版和套餐版的资源、售价以及两者对比的情况,以供大家选购时进行参考。

2227 0
来自: 大数据计算 MaxCompute  版块
|
分布式计算 Spark 存储
|

EMR 打造高效云原生数据分析引擎

EMR-Jindo是EMR推出的云原生 OLAP 引擎。凭借该引擎,EMR成为第一个云上TPC-DS成绩提交者。经过持续不断地内核优化,目前基于最新 EMR-Jindo 引擎的 TPC-DS 成绩又有了大幅提高,达到了3615071,成本降低到 0.76 CNY。在2019杭州云栖大会大数据技术专场,阿里云阿里巴巴计算平台事业部 EMR 技术专家辛庸向大家分享了如何基于开源体系如何打造云上数据分析平台E-MarReduce(EMR)、EMR-Jindo 引擎背后的相关技术以及以 EMR-Jindo 为核心的云上大数据架构方案。

3441 0
|
分布式计算 Spark Java
|

Spark Codegen浅析

Codegen是Spark Runtime优化性能的关键技术,核心在于动态生成java代码、即时compile和加载,把解释执行转化为编译执行。Spark Codegen分为Expression级别和WholeStage级别,分别针对表达式计算和全Stage计算做代码生成,都取得了数量级的性能提升。本文浅析Spark Codegen技术原理。

3106 0
|
机器学习/深度学习 分布式计算 Java
|

浅谈 Spark 的多语言支持(修订版)

Spark 设计上的优秀无容置疑,甫一出道便抢了 Hadoop 的 C 位,在开源大数据的黄金十年里一时风头无两,在人工智能时代的当下仍然能够与时俱进,不可谓不牛逼。架构和设计上的卓越,不遑多言,美中不足之处自然也有不少,比如调度模型跟 MapReduce 这种计算范式过于耦合,Spark 最近引入 Barrier 调度模式就是为了支持深度学习这种新的计算类型,所幸在于对框架的改动不会伤经动骨。

1839 0
|
数据库管理
|

【译】Spark-Alchemy:HyperLogLog的使用介绍

原文链接: [https://databricks.com/blog/2019/05/08/advanced-analytics-with-apache-spark.html] 译者:辰石,阿里巴巴计算平台事业部EMR团队技术专家,目前从事大数据存储以及Spark相关方面的工作。

2172 0
|
数据采集 机器学习/深度学习 SQL
|

为什么说 Flink + AI 值得期待?

近年来 AI 持续火热,各种计算框架、模型和算法层出不穷,从某种角度上来说,这个赛道已经有些拥挤了。在这种情况下, Flink 将怎样拥抱 AI,又会为用户带来什么新的价值?Flink AI 的优劣势分别在哪里?本文将通过对这些问题的讨论来分析 Flink AI 的发展方向。

1656 0
来自: 实时计算 Flink  版块
|
机器学习/深度学习 SQL 人工智能
|

Flink 如何支持特征工程、在线学习、在线预测等 AI 场景?

人工智能应用场景中,Flink 在包括特征工程,在线学习,在线预测等方面都有一些独特优势,为了更好的支持人工智能的使用场景,Flink 社区以及各个生态都在努力。本文将介绍近期 Flink 在人工智能生态系统中的工作进展。

3235 0
来自: 实时计算 Flink  版块
|
机器学习/深度学习 存储 分布式计算
|

25 亿条/秒消息处理!Flink 又双叒叕被 Apache 官方提名

3 月 26 日,Apache 官方博客宣布其成立 21 周年,博客中对 Apache 之道、Apache 大型项目的应用以及 Apache 基金会里程碑事件进行了盘点。其中 Apache Flink 在 2019 年阿里巴巴双 11 场景中突破实时计算消息处理峰值达到 25 亿条/秒的记录被 Apache 官方博客收录。

1919 0
来自: 实时计算 Flink  版块

钉钉群直播【Structured Steaming的进阶与实践 】

structured steaming因其低时延和提供的SQL API等特性被越来越多的企业所使用,作为实时计算的首选。 本次分享structured steaming的使用,包含spark 2.4 structured streaming的新特性,API原理和使用场景等的介绍。

1748 0
|
消息中间件 存储 SQL
|

Netflix:如何打造开放协作的实时 ETL 平台?

本文由 Netflix 高级软件工程师徐振中分享,内容包含有趣的案例、分布式系统基础方面的各种挑战以及解决方案,此外还讨论了其在开发运维过程中的收获,对开放式自助式实时数据平台的一些新愿景,以及对 Realtime ETL 基础平台的一些新思考。

2125 0
来自: 实时计算 Flink  版块
|
存储 消息中间件 机器学习/深度学习
|

Flink 完美搭档:数据存储层上的 Pravega

本文将从大数据架构变迁历史,Pravega 简介,Pravega 进阶特性以及车联网使用场景这四个方面介绍 Pravega,重点介绍 DellEMC 为何要研发 Pravega,Pravega 解决了大数据处理平台的哪些痛点以及与 Flink 结合会碰撞出怎样的火花。

2646 0
来自: 实时计算 Flink  版块
|
分布式计算 Spark
|

钉钉群直播【Koalas 介绍】

Koalas是Spark社区推出的新项目,旨在为Spark提供与pandas完全兼容的接口,在降低pandas用户的学习和迁移成本的同时,充分利用Spark强大的分布式处理能力。本次分享介绍Koalas的基本用法和原理。

3717 0
|
缓存 分布式计算 资源调度
|

基于 Flink 的超大规模在线实时反欺诈系统的建设与实践

如何更快速地预防或甄别可能的欺诈行为?如何从超大规模、高并发、多维度的数据中实现在线实时反欺诈?这些都是金融科技公司当下面临的主要难题。针对这一问题,玖富集团打造基于 Flink 的超大规模在线实时反欺诈系统,快速处理海量数据并实现良好的用户体验。

1710 0
来自: 实时计算 Flink  版块
|
关系型数据库 RDS MySQL
|

【最佳实践】DTS轻松实现RDS for MySQL与阿里云Elasticsearch数据实时同步

本文介绍如何使用 DTS 快速创建RDS for MySQL->阿里云Elasticsearch的实时同步作业,实现RDS for MySQL数据到阿里云Elasticsearch的实时同步。

4582 0

农业贷款预测

很多农民因为缺乏资金,在每年耕种前会向相关机构申请贷款来购买种地需要的物资,等丰收之后偿还。农业贷款发放问题是一个典型的数据挖掘问题。贷款发放人通过往年的数据,包括贷款人的年收入、种植的作物种类、历史借贷信息等特征来构建经验模型,通过这个模型来预测受贷人的还款能力。<br />数据源:UCI开源数据<br />数据大小:6.62 KB<br />字段数量:10<br />使用组件:过滤与映射,SQL脚本,读数据表,线性回归(旧),合并列<br />

1207 0
来自: 人工智能平台PAI  版块
|
消息中间件 大数据 测试技术
|

Apache Avro as a Built-in Data Source in Apache Spark 2.4

Apache Avro 是一种流行的数据序列化格式。它广泛用于 Apache Spark 和 Apache Hadoop 生态系统,尤其适用于基于 Kafka 的数据管道。从 Apache Spark 2.

1485 0
|
Python 分布式计算 Spark
|

Virgin Hyperloop One如何使用Koalas将处理时间从几小时降到几分钟--无缝的将pandas切换成Apache Spark指南

Koalas项目基于Apache Spark实现了pandas DataFrame API,从而使数据科学家能够更有效率的处理大数据。一份代码可以同时在pandas(用于测试,小数据集)和Spark(用于分布式datasets)两个平台上运行。

1707 0

商品推荐引擎实验版

根据用户画像、交易行为和商品特征,用户智能推荐的方式帮助用户找到最合适的商品<br />数据源:用户数据、交易数据、商品数据<br />数据大小:184 KB<br />字段数量:4<br />使用组件:归一化,过滤与映射,SQL脚本,缺失值填充,读数据表,JOIN,类型转换<br />

1338 0
来自: 人工智能平台PAI  版块
|
分布式计算 Spark
|

钉钉群直播【Koalas 介绍】

将每个关联结果都作为relational cache构建代价太大,并不现实,我们需要找到一种方式可以通过单个Relational Cache支持优化多个关联查询的方式,从而在加速用户查询的同时,减少创建和更新relational cache的代价。

81332 0
|
算法
|

【图算法】金融风控实验_997

jjljljlkjlj<br />数据源:<br />数据大小:896 B<br />字段数量:3<br />使用组件:SQL脚本,读数据表,JOIN<br />

978 0
来自: 人工智能平台PAI  版块
|
SQL Rust 供应链
|

都在这儿了!5月 Flink 社区发版、更新汇总

为 Flink 1.11 热身,然后回溯 Flink 社区的四月份——发布了 Statful Functions 2.0、一个新的自定进度的 Flink 培训以及一些旨在改善 Flink 文档体验的工作。

1613 0
来自: 实时计算 Flink  版块

钉钉群直播【Structured Steaming的进阶与实践】

structured steaming因其低时延和提供的SQL API等特性被越来越多的企业所使用,作为实时计算的首选。 本次分享structured steaming的使用,包含spark 2.4 structured streaming的新特性,API原理和使用场景等的介绍。

1159 0
|
分布式计算 Spark 存储
|

Spark Relational Cache实现亚秒级响应的交互式分析

阿里云E-MapReduce (EMR) 是构建在阿里云云服务器 ECS 上的开源 Hadoop、Spark、HBase、Hive、Flink 生态大数据 PaaS 产品。提供用户在云上使用开源技术建设数据仓库、离线批处理、在线流式处理、即时查询、机器学习等场景下的大数据解决方案。在2019杭州云栖大会大数据生态专场上,阿里巴巴技术专家王道远为大家分享了阿里云EMR的Spark Relational Cache实现亚秒级响应的交互式分析。

2847 0

Multisim14.0中文下载安装步骤教程

Multisim14.0是由美国NI公司开发的EDA工具,适用于电路设计与仿真。本文提供详细中文安装步骤:下载安装包后解压,运行安装程序并设置路径,填写用户信息,选择安装位置,接受协议完成安装。随后安装NILicense激活器及中文语言包,最终实现软件汉化与正常运行。附带网盘下载链接,方便国内用户获取资源。

4457 15
|
存储 缓存 Java
|

如何在 Flink 中规划 RocksDB 内存容量?

本文将介绍跟 Flink 相关的一些 RocksDB 操作,并讨论一些提高资源利用率的重要配置。

2216 0
来自: 实时计算 Flink  版块
|
编解码 Apache 项目管理
|

揭秘!开源软件背后的神秘组织

Flink 社区将分享“走进 ASF”系列内容,先从宏观介绍 ASF 是如何运作的,然后详细解说如何参与 Apache 具体项目做贡献,如何成为某个项目的 Committer、PMC 成员,如何选择多个 Apache 项目进行多领域贡献并成为 ASF Member 等,希望有助于你真正了解开源、参与开源。

1781 0
来自: 实时计算 Flink  版块
|
算法
|

农业贷款预测的回归算法实现_884

农业数据挖掘<br />数据源:<br />数据大小:3.41 KB<br />字段数量:10<br />使用组件:SQL脚本,读数据表,模型<br />

914 0
来自: 人工智能平台PAI  版块
|
分布式计算 MaxCompute 消息中间件
|

业务流程多节点依赖调度配置实践

在DataWorks业务流程开发过程。一个业务流程通常是由很多个数据同步、数据开发节点组成的。这很多个业务节点的上下游节点的连接通过执行顺序先后进行连接,系统自动就行上下游解析。这里主要用于测试在一个业务流程过程中根据业务需求进行节点连接之后自动解析上下游是否会发生错误。

1611 0
来自: 大数据计算 MaxCompute  版块
|
机器学习/深度学习
|

深度学习入门01-数学概念介绍

本文首先介绍了向量的概念及其表示方法,随后详细解释了向量间的点乘运算及计算公式。接着通过几个典型角度展示了正弦(sin)值的计算方法,并简要提及了余弦定理。文章进一步探讨了切线斜率的概念,将其定义为曲线上某点y/x的值,并举例说明。导数部分解释了导数作为函数在某点斜率的意义,以及它是如何衡量输入变化引起输出变化的方向与速率的。此外,还讨论了基本初等函数的导数公式。对数(log)和自然对数(ln)的概念被引入,包括它们的定义及计算方式。接着,文章解释了根号表示的意义,即寻找哪个数的平方等于给定数值。

1423 0
|
8月前
|
机器学习/深度学习 JSON 监控
|

国内最大的MCP中文社区来了,4000多个服务等你体验

国内最大的MCP中文社区MCPServers来了!平台汇聚4000多个服务资源,涵盖娱乐、监控、云平台等多个领域,为开发者提供一站式技术支持。不仅有丰富的中文学习资料,还有详细的实战教程,如一键接入MCP天气服务等。MCPServers专注模块稳定性和实用性,经过99.99% SLA认证,是高效开发的理想选择。立即访问mcpservers.cn,开启你的开发之旅!

11744 16
|
2月前
|
Windows
|

Microsoft Activation Scripts v3.6 (MAS)激活工具安装教程!中文汉化版(激活工具)

Microsoft Activation Scripts v3.6(MAS)是一款开源、轻量级的批量激活工具,支持HWID、KMS38、TSforge等多种方式,可离线永久激活Win7至Win11及Office全系列。兼容旧系统如Vista,操作简单,无误报风险。

3382 0
|
11月前
|
SQL 存储 大数据
|

Flink 基础详解:大数据处理的强大引擎

Apache Flink 是一个分布式流批一体化的开源平台,专为大规模数据处理设计。它支持实时流处理和批处理,具有高吞吐量、低延迟特性。Flink 提供统一的编程抽象,简化大数据应用开发,并在流处理方面表现卓越,广泛应用于实时监控、金融交易分析等场景。其架构包括 JobManager、TaskManager 和 Client,支持并行度、水位线、时间语义等基础属性。Flink 还提供了丰富的算子、状态管理和容错机制,如检查点和 Savepoint,确保作业的可靠性和一致性。此外,Flink 支持 SQL 查询和 CDC 功能,实现实时数据捕获与同步,广泛应用于数据仓库和实时数据分析领域。

7737 32
来自: 实时计算 Flink  版块
|
8月前
|
机器学习/深度学习 并行计算 PyTorch
|

英伟达新一代GPU架构(50系列显卡)PyTorch兼容性解决方案

本文记录了在RTX 5070 Ti上运行PyTorch时遇到的CUDA兼容性问题,分析其根源为预编译二进制文件不支持sm_120架构,并提出解决方案:使用PyTorch Nightly版本、更新CUDA工具包至12.8。通过清理环境并安装支持新架构的组件,成功解决兼容性问题。文章总结了深度学习环境中硬件与框架兼容性的关键策略,强调Nightly构建版本和环境一致性的重要性,为开发者提供参考。

4679 64
|
存储 缓存 网络协议
|

CDNJS/UNPKG/JSDelivr 太慢用不了,换成这些国内高速镜像

npm cdn, cdnjs, unpkg, jsdelivr, zstatic, zstatic.net, s4.zstatic.net

18087 4
|
1月前
|
存储 安全 搜索推荐
|

企业网站模板 网站源码下载 网站源码建站

在数字化时代,企业需专业网站拓展市场,网站源码建站因高性价比、强灵活性成中小企业首选,比定制开发成本低、比模板建站自由。选源码要明确需求、看质量售后与 SEO 扩展性,下载用官方渠道,经准备服务器域名、安装设置可上线,助企业低成本建高自由度安全网站。

616 2
来自: 人工智能平台PAI  版块

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

2
今日
67715
内容
128
活动
439501
关注
你好!
登录掌握更多精彩内容

活跃用户

相关产品

  • 大数据开发治理平台 DataWorks
  • 检索分析服务 Elasticsearch版
  • 日志服务