|
存储 SQL 分布式计算
|

ClickHouse 高可用之副本

ClickHouse 使用副本机制增强数据可用性,复制数据到多个节点以备故障转移。仅MergeTree系列引擎支持副本,需使用`Replicated`前缀。副本是表级别,需先创建对应表结构。配置高可用副本需借助Zookeeper协调。在三台机器上部署,每台有三份数据。创建副本表时,需指定Zookeeper路径和唯一副本名称。通过`CREATE TABLE`语句在每个节点创建副本表并插入数据,然后验证数据同步。还可以使用工具如PrettyZoo查看Zookeeper中的副本表元数据。

838 0
|
存储 NoSQL 关系型数据库
|

实时计算 Flink版操作报错之抽取Oracle11g时,报错: "Retrieve schema history failed, the schema records for engine ... has been removed",怎么处理

在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。

813 0
来自: 实时计算 Flink  版块
|
Docker 容器
|

两个docker能用同一个端口吗 - 蓝易云

然后,你可以在另一个容器中运行相同的应用,让它监听容器的80端口,并将其映射到主机的8081端口。

1177 0
|
消息中间件 Oracle 关系型数据库
|

实时计算 Flink版操作报错合集之报错io.debezium.DebeziumException: The db history topic or its content is fully or partially missing. Please check database history topic configuration and re-execute the snapshot. 是什么原因

在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。

1316 0
来自: 实时计算 Flink  版块
|
SQL 关系型数据库 MySQL
|

实时计算 Flink版操作报错合集之报错:org.apache.flink.table.api.validationexception如何解决

在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。

1468 1
来自: 实时计算 Flink  版块
|
SQL 关系型数据库 MySQL
|

实时计算 Flink版产品使用合集之支持 MySQL 的并行复制吗

实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。

743 0
来自: 实时计算 Flink  版块
|
Java Shell Linux
|

环境变量配置

环境变量配置

644 0
|
SQL 存储 Java
|

Hive 拉链表详解及实例

拉链表是一种数据仓库技术,用于处理持续增长且存在时间范围内的重复数据,以节省空间。它在Hive中通过列式存储ORC实现,适用于大规模数据场景,尤其当数据在有限时间内有多种状态变化。配置涉及事务管理和表合并选项。示例中展示了如何从原始订单表创建拉链表,通过聚合操作和动态分区减少数据冗余。增量数据可通过追加到原始表然后更新拉链表来处理。提供的Java代码用于生成模拟的订单增量数据,以演示拉链表的工作流程。

1032 3
|
数据安全/隐私保护 Python
|

python代码加密以及注意事项分享

假设你已经有了一个 Python 程序 `main.py`。确保它在你的环境中可以正常运行。

1008 0
|
SQL 分布式计算 资源调度
|

一文解析 ODPS SQL 任务优化方法原理

本文重点尝试从ODPS SQL的逻辑执行计划和Logview中的执行计划出发,分析日常数据研发过程中各种优化方法背后的原理,覆盖了部分调优方法的分析,从知道怎么优化,到为什么这样优化,以及还能怎样优化。

104967 1
来自: 大数据计算 MaxCompute  版块
|
存储 分布式计算 Apache
|

官宣|Apache Paimon 毕业成为顶级项目,数据湖步入实时新篇章!

Apache Paimon 在构建实时数据湖与流批处理技术领域取得了重大突破,数据湖步入实时新篇章!

4491 6
来自: 实时计算 Flink  版块
|
人工智能 自然语言处理 开发者
|

AIGC创作活动 | 跟着UP主秋葉一起部署AI视频生成应用!

本次AI创作活动由 B 站知名 AI Up 主“秋葉aaaki”带您学习在阿里云 模型在线服务(PAI-EAS)中零代码、一键部署基于ComfyUI和Stable Video Diffusion模型的AI视频生成Web应用,快速实现文本生成视频的AI生成解决方案,帮助您完成社交平台短视频内容生成、动画制作等任务。制作上传专属GIF视频,即有机会赢取乐歌M2S台式升降桌、天猫精灵、定制保温杯等好礼!

1276 8
来自: 人工智能平台PAI  版块
|
Oracle 关系型数据库 MySQL
|

flink cdc 转换问题之类型转换如何解决

Flink CDC(Change Data Capture)是一个基于Apache Flink的实时数据变更捕获库,用于实现数据库的实时同步和变更流的处理;在本汇总中,我们组织了关于Flink CDC产品在实践中用户经常提出的问题及其解答,目的是辅助用户更好地理解和应用这一技术,优化实时数据处理流程。

1010 4
来自: 实时计算 Flink  版块
|
人工智能 DataWorks 数据可视化
|

心动基于阿里云DataWorks构建游戏行业通用大数据模型

心动游戏在阿里云上构建云原生大数据平台,基于DataWorks构建行业通用大数据模型,如玩家、产品、SDK、事件、发行等,满足各种不同的分析型应用的要求,如AI场景、风控场景、数据分析场景等。

1264 2
|
SQL Oracle 关系型数据库
|

Flink CDC数据同步问题之同步数据减少如何解决

Flink CDC数据同步是指利用Flink CDC实现不同数据源之间的实时数据同步任务;本合集旨在提供Flink CDC数据同步的操作指南、性能优化建议和常见问题处理,助力用户高效实施数据同步。

478 2
来自: 实时计算 Flink  版块
|
机器学习/深度学习 算法 异构计算
|

使用mergekit 合并大型语言模型

模型合并是近年来兴起的一种新技术。它允许将多个模型合并成一个模型。这样做不仅可以保持质量,还可以获得额外的好处。

938 1
|
SQL 关系型数据库 数据库
|

Flink CDC产品常见问题之SQLserver cdc 开启 cdc表没有记录如何解决

Flink CDC(Change Data Capture)是一个基于Apache Flink的实时数据变更捕获库,用于实现数据库的实时同步和变更流的处理;在本汇总中,我们组织了关于Flink CDC产品在实践中用户经常提出的问题及其解答,目的是辅助用户更好地理解和应用这一技术,优化实时数据处理流程。

1340 0
来自: 实时计算 Flink  版块

python-lower() 方法:将字符串转换为小写

python-lower() 方法:将字符串转换为小写

133 0
|
消息中间件 SQL Java
|

阿里云Flink-自定义kafka sink partitioner实践及相关踩坑记录

阿里云Flink-自定义kafka sink partitioner实践及相关踩坑记录

1893 1
来自: 实时计算 Flink  版块
|
Oracle 关系型数据库 MySQL
|

Flink CDC之数据源调优如何解决

Flink CDC数据源指的是使用Apache Flink的CDC特性来连接并捕获外部数据库变更数据的数据源;本合集将介绍如何配置和管理Flink CDC数据源,以及解决数据源连接和同步过程中遇到的问题。

256 1
来自: 实时计算 Flink  版块
|
编解码
|

MATLAB | 科研绘图第十一期动态趋势图

MATLAB | 科研绘图第十一期动态趋势图

352 0
|
人工智能 程序员 云栖大会
|

盘点2023年我用过的AI大模型,国内也能免费用

盘点2023年我用过的AI大模型,国内也能免费用

1032 1
|
存储 消息中间件 Kafka
|

实时湖仓增强,Hologres + Flink构建企业级实时数仓

本文主要介绍Hologres+Flink构建的企业级实时数仓,实现全链路的数据实时计算、实时写入、实时更新、实时查询。

113008 4
来自: 实时数仓 Hologres  版块
|
Java
|

IDEA常用插件之代码规范检查

IDEA常用插件之代码规范检查

1195 0
|
SQL 安全 Java
|

IoTDB服务安装教程-单机版

IoTDB服务安装教程-单机版

726 0
|
存储 测试技术 Apache
|

阿里云实时计算企业级状态存储引擎 Gemini 技术解读

本文整理自阿里云 Flink 存储引擎团队李晋忠,兰兆千,梅源关于阿里云实时计算企业级状态存储引擎 Gemini 的研究。

127471 4
来自: 实时计算 Flink  版块
|
机器学习/深度学习 人工智能 算法
|

AI+组合优化 |机器学习顶会ICLR/ICML/NeurIPS'23最新进展-MIP求解篇(附原文源码)

本文梳理了ICLR 2023、ICML 2023、NeurIPS 2023有关机器学习+混合整数规划问题求解加速求解加速的研究成果,总共包含8篇文章。

1885 0
|
存储 SQL Java
|

王日宇:基于 StarRocks 和 Paimon 打造湖仓分析新范式

本文根据 StarRocks Summit 2023 演讲实录整理而成,主要分享了基于 StarRocks 和 Paimon 打造湖仓分析方案及背后的技术原来和未来规划。

2515 1
|
SQL 人工智能 自然语言处理
|

【2023云栖】田奇铣:大模型驱动DataWorks数据开发治理平台智能化升级

随着大模型掀起AI技术革新浪潮,大数据也进入了与AI深度结合的创新时期。2023年云栖大会上,阿里云DataWorks产品负责人田奇铣发布了DataWorks Copilot、DataWorks AI增强分析、DataWorks湖仓融合数据管理等众多新产品能力,让DataWorks这款已经发展了14年的大数据开发治理平台产品,从一站式向智能化不断升级演进。

60196 8
|
数据采集 供应链 监控
|

RPA助力企业管理,十大高频场景

rpa在财务、人力资源、客服、供应链管理、市场推广、质量管理、项目管理、数据分析、合规管理和业务流程优化等场景中的应用

1723 0
|
存储 人工智能 调度
|

GPT-4 Turbo 发布 | 大模型训练的新时代:超算互联网的调度与调优

算力对训练模型的重要性日益凸显。随着大模型训练的流行,全球显卡和算力正在快速增长。算力后周期市场也在迅速崛起。其中“后”更多是指后服务市场,涵盖从显卡服务器到货IDC之后,形成稳定算力到输出稳定商业推理结果全过程。该过程主要涉及云化、调优、调度、部署、落地和数据管理等环节。

1384 0
|
Python
|

Pycharm 随时调整字体大小(放大或缩小)

Pycharm 随时调整字体大小(放大或缩小)

874 0
|
机器学习/深度学习 语音技术
|

“Zero-shot Learning”、“One-shot Learning”和“Few-shot Learning”

你知道吗?在机器学习的世界里,有一种名为“Zero-shot Learning”、“One-shot Learning”和“Few-shot Learning”的策略,它们主要是为了解决神经网络模型因为训练数据少,导致模型泛化能力差的问题。

629 1
|
供应链 Python
|

Pyomo:强大的优化建模工具库

Pyomo介绍

2991 0
|
存储 数据安全/隐私保护 Windows
|

Win11 系统登录用户时无法登录

Win11系统,在未绑定和注册微软账号的情况下,使用邮箱注册绑定了微软账号,在win+L锁定屏幕后出现无法登录账号的情况,登录按钮只现实两个字,密码输入框不显示,点击登录后无反应或者加载几圈后回到登录原始页面。

1579 0
|
存储 运维 监控
|

深度解读阿里云 Elasticsearch Serverless 服务如何实现超高性价比

阿里云 Elasticsearch Serverless 商业化版本正式上线,在帮助用户快速构建数据检索与分析应用的同时,提供按实际资源用量付费的付费体验,与自建相比大幅降低成本,助力用户快速上云!

3470 0
|
弹性计算 分布式计算 大数据
|

阿里云计算平台大数据基础工程技术论文入选 VLDB 2023

近日,在 VLDB 2023 上,由阿里云计算平台大数据基础工程技术团队主导,与计算平台 MaxCompute 团队、华东师范大学数据科学与工程学院、达摩院合作的论文入选 Industrial Track

1002 0
来自: 大数据计算 MaxCompute  版块
|
SQL 分布式计算 大数据
|

MaxCompute ODPS 重装上阵,QUALIFY

MaxCompute支持QUALIFY语法过滤Window函数的结果,使得查询语句更简洁易理解。Window函数和QUALIFY语法之间的关系可以类比聚合函数+GROUP BY语法和HAVING语法。

813 0
来自: 大数据计算 MaxCompute  版块
|
机器学习/深度学习 人工智能 物联网
|

快速玩转 Llama2!阿里云机器学习 PAI 推出最佳实践

近期,Meta 宣布大语言模型 Llama2 开源,阿里云机器学习平台PAI针对 Llama2 系列模型进行适配,推出全量微调、Lora微调、分布式训练、推理服务等场景最佳实践,助力AI开发者快速开箱。

12289 15
来自: 人工智能平台PAI  版块
|
机器学习/深度学习 数据可视化 PyTorch
|

【Deep Learning 5】FNN前馈神经网络

🍊本文详细介绍了FNN的原理,并给出了具体的推导过程🍊使用Pytorch搭建了FNN模型,并对糖尿病数据集开展分类任务实战。

2581 0
|
存储 数据采集 人工智能
|

重磅再推 | 基于OpenSearch向量检索版+大模型,搭建对话式搜索

阿里云OpenSearch再推面向企业开发者的PaaS方案:基于OpenSearch向量检索版,为企业开发者提供性能表现优秀、性价比优异的向量检索服务,并提供与大模型结合脚本工具,用户可在使用能力可靠的向量检索服务的同时,自由选择文档切片方案、向量化模型、大语言模型。

16765 1
来自: 智能搜索推荐  版块
|
SQL 关系型数据库 MySQL
|

猿辅导基于 EMR StarRocks 的 OLAP 演进之路

猿辅导大数据平台团队负责人申阳分享了猿辅导基于EMR StarRocks 的 OLAP 演进之路。

13187 5
|
SQL 存储 Apache
|

Apache Paimon 在同程旅行的探索实践

本文主要介绍 Apache Paimon 在同程旅行的生产落地实践经验。

5531 0
来自: 人工智能平台PAI  版块
|
数据采集 监控 数据管理
|

数据质量最佳实践(1):批量配置质量规则,快速提升质量覆盖率

在Dataphin3.9版本中,Dataphin支持了批量创建质量规则,支持选择单个规则批量应用到多张质量监控表中,提升质量整体的配置效率和监控覆盖效果。

1563 0
|
存储 SQL 缓存
|

京东物流实时风控实践

京东风控数据产品组架构师周文跃,在 FFA 实时风控专场的分享。

2986 0
来自: 实时计算 Flink  版块
|
SQL 存储 OLAP
|

阿里CCO基于Hologres的亿级明细BI探索分析实践

阿里CCO基于Hologres的亿级明细BI探索分析实践。

1804 0
来自: 实时数仓 Hologres  版块
|
SQL 存储 运维
|

EMR-StarRocks 与 Flink 在汇量实时写入场景的最佳实践

本文详细介绍了 EMR-StarRocks 与 Flink 在汇量实时写入场景的最佳实践。

2746 1
|
存储 SQL 自然语言处理
|

DataFunTalk:阿里建设一站式实时数仓的经验分享

本文内容整理于阿里资深技术专家姜伟华在DataFunTalk上的演讲,为大家介绍阿里巴巴基于一站式实时数仓Hologres建设实时数仓的经验和解决方案。

2387 5
来自: 实时数仓 Hologres  版块
|
存储 API 索引
|

【Elastic Engineering】Elasticsearch:Cluster 备份 Snapshot 及 Restore API

Elasticsearch:Cluster 备份 Snapshot 及 Restore API

470 0
|
监控 Java Go
|

【最佳实践】阿里云Elasticsearch应用性能监控分析(APM)

本文介绍了阿里云Elasticseasrch APM服务概念架构及功能,以及如何快速接入并使用,通过阿里云托管的Elasticsearch 应用性能监控(APM)服务,您可以结合阿里云Elasticsearch实现系统可观测性能力搭建。

2377 0

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

0
今日
69316
内容
128
活动
439802
关注
你好!
登录掌握更多精彩内容

相关产品

  • 大数据开发治理平台 DataWorks
  • 检索分析服务 Elasticsearch版
  • 日志服务