|
域名解析 存储 安全
|

ES证书过期替换方案

在生产环境中,Elasticsearch 集群的证书可能会因为过期而导致集群无法正常工作。为了避免这种情况的发生,我们需要及时更新证书,并保证更新证书的过程中保持 Elasticsearch 集群的高可用性和数据安全性。

1972 1
|
存储 Kubernetes 容灾
|

技术揭秘:从双11看实时数仓Hologres高可用设计与实践

本文将会从阿里巴巴双11场景出发,分析实时数仓面临的高可用挑战以及针对性设计。

4119 3
来自: 实时数仓 Hologres  版块
|
运维 自然语言处理 搜索推荐
|

新版本发布 | 开放搜索的统一召回引擎实践

阿里云开放搜索统一召回引擎,搜索召回环节同时支持阿里云自研Ha3引擎与阿里云Elasticsearch引擎,并提供多行业的搜索算法能力,助力企业高效实现搜索效果深度优化

983 0
来自: 智能搜索推荐  版块
|
数据采集 人工智能 运维
|

《一站式大数据开发治理DataWorks使用宝典》官方电子书开放下载

零基础入门大数据开发治理,上手DataWorks 10大模块

39371 2
|
存储 SQL 大数据
|

Flink 执行引擎:流批一体的融合之路

本文由 Apache Flink Committer 马国维分享,主要介绍 Flink 作为大数据计算引擎的流批一体融合之路。

7652 1
来自: 实时计算 Flink  版块
|
存储 SQL 分布式计算
|

数据湖 VS 数据仓库之争?阿里提出大数据架构新概念:湖仓一体

随着近几年数据湖概念的兴起,业界对于数据仓库和数据湖的对比甚至争论就一直不断。有人说数据湖是下一代大数据平台,各大云厂商也在纷纷的提出自己的数据湖解决方案,一些云数仓产品也增加了和数据湖联动的特性。但是数据仓库和数据湖的区别到底是什么,是技术路线之争?是数据管理方式之争?二者是水火不容还是其实可以和谐共存,甚至互为补充?本文作者来自阿里巴巴计算平台部门,深度参与阿里巴巴大数据/数据中台领域建设,将从历史的角度对数据湖和数据仓库的来龙去脉进行深入剖析,来阐述两者融合演进的新方向——湖仓一体,并就基于阿里云MaxCompute/EMR DataLake的湖仓一体方案做一介绍。

27998 2
来自: 大数据计算 MaxCompute  版块
|
消息中间件 SQL 分布式计算
|

重新定义性能测试: Apache Flink 重磅开源流计算基准测试框架

每一种引擎有其优势的地方,如何选择适合自己业务的流计算引擎成了一个由来已久的话题。除了比较各个引擎提供的不同的功能矩阵之外,性能是一个无法绕开的评估因素。基准测试(benchmark)就是用来评估系统性能的一个重要和常见的过程。

5852 1
来自: 实时计算 Flink  版块
|
机器学习/深度学习 IDE 开发工具
|

阿里云机器学习怎么玩?这本新手入门指南揭秘了!

PAI-DSW云端IDE揭秘,动手实验室畅快玩!更有四大实践场景助你快速上手, 动手体验数据科学,成为PAI-DSW探索者!

30253 0
来自: 人工智能平台PAI  版块
|
机器学习/深度学习 算法 搜索推荐
|

打击黑灰产的利器 —— 图神经网络(GNN)

阿里巴巴安全部数据与算法团队一直致力于与黑灰产进行对抗,保障用户在淘宝、天猫、闲鱼等平台上的使用体验和切身利益。面对狡猾的黑灰产,我们研究出了一系列算法武器,图神经网络(GNN)是其中重要的防控技术。本文结合阿里开源GNN框架Graph-Learn(https://github.com/alibaba/graph-learn)进行介绍。

3598 0
来自: 人工智能平台PAI  版块
|
存储 SQL 分布式计算
|

Delta Lake,让你从复杂的Lambda架构中解放出来

Linux 基金会的 Delta Lake(Delta.io)是一个给数据湖提供可靠性的开源存储层软件。在 QCon 全球软件开发大会(上海站)2019 的演讲中,Databricks 公司的 Engineering Manager 李潇带我们了解了 Delta Lake 在实际生产中的应用与实践以及未来项目规划,本文便整理自此次演讲。

4374 0
|
存储 运维 监控
|

Apache Flink CEP 实战

本文根据Apache Flink 实战&进阶篇系列直播课程整理而成,由哈啰出行大数据实时平台资深开发刘博分享。通过一些简单的实际例子,从概念原理,到如何使用,再到功能的扩展,希望能够给打算使用或者已经使用的同学一些帮助。

6496 5
来自: 实时计算 Flink  版块
|
安全 数据中心 分布式计算
|

如何有效降低大数据平台安全风险

在2019杭州云栖大会大数据企业级服务专场,由阿里云智能计算平台事业部资深技术专家李雪峰带来以“如何有效降低大数据平台安全风险”为题的演讲。本文首先概括了企业在大数据上云过程中会产生的安全顾虑。接着,在大数据平台中要处理的安全风险中,对数据中心物理安全与网络安全、大数据平台系统安全以及数据应用安全三部分做了详细的介绍。最后,描述了阿里云飞天大数据平台的安全体系。

13743 1
来自: 大数据计算 MaxCompute  版块
|
算法 搜索推荐
|

推荐系统之冷启动问题

5713 0
来自: 人工智能平台PAI  版块
|
数据采集 运维 监控
|

【南京Meetup】华泰证券Elasticsearch在日志搜索、日志分析、链路管理系统方面的应用实践

2018Elastic Meetup南京交流会,由华泰证券李文强带来以“华泰证券Elasticsearch应用实践”为题的演讲。本文首先介绍了华泰证券具有系统运维繁琐、日志不能长期保存、日志数据价值没有挖掘、大数据领的一角的特点,接着介绍了它在日志搜索、日志分析和链路管理系统方面的应用实践,最后介绍了华泰证券Elasticsearch在使用中应注意的事项。

2169 0
|
机器学习/深度学习 算法 语音技术
|

【玩转数据系列十六】机器学习PAI通过声音分辨男女(含语音特征提取相关数据和代码)

机器学习PAI通过声音数据分辨男女(含语音特征提取相关数据和代码)

8184 0
来自: 人工智能平台PAI  版块
|
分布式计算 物联网 新能源
|

数据新能源驱动智慧新世界:数据新能源时代来临

免费开通大数据服务:https://www.aliyun.com/product/odps 阿 里巴巴集团董事局主席马云,在2016年10月云栖大会上首次提到“五新”的趋势,分别是新零售、新金融、新制造、新技术和新能源。

3555 0
来自: 大数据计算 MaxCompute  版块
|
搜索推荐 API 开发者
|

OpenSearch:轻松构建大数据搜索服务

随着互联网数据规模的爆炸式增长,如何从海量的历史、实时 数据中快速获取有用信息,变得越来越具有挑战性。搜索是获取信息最高效的途径之一,因此也是各类网站、应用的基础标配功能。开发者想在自己的产品中实现搜索功能一般都是基于某个开源搜索系统(如ElasticSearch、Solr、Sphinx

17003 0
来自: 智能搜索推荐  版块
|
2天前
|
SQL 存储 Oracle
|

【赵渝强老师】Hive的分区表

Hive的分区表与Oracle、MySQL类似,通过分区条件将数据分隔存储,提高查询效率。本文介绍了静态分区表和动态分区表的创建与使用方法,包括具体SQL语句和执行计划分析,附带视频讲解。静态分区表需显式指定分区条件,而动态分区表则根据插入数据自动创建分区。

12 1
|
2天前
|
SQL 分布式计算 大数据
|

【赵渝强老师】大数据生态圈中的组件

本文介绍了大数据体系架构中的主要组件,包括Hadoop、Spark和Flink生态圈中的数据存储、计算和分析组件。数据存储组件包括HDFS、HBase、Hive和Kafka;计算组件包括MapReduce、Spark Core、Flink DataSet、Spark Streaming和Flink DataStream;分析组件包括Hive、Spark SQL和Flink SQL。文中还提供了相关组件的详细介绍和视频讲解。

12 0
|
2天前
|
SQL 分布式计算 Java
|

【赵渝强老师】Hive的体系架构

Hive是基于Hadoop的数据仓库平台,提供SQL-like的HQL语言进行数据分析,无需编写复杂的Java代码。Hive支持丰富的数据模型,可将SQL语句转换为MapReduce任务在Yarn上运行,底层依赖HDFS存储数据。Hive可通过CLI、JDBC和Web界面执行SQL查询。

12 2
|
5天前
|
Java Unix Linux
|

Java “SocketException” 错误怎么处理

Java 中的 "SocketException" 错误通常发生在网络通信过程中,如连接失败、断开连接或数据传输异常。处理方法包括检查网络配置、确保服务器正常运行、使用超时设置和重试机制,以及捕获并处理异常。

12 5
|
6天前
|
存储 安全 Java
|

java电商项目(八)

OAuth 2.0 是一种开放标准,允许用户授权第三方应用访问其在某一网站上的私密资源,而无需提供用户名和密码。它通过提供一个令牌(token)来实现这一功能。OAuth 2.0 主要包括四种授权模式:授权码模式、简化模式、密码模式和客户端模式。授权码模式是最常用的一种,适用于第三方平台登录功能。Spring Security OAuth 2.0 提供了强大的工具来实现授权服务器和资源服务器的集成,支持多种授权模式和令牌存储方式,如内存、数据库、JWT 和

18 0
|
6天前
|
前端开发 Java 数据库
|

如何实现一个项目,小白做项目-java

本教程涵盖了从数据库到AJAX的多个知识点,并详细介绍了项目实现过程,包括静态页面分析、数据库创建、项目结构搭建、JSP转换及各层代码编写。最后,通过通用分页和优化Servlet来提升代码质量。

18 1
|
9天前
|
机器学习/深度学习 人工智能 自然语言处理
|

【EMNLP2024】面向长文本的文视频表征学习与检索模型 VideoCLIP-XL

阿里云人工智能平台 PAI 与华南理工大学金连文教授团队合作,在自然语言处理顶会 EMNLP 2024 上发表论文《VideoCLIP-XL: Advancing Long Description Understanding for Video CLIP Models》。VideoCLIP-XL 模型,有效地提升了对视频的长文本描述的理解能力。

33 8
来自: 人工智能平台PAI  版块
|
9天前
|
数据采集 存储 监控
|

实现自动化数据抓取:使用Node.js操控鼠标点击与位置坐标

本文介绍了如何使用Node.js和Puppeteer实现自动化数据抓取,特别是针对新闻网站“澎湃新闻”。通过设置代理IP、User-Agent和Cookie,提高爬虫的效率和隐蔽性,避免被网站封锁。代码示例展示了如何模拟鼠标点击、键盘输入等操作,抓取并整理新闻数据,适用于需要规避IP限制和突破频率限制的场景。

50 10
|
9天前
|
存储 安全 数据安全/隐私保护
|

备份SaaS数据的5个原因

【10月更文挑战第28天】SaaS虽被认为是几乎全能的解决方案,但企业仍需对业务和利润保持警惕。备份SaaS数据至关重要,原因包括:恢复过程可能缓慢;服务条款可能变化;云端数据并非永恒;人为错误难以避免;以及防止信息失控。因此,企业应确保有独立备份以应对各种风险。

22 0
|
10天前
|
机器学习/深度学习 人工智能 算法
|

青否数字人声音克隆算法升级,16个超真实直播声音模型免费送!

青否数字人的声音克隆算法全面升级,能够完美克隆真人的音调、语速、情感和呼吸。提供16种超真实的直播声音模型,支持3大AI直播类型和6大核心AIGC技术,60秒快速开播,助力商家轻松赚钱。AI讲品、互动和售卖功能强大,支持多平台直播,确保每场直播话术不重复,智能互动和真实感十足。新手小白也能轻松上手,有效规避违规风险。

30 2
来自: 大数据计算 MaxCompute  版块
|
11天前
|
NoSQL 关系型数据库 MySQL
|

python协程+异步总结!

本文介绍了Python中的协程、asyncio模块以及异步编程的相关知识。首先解释了协程的概念和实现方法,包括greenlet、yield关键字、asyncio装饰器和async/await关键字。接着详细讲解了协程的意义和应用场景,如提高IO密集型任务的性能。文章还介绍了事件循环、Task对象、Future对象等核心概念,并提供了多个实战案例,包括异步Redis、MySQL操作、FastAPI框架和异步爬虫。最后提到了uvloop作为asyncio的高性能替代方案。通过这些内容,读者可以全面了解和掌握Python中的异步编程技术。

31 0
|
11天前
|
机器学习/深度学习 数据采集 算法
|

基于Liquid State Machine的时间序列预测:利用储备池计算实现高效建模

**Liquid State Machine (LSM)** 是一种 **脉冲神经网络 (Spiking Neural Network, SNN)** ,在计算神经科学和机器学习领域中得到广泛应用,特别适用于处理 **时变或动态数据**。它是受大脑自然信息处理过程启发而提出的一种 **脉冲神经网络** 。

39 4
|
16天前
|
人工智能 算法 数据安全/隐私保护
|

基于遗传优化的SVD水印嵌入提取算法matlab仿真

该算法基于遗传优化的SVD水印嵌入与提取技术,通过遗传算法优化水印嵌入参数,提高水印的鲁棒性和隐蔽性。在MATLAB2022a环境下测试,展示了优化前后的性能对比及不同干扰下的水印提取效果。核心程序实现了SVD分解、遗传算法流程及其参数优化,有效提升了水印技术的应用价值。

40 6
|
16天前
|
存储 人工智能 自然语言处理
|

Github上的十大RAG(信息检索增强生成)框架

信息检索增强生成(RAG)是一种结合了检索系统和生成模型优势的技术,能够显著提升大型语言模型的性能。RAG通过从外部知识库中检索相关信息,增强模型的输入,从而生成更加准确、符合上下文、实时更新的响应。GitHub上涌现出多个开源RAG框架,如Haystack、RAGFlow、txtai等,每个框架都有独特的功能和特性,适用于不同的应用场景。这些框架不仅提高了模型的准确性和可靠性,还增强了过程的透明度和可解释性。

48 2
|
17天前
|
人工智能
|

巧妙构建歌词结构:写歌词的技巧和方法之关键,妙笔生词AI智能写歌词软件

在音乐世界里,歌词是灵魂的载体,构建其结构至关重要。优秀的歌词需有引人入胜的开头、条理清晰且富变化的主体,以及深刻难忘的结尾。《妙笔生词智能写歌词软件》提供多种功能,帮助创作者克服结构难题,激发灵感,助你写出打动人心的歌词,开启音乐创作的新篇章。

53 10
|
17天前
|
数据可视化 算法 JavaScript
|

基于图论的时间序列数据平稳性与连通性分析:利用图形、数学和 Python 揭示时间序列数据中的隐藏模式

本文探讨了如何利用图论分析时间序列数据的平稳性和连通性。通过将时间序列数据转换为图结构,计算片段间的相似性,并构建连通图,可以揭示数据中的隐藏模式。文章介绍了平稳性的概念,提出了基于图的平稳性度量,并展示了图分区在可视化平稳性中的应用。此外,还模拟了不同平稳性和非平稳性程度的信号,分析了图度量的变化,为时间序列数据分析提供了新视角。

40 0
|
18天前
|
人工智能
|

开启歌词创作之门:写歌词的技巧和方法详解,妙笔生词AI智能写歌词软件

歌词创作是通往音乐灵魂深处的大门。本文介绍了一些实用技巧,如借助《妙笔生词智能写歌词软件》的AI功能,捕捉生活中的灵感,确定主题,合理安排歌词结构,运用生动的语言和修辞手法,确保韵律和节奏,帮助你轻松开启创作之旅。

61 1
|
22天前
|
安全 Java 数据安全/隐私保护
|

如何配置 Java 安全管理器来避免访问控制异常

配置Java安全管理器以防止访问控制异常,需在启动JVM时通过 `-Djava.security.manager` 参数启用,并设置安全策略文件,定义权限规则,限制代码执行操作,确保应用安全。

32 1
|
23天前
|
数据采集 存储 JavaScript
|

Dynamic Website 爬虫:应对动态内容与 JavaScript 渲染挑战

本文深入探讨了如何设计针对动态网站的爬虫,以采集 WIPO Brand Database 中的专利和技术信息。文章详细介绍了动态网站的挑战,包括 JavaScript 渲染、反爬虫机制和异步加载,并提出了解决方案,如使用 Selenium 模拟浏览器、代理 IP 技术和 API 抓取。最后,通过具体代码示例展示了如何实现这些技术手段。

56 0
|
24天前
|
机器学习/深度学习 数据可视化 自动驾驶
|

YOLO11-seg分割:具有切片操作的SimAM注意力,魔改SimAM助力分割

本文创新地对SimAM注意力机制进行魔改,引入切片操作,显著提升了小目标特征提取能力。针对SimAM在计算整张特征图的像素差平均值时可能忽略小目标重要性的问题,通过切片操作增强了小目标的加权效果。实验结果显示,魔改后的SimAM在YOLO11-seg上的Mask mAP50从0.673提升至0.681,有效改善了小目标检测性能。

88 2
|
25天前
|
编译器 API 定位技术
|

API和SDK的区别

API 和 SDK 的区别在于:API 是一组定义了软件组件之间交互规范的接口,用于实现不同软件组件之间的通信;而 SDK 是一个全面的工具集合,包含 API、编译器、调试器、文档等,用于特定平台的应用程序开发。SDK 范围更广,内容更丰富,更具体和具象化,适合复杂的开发需求;API 则更加抽象,侧重于功能的定义和调用方式。

79 2
|
25天前
|
存储 数据采集 大数据
|

Flink实时湖仓,为汽车行业数字化加速!

本文由阿里云计算平台产品专家李鲁兵(云觉)分享,聚焦汽车行业大数据应用。内容涵盖市场趋势、典型大数据架构、产品市场地位及能力解读,以及典型客户案例。文章详细介绍了新能源汽车市场的快速增长、大数据架构分析、实时湖仓方案的优势,以及Flink和Paimon在车联网中的应用案例。

161 8
来自: 实时计算 Flink  版块
|
27天前
|
机器学习/深度学习 自然语言处理 算法
|

超越传统搜索:探索基于GraphRAG的信息检索新范式

【10月更文挑战第10天】随着信息爆炸时代的到来,如何从海量的数据中快速准确地找到所需的信息成为了一个亟待解决的问题。传统的信息检索系统主要依赖于关键词匹配和文档排名算法来提供结果,但这种方法往往无法捕捉到数据间的复杂关系,也无法很好地理解用户的查询意图。近年来,一种新的信息检索方法——基于图的检索增强生成(Graph-based Retrieval-Augmented Generation, GraphRAG)应运而生,它通过结合知识图谱与机器学习技术,为信息检索带来了全新的视角。

58 1
|
1月前
|
机器学习/深度学习 数据采集 供应链
|

Python实现深度学习模型:智能库存管理系统

【10月更文挑战第5天】 Python实现深度学习模型:智能库存管理系统

127 9
ly~
|
1月前
|
供应链 搜索推荐 安全
|

大数据模型的应用

大数据模型在多个领域均有广泛应用。在金融领域,它可用于风险评估与预测、智能营销及反欺诈检测,助力金融机构做出更加精准的决策;在医疗领域,大数据模型能够协助疾病诊断与预测、优化医疗资源管理和加速药物研发;在交通领域,该技术有助于交通流量预测、智能交通管理和物流管理,从而提升整体交通效率;电商领域则借助大数据模型实现商品推荐、库存管理和价格优化,增强用户体验与企业效益;此外,在能源和制造业中,大数据模型的应用范围涵盖从需求预测到设备故障预测等多个方面,全面推动了行业的智能化转型与升级。

75 2
|
1月前
|
自动驾驶 物联网 5G
|

5G网络的演进:从理论到实践

【10月更文挑战第3天】5G网络作为新一代移动通信技术,不仅在理论上实现了重大突破,而且在实践中也展现出了强大的生命力。本文将围绕5G网络的演进,从理论基础到实际应用,探讨5G技术的发展和实践案例,同时提供代码示例以供参考。

87 6
|
1月前
|
数据采集 存储 大数据
|

数据治理:数据孤岛是企业信息化发展中难以避免的阶段

数据孤岛是企业信息化发展中难以避免的阶段。企业需要正视这一现象,通过完善数据治理体系、加强部门协作、采用先进技术手段等措施,逐步消除数据孤岛,实现数据的有效整合和利用。只有这样,企业才能在激烈的市场竞争中立于不败之地。

138 0
|
1月前
|
机器学习/深度学习 数据采集 人工智能
|

CDGA|推动数据治理与传统产业深度融合:策略与实践路径

持续改进与优化:建立数据治理的持续改进机制,定期评估数据治理效果,总结经验教训,不断优化数据治理策略与实践路径。

66 0
|
2月前
|
机器学习/深度学习 数据采集 算法
|

利用未标记数据的半监督学习在模型训练中的效果评估

本文将介绍三种适用于不同类型数据和任务的半监督学习方法。我们还将在一个实际数据集上评估这些方法的性能,并与仅使用标记数据的基准进行比较。

187 8
|
2月前
|
运维 供应链 前端开发
|

开发一个 ERP

【9月更文第5天】开发一个 ERP (Enterprise Resource Planning) 系统是一项复杂的工程,涉及到多个业务流程的集成与优化。ERP 系统旨在帮助企业整合财务、人力资源、采购、销售、库存管理和生产计划等多个部门的数据,从而提高运营效率和决策质量。本文将带你一起体验从零开始开发一个简单的 ERP 系统,并通过示例代码来说明关键组件的设计与实现。

164 3
|
3月前
|
分布式计算 DataWorks 关系型数据库
|

MaxCompute 生态系统中的数据集成工具

【8月更文第31天】在大数据时代,数据集成对于构建高效的数据处理流水线至关重要。阿里云的 MaxCompute 是一个用于处理大规模数据集的服务平台,它提供了强大的计算能力和丰富的生态系统工具来帮助用户管理和处理数据。本文将详细介绍如何使用 DataWorks 这样的工具将 MaxCompute 整合到整个数据处理流程中,以便更有效地管理数据生命周期。

117 0
|
3月前
|
存储 容灾 关系型数据库
|

OceanBase 高可用性架构解析

【8月更文第31天】在大数据和云计算蓬勃发展的今天,数据库作为数据存储的核心组件,其稳定性和可靠性直接影响到整个系统的性能。OceanBase 是由阿里巴巴集团自主研发的一款分布式关系型数据库系统,旨在为大规模在线交易处理(OLTP)场景提供高性能、高可用性的解决方案。本文将深入探讨 OceanBase 是如何通过其独特的架构设计来确保数据的高可用性和容灾能力。

231 0
|
3月前
|
消息中间件 存储 Java
|

RabbitMQ 在微服务架构中的高级应用

【8月更文第28天】在微服务架构中,服务之间需要通过轻量级的通信机制进行交互。其中一种流行的解决方案是使用消息队列,如 RabbitMQ,来实现异步通信和解耦。本文将探讨如何利用 RabbitMQ 作为服务间通信的核心组件,并构建高效的事件驱动架构。

126 2

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

0
今日
64621
内容
110
活动
438181
关注
你好!
登录掌握更多精彩内容

相关产品

  • 大数据开发治理平台 DataWorks
  • 检索分析服务 Elasticsearch版
  • 日志服务