官方博客-第8页-阿里云开发者社区

  • 2024-12-20
    1040

    AI场景下的对象存储OSS数据管理实践

    本文介绍了ECS和OSS的操作流程,分为两大部分。第一部分详细讲解了ECS的登录、密码重置、安全组设置及OSSUTIL工具的安装与配置,通过实验创建并管理存储桶,上传下载文件,确保资源及时释放。第二部分则聚焦于OSSFS工具的应用,演示如何将对象存储挂载为磁盘,进行大文件加载与模型训练,强调环境搭建(如Conda环境)及依赖安装步骤,确保实验结束后正确清理AccessKey和相关资源。整个过程注重操作细节与安全性,帮助用户高效利用云资源完成实验任务。

  • 2023-07-18
    131094

    手把手教你使用OSS-HDFS服务平替自建HDFS

    本文主要介绍了OSS-HDFS服务以及使用OSS-HDFS服务平替自建HDFS。

    131,094
  • 2023-08-07
    682

    MaxCompute ODPS 重装上阵,QUALIFY

    MaxCompute支持QUALIFY语法过滤Window函数的结果,使得查询语句更简洁易理解。Window函数和QUALIFY语法之间的关系可以类比聚合函数+GROUP BY语法和HAVING语法。

    682
  • 2023-09-27
    1462

    深入MaxCompute,人力家借助Information Schema合理治理费用

    本文将为大家带来MaxCompute与人力家客户案例深度解读。

  • 2024-05-15
    95465

    AIGC训练场景下的存储特征研究

    在今天这样以AIGC为代表的AI时代下,了解训练场景对于存储的具体诉求同样是至关重要的。本文将尝试解读WEKA的一个相关报告,来看看AIGC对于存储有哪些具体的性能要求。

  • 2024-07-22
    18514

    SLS 数据加工全面升级,集成 SPL 语法

    在系统开发、运维过程中,日志是最重要的信息之一,其最大的优点是简单直接。SLS 数据加工功能旨在解决非结构化的日志数据处理,当前全面升级,集成 SPL 语言、更强的数据处理性能、更优的使用成本。

    18,514
  • 2023-07-04
    151576

    阿里云块存储团队软件工程实践

    文本主要介绍阿里云块存储团队同学们的踩坑经验,总结成案例和方法分享公示,实践和方法论不限于分布式系统。

    151,576
  • 2024-05-15
    490

    跨节点参数的缘起与今生

    Dataphin v3.13引入了跨节点参数功能,允许任务间传递消息。输出节点(如SQL、Shell、Python任务)能输出参数,输入节点可以接收并使用这些参数。此功能解决了通过公共存储中转消息的复杂性和低效问题。应用场景包括:金融企业的币种转换,其中汇率任务(输出节点)提供汇率,转换任务(输入节点)使用该汇率;以及产品目录更新检查,通过跨节点参数控制是否需要执行数据导入任务。用户可以通过任务编辑器设置和传递跨节点参数,并在运维中进行补数据操作。

    490
  • 2024-12-05
    544

    一行代码改进:Logtail的多行日志采集性能提升7倍的奥秘

    一个有趣的现象引起了作者的注意:当启用行首正则表达式处理多行日志时,采集性能出现下降。究竟是什么因素导致了这种现象?本文将探索Logtail多行日志采集性能提升的秘密。

    544
  • 1
    ...
    7
    8
    9
    ...
    12
    到第
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    8/12