【YashanDB 知识库】如何将 mysql 含有 group by 的 SQL 转换成崖山支持的 SQL
在崖山数据库中执行某些 SQL 语句时出现报错(YAS-04316 not a single-group group function),而这些语句在 MySQL 中能成功执行。原因是崖山遵循 SQL-92 标准,不允许选择列表中包含未在 GROUP BY 子句中指定的非聚合列,而 MySQL 默认允许这种操作。解决办法包括:使用聚合函数处理非聚合列或拆分查询为两层,先进行 GROUP BY 再排序。总结来说,SQL-92 更严格,确保数据一致性,MySQL 在 5.7 及以上版本也默认遵循此标准。
【YashanDB 知识库】同样建表语句,大整型数字在 Oracle 插入成功,在 YashanDB 插入失败
在 YashanDB 中执行与 Oracle 相同的建表语句并插入大整型数字时,出现错误“YAS-00013 value is larger than INTEGER allowed”。原因是 YashanDB 的 int 类型取值范围为 -2,147,483,648 到 2,147,483,647,而问题中的整型数字有 16 位,超出了此范围。Oracle 使用 NUMBER 类型,INT 不是其标准类型。解决方法是将字段修改为 Number 或 Bigint。影响版本:YashanDB 所有版本。
数据库数据恢复——MySQL简介和数据恢复案例
MySQL数据库数据恢复环境&故障:
本地服务器,安装的windows server操作系统。
操作系统上部署MySQL单实例,引擎类型为innodb,表空间类型为独立表空间。该MySQL数据库没有备份,未开启binlog。
人为误操作,在用Delete命令删除数据时未添加where子句进行筛选导致全表数据被删除,删除后未对该表进行任何操作。
【YashanDB 知识库】如何设置 yasql 客户端的字符编码
**简介:**
客户在使用YashanDB时,因不熟悉客户端编码配置,在执行不同编码的SQL文件时报错“YAS-00218 string conversion failed”,影响测试业务。问题源于客户端和服务端编码不一致。解决方法包括确认文件编码(如使用xxd或iconv工具),并在`$YASDB_HOME/client/yasc_env.ini`中正确配置编码。验证设置后,执行SQL文件成功即表示问题解决。适用于所有YashanDB版本。
分库分表—4.数据迁移系统文档
本文介绍了数据迁移系统的设计与实现,主要包括:
1. 数据库设计:订单表、订单详情表、binlog消息消费记录表等关键表结构。
2. 枚举类:增量数据同步的操作类型、消费操作结果、DB数据库渠道等枚举值。
3. 接口设计:访问迁移看板界面、查询同步进度、发起全量同步等API。
4. 定时任务设计:定时核对校验数据、数据量统计、增量数据落地和失败重试等任务。
5. 技术亮点:滚动拉取方案、统计滚动进度、防止增量同步数据丢失和高效写入方案、数据扩容方案。
6. 全量同步和增量同步整体流程图。
7. 功能升级:数据源动态化配置、XML动态生成及扩容迁移时的问题处理。
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
本文整理自鹰角网络大数据开发工程师朱正军在Flink Forward Asia 2024上的分享,主要涵盖四个方面:鹰角数据平台架构、数据湖选型、湖仓一体建设及未来展望。文章详细介绍了鹰角如何构建基于Paimon的数据湖,解决了Hudi入湖的痛点,并通过Trino引擎和Ranger权限管理实现高效的数据查询与管控。此外,还探讨了湖仓一体平台的落地效果及未来技术发展方向,包括Trino与Paimon的集成增强、StarRocks的应用以及Paimon全面替换Hive的计划。
SQL做数据分析的困境,查询语言无法回答的真相
SQL 在简单数据分析任务中表现良好,但面对复杂需求时显得力不从心。例如,统计新用户第二天的留存率或连续活跃用户的计算,SQL 需要嵌套子查询和复杂关联,代码冗长难懂。Python 虽更灵活,但仍需变通思路,复杂度较高。相比之下,SPL(Structured Process Language)语法简洁、支持有序计算和分组子集保留,具备强大的交互性和调试功能,适合处理复杂的深度数据分析任务。SPL 已开源免费,是数据分析师的更好选择。
Python中使用MySQL模糊查询的方法
本文介绍了两种使用Python进行MySQL模糊查询的方法:一是使用`pymysql`库,二是使用`mysql-connector-python`库。通过这两种方法,可以连接MySQL数据库并执行模糊查询。具体步骤包括安装库、配置数据库连接参数、编写SQL查询语句以及处理查询结果。文中详细展示了代码示例,并提供了注意事项,如替换数据库连接信息、正确使用通配符和关闭数据库连接等。确保在实际应用中注意SQL注入风险,使用参数化查询以保障安全性。