AI 助理
文档备案控制台
开发者社区 阿里云GTS能力中心-浩鲸智能 文章 正文

sharding jdbc多数据源同表结果查询问题

2021-12-10 1508
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 以往项目中,客户规定，各个部门的数据不能放在同一个数据库，导致办件服务存储不同部门的数据库在不同的数据源中，引发的多数据源查询的一系列问题

一、背景

      以往项目客户规定，各个部门的数据不能放在同一个数据库，导致办件服务存储不同部门的数据库在不同的数据源中，引发的多数据源查询的一系列问题

二、sharding jdbc 简介

     Sharding-JDBC是谷歌的一个开源的框架，提供标准化的数据分片、分布式事务和数据库治理功能，定位为轻量级Java框架，在Java的JDBC层提供的额外服务。 它使用客户端直连数据库，以jar包形式提供服务，无需额外部署和依赖，可理解为增强版的JDBC驱动，完全兼容JDBC和各种ORM框架。
适用于任何基于Java的ORM框架，如：JPA, Hibernate, Mybatis, Spring JDBC Template或直接使用JDBC。
基于任何第三方的数据库连接池，如：DBCP, C3P0, BoneCP, Druid, HikariCP等。
支持任意实现JDBC规范的数据库。目前支持MySQL，Oracle，SQLServer和PostgreSQL。

   三、项目融合sharding jdbc

     办件服务现有的是动态切换对应的数据源，key是部门的id，并不满足我们对一条sql语句就可以查询所有的部门数据的问题，所以要对现有有的逻辑进行改造

    首先我们要获取到所有的数据源的信息，初始化一份数据，如下图，这个是现有的存数据源信息的表dic_database_info

   

  然后我们要通过这张表获取所有的部门的数据源，并且初始化到线程池中，代码如下：

/*** @Description: 通过jdbc查询出数据连接信息　 * @return* @date 2020-09-11 12:25* @throws*/privateMap<String, DataSource>getDepartmentDataSources (DataSourcerdsDataSource){
Stringsql="select id, department_id as departmentId, access_url as accessUrl,\n"+"        access_key as accessKey, access_value as accessValue\n"+"        from dic_database_info where status=1 order by id ";
Map<String, DataSource>dataSourceMap=newHashMap<>();
try {
PreparedStatementpreparedStatement=rdsDataSource.getConnection().prepareStatement(sql);
ResultSetresultSet=preparedStatement.executeQuery();
while (resultSet.next()){
StringdepartmentId=String.valueOf(resultSet.getLong("departmentId"));
StringaccessUrl=resultSet.getString("accessUrl");
StringaccessKey=resultSet.getString("accessKey");
StringaccessValue=resultSet.getString("accessValue");
accessValue=JasyptUtils.decrypt(accessValue,salt);
DataSourcedataSource=DataSourceBuilder.create().driverClassName(driverClassName)
                        .url(accessUrl)
                        .username(accessKey)
                        .password(accessValue)
                        .build();
StringserialNum=shardingSphereDataSourceSerialRecord.addDataSourceAlias(departmentId);
dataSourceMap.put(serialNum,dataSource);
            }
        }catch (SQLExceptione){
LOGGER.error("通过JDBC查询各局数据库信息出错:{}",e.getMessage());
        }
returndataSourceMap;
    }


   然后在maven引入包

<dependency><groupId>org.apache.shardingsphere</groupId><artifactId>sharding-jdbc-core</artifactId><version>4.1.1</version></dependency>


由于办件服务只需要查询某一些表，所以我们把查询的表的表名配置在配置文件中

spring.shardingsphere.sharding.ext.tables=agent_materials,agents,applicant_materials,applicants,application_result_info,current_node,fee_unit_info,group_data_search,mark_results,node_result,paid_info,result_receive_info,service_application,service_attachment,service_correction,service_info_apply_nullify,service_info_nullify,tab_accept_affair_request,tab_apply_invalid_service_application,tab_apply_revoke_service_application,tab_get_node_info,tab_service_application_accepted,tab_service_application_result,tab_service_application_result_info


    然后在配置文件中获取

@ConfigurationProperties(prefix="spring.shardingsphere.sharding.ext")
publicstaticclassShardingJdbcProperties {
privateList<String>tables=Collections.emptyList();
publicList<String>getTables() {
returntables;
        }
publicvoidsetTables(List<String>tables) {
this.tables=tables;
        }
    }



     初始化配置文件

@OverridepublicvoidafterPropertiesSet() throwsException {
ShardingJdbcPropertiesshardingJdbcProperties=beanFactory.getBean(ShardingJdbcProperties.class);
if (shardingJdbcProperties!=null){
logicTables=newHashSet<>(shardingJdbcProperties.getTables());
initialized=true;
lock.lock();
try{
condition.signalAll();
            }finally {
lock.unlock();
            }
        }
    }
@OverridepublicvoidsetBeanFactory(BeanFactorybeanFactory) throwsBeansException {
this.beanFactory=beanFactory;
    }

 

  最后初始化sharding jdbc，并且保存数据源，表信息

@Bean(name="apiDataSource")
@ConfigurationProperties(prefix="spring.datasource.api")
publicDataSourcerdsDataSource() {
returnDataSourceBuilder.create().build();
    }
@Bean@PrimarypublicDataSourceshardingSphereDataSource(ShardingJdbcPropertiesshardingJdbcProperties, @Qualifier("apiDataSource") DataSourcedataSource) throwsSQLException {
finalStringMASTER_DATASOURCE_ALIAS="master";
ShardingRuleConfigurationshardingRuleConfig=newShardingRuleConfiguration();
shardingRuleConfig.setDefaultDatabaseShardingStrategyConfig(newHintShardingStrategyConfiguration(
newDepartmentDataSourceHintShardingAlgorithm()));
shardingRuleConfig.setDefaultTableShardingStrategyConfig(newHintShardingStrategyConfiguration(
newDepartmentDataSourceHintShardingAlgorithm.DepartmentTableHintShardingAlgorithm()));
Map<String, DataSource>fullDataSourceMap=newHashMap<>();
fullDataSourceMap.put(MASTER_DATASOURCE_ALIAS, dataSource);
Map<String, DataSource>departmentDatasourceMap=getDepartmentDataSources(dataSource);
if (departmentDatasourceMap!=null&&departmentDatasourceMap.size() >0 ){
fullDataSourceMap.putAll(departmentDatasourceMap);
        }
shardingRuleConfig.setDefaultDataSourceName(MASTER_DATASOURCE_ALIAS);
for (Stringtable : shardingJdbcProperties.getTables()){
TableRuleConfigurationtableRuleConfiguration=getDepartmentTableRuleConfiguration(table);
if (tableRuleConfiguration!=null){
shardingRuleConfig.getTableRuleConfigs().add(tableRuleConfiguration);
shardingRuleConfig.getBindingTableGroups().add(table);
            }
        }
Propertiesproperties=newProperties();
properties.put("sql.show", sqlShow);
returnShardingDataSourceFactory.createDataSource(fullDataSourceMap, shardingRuleConfig, properties);
    }
privateTableRuleConfigurationgetDepartmentTableRuleConfiguration (Stringtable) {
finalStringDS_TABLE_EXPRESSION="%s${0..%d}.%s";
if (StringUtils.isNotEmpty(table)){
Stringexpression=String.format(DS_TABLE_EXPRESSION, shardingSphereDataSourceSerialRecord.getDataSourcePrefix(),
shardingSphereDataSourceSerialRecord.getMaxSerialNum(), table);
returnnewTableRuleConfiguration(table, expression);
        }
returnnull;
    }
@Bean(name="apiSqlSessionFactory")
@PrimarypublicSqlSessionFactoryrdsSqlSessionFactory(@Qualifier("shardingSphereDataSource")DataSourcedynamicDataSource) throwsException {
SqlSessionFactoryBeansqlSessionFactory=newSqlSessionFactoryBean();
sqlSessionFactory.setDataSource(dynamicDataSource);
sqlSessionFactory.setConfigLocation(newClassPathResource("mybatis-config.xml"));
sqlSessionFactory.setMapperLocations(newPathMatchingResourcePatternResolver().getResources("classpath:mapper/**/*.xml"));
returnsqlSessionFactory.getObject();
    }
@Bean(name="apiTransactionManager")
@PrimarypublicDataSourceTransactionManagerrdsTransactionManager(@Qualifier("shardingSphereDataSource") DataSourcedynamicDataSource){
returnnewDataSourceTransactionManager(dynamicDataSource);
    }
@Bean(name="apiSqlSessionTemplate")
@PrimarypublicSqlSessionTemplaterdsSqlSessionTemplate(@Qualifier("apiSqlSessionFactory") SqlSessionFactoryrdsSqlSessionFactory){
returnnewSqlSessionTemplate(rdsSqlSessionFactory);
    }
@Bean(name="apiNamedParameterJdbcTemplate")
@PrimarypublicNamedParameterJdbcTemplaterdsNamedParameterJdbcTemplate(@Qualifier("shardingSphereDataSource") DataSourcedynamicDataSource){
returnnewNamedParameterJdbcTemplate(dynamicDataSource);
    }
publicstaticvoidcheckInitialize() throwsInterruptedException {
if (!initialized) {
lock.lock();
try{
condition.await(5000, TimeUnit.MILLISECONDS);
            }finally {
lock.unlock();
            }
        }
    }
publicstaticbooleancontainLogicTable(StringtableName){
try {
checkInitialize();
        } catch (InterruptedExceptione) {
        }
returnlogicTables==null?false : logicTables.contains(tableName);
    }
publicstaticSet<String>getLogicTables () {
try {
checkInitialize();
        } catch (InterruptedExceptione) {
        }
returnlogicTables==null?Collections.emptySet() : logicTables;
    }


 然后，封装一个类，对外提供切换数据源的接口

importlombok.extern.slf4j.Slf4j;
importorg.apache.commons.collections4.CollectionUtils;
importorg.apache.commons.lang3.ArrayUtils;
importorg.apache.commons.lang3.StringUtils;
importorg.apache.shardingsphere.api.hint.HintManager;
importjava.util.*;
@Slf4jpublicclassDynamicDataSourceContextHolder {
privatestaticfinalThreadLocal<String>CONTEXT_HOLDER=newThreadLocal<String>() {
/*** 将 master 数据源的 key作为默认数据源的 key*/@OverrideprotectedStringinitialValue() {
return"master";
        }
    };
/*** 数据源的 key集合，用于切换时判断数据源是否存在*/publicstaticList<Object>dataSourceKeys=newArrayList<>();
/*** 切换数据源* @param keys*/publicstaticvoidsetDataSourceKey(String ... keys) {
if (ArrayUtils.isNotEmpty(keys)){
log.info("调用数据源部门id为："+Arrays.toString(keys));
Set<String>logicTables=ShardingJdbcConfig.getLogicTables();
HintManagerhintManager=HintManager.getInstance();
ShardingSphereDataSourceSerialRecordshardingSphereDataSourceSerialRecord=ShardingSphereDataSourceSerialRecord.getInstance();
if (CollectionUtils.isNotEmpty(logicTables)){
for (StringlogicTable : logicTables){
for (Stringkey : keys){
if (shardingSphereDataSourceSerialRecord.containDataSourceAliase(key)){
hintManager.addDatabaseShardingValue(logicTable, key);
                        }
                    }
                }
            }
CONTEXT_HOLDER.set(keys[0]);
        }else{
log.info("调用master数据源");
        }
    }
publicstaticvoidsetDataSourceKeyByDepartmentIds (StringtableName, String ... departmentIds){
if (ArrayUtils.isEmpty(departmentIds) ||StringUtils.isEmpty(tableName)){
return;
        }
HintManagerhintManager=HintManager.getInstance();
ShardingSphereDataSourceSerialRecordshardingSphereDataSourceSerialRecord=ShardingSphereDataSourceSerialRecord.getInstance();
for (StringdepartmentId : departmentIds){
if (!shardingSphereDataSourceSerialRecord.containDataSourceAliase(departmentId)){
continue;
            }
StringserialNum=shardingSphereDataSourceSerialRecord.getDataSourceSerialNum(departmentId);
hintManager.addDatabaseShardingValue(tableName, serialNum);
        }
    }
/*** 获取数据源* @return*/publicstaticStringgetDataSourceKey() {
returnCONTEXT_HOLDER.get();
    }
/*** 重置数据源*/publicstaticvoidclearDataSourceKey() {
HintManager.clear();
CONTEXT_HOLDER.remove();
    }
/*** 判断是否包含数据源* @param key 数据源key* @return*/publicstaticbooleancontainDataSourceKey(Stringkey) {
returndataSourceKeys.contains(key);
    }
/*** 添加数据源keys* @param keys* @return*/publicstaticbooleanaddDataSourceKeys(Collection<?extendsObject>keys) {
returndataSourceKeys.addAll(keys);
    }
}



      然后就可以通过DynamicDataSourceContextHolder.setDataSourceKey()切换数据源了，不同的数据源相同的表结果一条sql就可以搞定了

文章标签：
Java
SQL
关系型数据库
Oracle
Spring
Maven
mybatis
数据库
存储
数据库连接
关键词：
jdbc查询
jdbc sharding
游客akz5zwjbzcr3q
目录
相关文章
游客pb5c4iyea3ani
|
SQL druid Java
【YashanDB知识库】YashanDB JDBC查询时抛出YAS-02094
【YashanDB知识库】YashanDB JDBC查询时抛出YAS-02094
游客pb5c4iyea3ani
201 3
游客pb5c4iyea3ani
|
SQL druid Java
【YashanDB知识库】YashanDB JDBC驱动查询时抛出io fail：Read timed out异常
【YashanDB知识库】YashanDB JDBC驱动查询时抛出io fail：Read timed out异常
游客pb5c4iyea3ani
308 5
游客kufrkwrbkmpsa
|
SQL druid Java
【YashanDB知识库】YashanDB JDBC驱动查询时抛出io fail：Read timed out异常
【YashanDB知识库】YashanDB JDBC驱动查询时抛出io fail：Read timed out异常
游客kufrkwrbkmpsa
249 3
游客kufrkwrbkmpsa
|
SQL druid Java
【YashanDB知识库】YashanDB JDBC查询时抛出YAS-02094
【YashanDB知识库】YashanDB JDBC查询时抛出YAS-02094
游客kufrkwrbkmpsa
261 6
游客kufrkwrbkmpsa
|
Java 数据库连接 数据库
【YashanDB知识库】jdbc查询st_geometry类型的数据时抛出YAS-00101 cannot allocate 0 bytes for anlHeapMalloc异常
【YashanDB知识库】jdbc查询st_geometry类型的数据时抛出YAS-00101 cannot allocate 0 bytes for anlHeapMalloc异常
游客kufrkwrbkmpsa
157 1
1639437117631681
|
Java 数据库连接 数据库
【YashanDB 知识库】jdbc 查询 st_geometry 类型的数据时抛出 YAS-00101 cannot allocate 0 bytes for anlHeapMalloc 异常
**简介：** 客户在使用 YashanDB JDBC 驱动查询含 st_geometry 列的数据时，遇到 YAS-00101 错误，提示无法分配内存。该问题影响所有版本的 YashanDB，导致业务中断。原因是用户缺少对 st_geometry 类型的 execute 权限。解决方法是为用户赋权：`grant execute any type to &lt;username&gt;;` 以恢复正常运行。
1639437117631681
151 1
1639437117631681
|
Java 数据库连接 数据库
【YashanDB 知识库】jdbc 查询 st_geometry 类型的数据时抛出 YAS-00101 cannot allocate 0 bytes for anlHeapMalloc 异常
**问题简介：** 客户使用 YashanDB JDBC 驱动查询含 st_geometry 列的数据时，出现 YAS-00101 错误，提示无法分配 0 字节内存。该问题影响所有 YashanDB 版本，导致业务中断。原因是数据库用户缺少 st_geometry 类型的 execute 权限。解决方法是为用户赋权：`grant execute any type to &lt;username&gt;;`。
1639437117631681
155 0
热爱技术的小郑
|
SQL Java 数据库连接
JDBC连接SQL Server2008 完成增加、删除、查询、修改等基本信息基本格式及示例代码
这篇文章提供了使用JDBC连接SQL Server 2008数据库进行增加、删除、查询和修改操作的基本步骤和示例代码。
热爱技术的小郑
293 5
童小纯
|
SQL Java 关系型数据库
JDBC技术【SQL注入、JDBC批量添加数据、JDBC事务处理、其他查询方式】(三)-全面详解（学习总结---从入门到深化）
JDBC技术【SQL注入、JDBC批量添加数据、JDBC事务处理、其他查询方式】(三)-全面详解（学习总结---从入门到深化）
童小纯
430 0
.29.
|
Java 关系型数据库 MySQL
②⑩② 【读写分离】Sharding - JDBC 实现 MySQL读写分离[SpringBoot框架]
②⑩② 【读写分离】Sharding - JDBC 实现 MySQL读写分离[SpringBoot框架]
.29.
341 0

阿里云GTS能力中心-浩鲸智能

热门文章

最新文章

  • 1
    Redis性能高30%，阿里云倚天ECS性能摸底和迁移实践
  • 2
    设计模式（C++版）
  • 3
    灵骏可预期网络：Built for AI Infrastructure
  • 4
    如何保证分布式文件系统的数据一致性
  • 5
    抽丝剥茧C语言（初阶 下）（下）
  • 6
    重生之---我测阿里云U1实例(通用算力型)
  • 7
    HTML5+CSS3前端入门教程---从0开始通过一个商城实例手把手教你学习PC端和移动端页面开发第8章FlexBox布局（上）
  • 8
    带你简单了解Chatgpt背后的秘密：大语言模型所需要条件（数据算法算力）以及其当前阶段的缺点局限性
  • 9
    【分布式技术专题】「分布式技术架构」手把手教你如何开发一个属于自己的限流器RateLimiter功能服务
  • 1
    Java JDBC连接与操作深度解析
    250
  • 2
    从零开启 JDBC 编程
    188
  • 3
    JDBC编程相关知识（实现图书管理系统进阶版）（下）
    222
  • 4
    JDBC编程相关知识（实现图书管理系统进阶版）（上）
    261
  • 5
    【JVM】JDBC案例打破双亲委派机制
    411
  • 6
    springboot使用Pivotal Greenplum JDBC如何进行配置
    516
  • 7
    Pivotal Greenplum JDBC在数据库开启ssl后url如何编辑
    426
  • 8
    JavaWeb（JDBC编程）看这一篇就够了 —— 如何使用Java操作mysql数据库
    722
  • 9
    Java之JDBC数据库编程
    197
  • 10
    JDBC技术文章
    148

    • 相关课程

    更多
  • JDBC数据库开发入门
  • JDBC数据库开发进阶

    • 相关电子书

    更多
  • 低代码开发师（初级）实战教程
  • 冬季实战营第三期：MySQL数据库进阶实战
  • 阿里巴巴DevOps 最佳实践手册
    • 下一篇
    开通oss服务