码迷,mamicode.com
首页 > 数据库 > 详细

mysql mycat 1.6.6.1-release 批量 insert 数据丢失问题(续)

时间:2020-01-13 17:51:39      阅读:248      评论:0      收藏:0      [点我收藏+]

标签:word   max   exec   log   blog   mybatis   配置   ova   coding   

 

我在项目中使用mycat进行分表,分了20个表,然后发现偶尔会出现分批次insert数据丢失问题。
比如从日志发现一共17020条记录,分批每次1000条insert入库,最后只insert成功了13020条。看了java的日志和mycat的日志没有发现任何error。

而且我查看了mybatis 的debug日志  ,除了第5个批量Insert 1000条  打印的      2020-01-10 14:13:40.325 http-nio-9080-exec-3 DEBUG org.apache.ibatis.logging.jdbc.BaseJdbcLogger.debug(BaseJdbcLogger.java:159) - <==    Updates: 1

 

其他地方都是正常打印的 Updates: 1000      2020-01-10 14:13:39.116 http-nio-9080-exec-3 DEBUG org.apache.ibatis.logging.jdbc.BaseJdbcLogger.debug(BaseJdbcLogger.java:159) - <==    Updates: 1000

 

而且我查了数据发现前面4000条数据丢失了,也就是说打印   <==    Updates: 1 之前的4次分批1000条insert都丢失了,java和mycat没有任何报错。

这个问题困扰了我很久,可以看我之前写的2个文章也是解决这个问题的,但是都没有完全解决,小概率还是会发生丢失数据问题。我猜测要么是mycat的问题或者就是spring 的事务没有配置正确。

https://www.cnblogs.com/xiaohanlin/p/11850508.html

https://www.cnblogs.com/xiaohanlin/p/11492715.html

 

然后我在mycat的github issues 里面提了这个问题,很快就得到了回复。建议我把mycat的dbDriver="jdbc"  试试,我的配置如下

 

<dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="jdbc" switchType="-1" slaveThreshold="100">
<heartbeat>select user()</heartbeat>

<writeHost host="Master1" url="jdbc:mysql://15.31.213.44:3306/nova?allowMultiQueries=true&amp;useUnicode=true&amp;characterEncoding=utf8&amp;autoReconnect=true" user="root"
password="123456">

</writeHost>

 

(注意:从  dbDriver="nvative"改成  dbDriver="jdbc"   后 allowMultiQueries=true 需要加在mycat和微服务的jdbc参数里面,不然批量update执行报错) 

 

然后我把每个微服务的数据库配置也修改成了

 url: jdbc:mysql://15.31.213.44:8066/nova?allowMultiQueries=true&useUnicode=true&characterEncoding=utf8&autoReconnect=true

 

 

然后需要再观察一段时间会不会再出现丢失数据的这个问题。

mysql mycat 1.6.6.1-release 批量 insert 数据丢失问题(续)

标签:word   max   exec   log   blog   mybatis   配置   ova   coding   

原文地址:https://www.cnblogs.com/xiaohanlin/p/12188407.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!