大意是，用2/8原则，多快好省的解决大部分事情。所以三板斧，仅限整体调整，不牵扯具体细节。 1、innodb 使用innodb引擎 2、innodb_buffer_pool 调整和innodb有关的参数，尽量大的内存和多的innodb instance 3、索引 索引，不用说了 4、缓存 查询缓存， ...
分类：
数据库 时间：
2018-02-10 20:06:15
阅读次数：
190
文本文件 先了解如何读写文本文件，然后看如何读写二进制文件。jaVa.ioReader用来读取字符，它的子类FileReader用来读取文本文件。FileReader打开指定路径下的文件。文件的路径分隔符可以用“\\”或者“/”表示。 “\\”是Windows风格的写法，因为字符串中的特殊字符要转义 ...
分类：
编程语言 时间：
2017-11-13 11:11:55
阅读次数：
190
在看源代码之前, 先了解设计结构是必须的, 这就绕不开著名的LSM Tree了. 我在阅读了原作者论文和BigTable论文之后, 一开始最惊奇的是"伪代码"呢? 没有. 其实LSM Tree与其说是某种数据结构/算法, 倒不如说是一种设计思路, 用日志和批量写入来替代索引更新, 达到通过牺牲随机查 ...
分类：
数据库 时间：
2017-10-29 20:50:47
阅读次数：
327
看到标题 应该会奇怪 SqlBulkCopy 为什么会效率低下 场景：接手项目 数据库SQLSERVER2008R2, 目前有一张流水表单表数据超过4亿，表中建有索引，有其他模块对这个表进行查询操作，无其他写入操作，每天需要有将近100W的数据批量写入 目前 用SqlBulkCopy 进行批量插入， ...
分类：
数据库 时间：
2017-10-17 18:56:20
阅读次数：
138
本篇文章主要讲解批量操作的相关知识。主要会讲解下面的方法的使用insert_one,insert_many,delete_one,delete_many,replace_one,update_one,update_many七个方法。批量写入的API在一次方法调用中会想服务器发送一个操作的列表。如果你设定了ordered参数，就可以确保你传递的操..
分类：
数据库 时间：
2017-08-12 10:09:40
阅读次数：
200
SQLSTATE[HY000]:Generalerror:1390Preparedstatementcontainstoomanyplaceholders.
分类：
数据库 时间：
2017-08-09 16:57:19
阅读次数：
246
需求描述 将数据记录持久化存储在HBase中，需要支持如下功能： 设计方案 按列存储 优点 缺点 列合并为JSON格式存储 优点 缺点 列合并为PB格式存储 优点 缺点 批量写入性能对比 单线程连续批量发送100万条过车记录（每条记录37个字段，每批10000条记录），三种方案完成数据采集总耗时对比 ...
分类：
其他好文 时间：
2017-06-13 12:47:58
阅读次数：
164
1、如何将MySQL数据批量导入HBase？ 一、加快批量写入的方法：新建一些空的regoins； 这样当数据写入HBase时，会按regoins的分区情况，集群内部负载均衡。 二、hbase 中有一个 hfileoutputformat 类，他的实现可以将数据转换成 hfile格式，通过 new ...
分类：
其他好文 时间：
2017-05-08 00:19:03
阅读次数：
146
DataTable数据批量写入数据库三种方法比较 标签： it 分类： C#1) insert循环插入；2) sqldataadapter.update(dataset,tablename);3) sqlbulkcopy.WriteToServer(datatable);1、生成测试的datatab ...
分类：
数据库 时间：
2016-12-18 21:04:54
阅读次数：
331
1、数据样式 写入之前，需要整理以下数据的格式，之后将数据保存到hdfs中，本例使用的样式如下（用tab分开）： 2、代码 假设要将以上样式的数据写入到hbase中，列族为cf，列名为colb，可以使用下面的代码（参考） 这段代码使用mapreduce程序对数据做了进一步处理，之后调用相关的api将 ...
分类：
其他好文 时间：
2016-12-11 01:45:05
阅读次数：
265
