热点随笔： · 100行代码实现了多线程,批量写入,文件分块的日志方法（Sam Xiao）· 毕业七年，谁自迷茫！（浴子风）· 一些关于界面设计的技巧（牧云云）· 上一家公司倒闭，为什么我又来了创业公司？（腾飞（Jesse)）· 使用浏览器的计算力，对抗密码破解（EtherDream）· 我所理解的 ...
分类：
其他好文 时间：
2016-11-14 09:38:01
阅读次数：
222
100行代码就支持了多线程并发，批量写入日志 100行代码就支持了多线程并发，批量写入日志 一，您选择用什么样的日志组件 日志组件，不得不提大名鼎鼎的Log4Net。比较常用的还有 Enterprise Library Logging，ServiceStack Logging。当然您还可以补充，我就 ...
分类：
编程语言 时间：
2016-11-08 00:44:24
阅读次数：
224
【Redis基本】 1.redis安装完成后的几个文件： redis-benchmark 性能测试工具（批量写入）./bin/redis-benchmark -n 10000 即可一次性写入10000条数据 redis-check-aof 日志文件检测工具(比如断电造成日志损坏,可以检测并修复) r ...
分类：
其他好文 时间：
2016-10-28 19:45:22
阅读次数：
894
有时候我们需要将大量数据批量写入数据库，直接使用程序语言和Sql写入往往很耗时间，其中有一种方案就是使用MySql Load data infile导入文件的形式导入数据，这样可大大缩短数据导入时间。 假如是从MySql客户端调用，将客户端的文件导入，则需要使用 load local data in ...
分类：
数据库 时间：
2016-09-21 00:00:48
阅读次数：
1302
AutoFlush 通过调用HTable.setAutoFlushTo(false)方法可以将HTable写客户端自动flush关闭，这样可以批量写入数据到HBase，而不是有一条put就执行一次更新，只有当put填满客户端写缓存的时候，才会向HBase服务端发起写请求。默认情况下auto flus ...
分类：
其他好文 时间：
2016-06-22 18:45:25
阅读次数：
205
今天学完IT十八掌第十三天java基础课程：学习内容：HashMapHashSetentrySet()|--getKey()|--getValue()keySet()|--get(Key)----------有无缓冲区性能评测缓冲区的原理是先将字符写入数组，然后在批量写入文件,避免对物理文件的频繁访问，提高效率。行分割符在java中可以通过方..
分类：
其他好文 时间：
2016-06-21 11:01:18
阅读次数：
190
1. 表的设计
1.1 Pre-Creating Regions
默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据，直到这个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的regions，这样当数据写入HBase时，会按照region分区情况，在集群内做数据的负载均衡。
...
分类：
其他好文 时间：
2016-06-21 07:14:44
阅读次数：
191
java的文件读写有多种方式，在此通过代码做以下比较。 比较一：FileWriter和FileReader 输出: H 可见，FileWriter可以批量写入，但是FileReader每次只能读取一个字符。 比较二：OutputStream和InputStream 输出: H 可见，OutputSt ...
分类：
编程语言 时间：
2016-04-16 10:48:23
阅读次数：
145
工作中需要读取很多大数据量（1000w条）的文件并写入到mysql表里，涉及到的技术点主要是数据库的addbatch及水平分表。 数据库的写入场景包括：一条一条的写入和批量写入，这里数据库的批量增加使用mybatis框架完成。 水平分表的意思是本来我们要将1000w的数据写入到一张表里，但为了考虑未
分类：
其他好文 时间：
2016-03-19 12:55:06
阅读次数：
1353
近段时间在做HA（高可用）的设计，数据库使用Mongodb，测试场景是1主2从 测试发现，在往Mongodb批量写入数据（100w的数据）时，主节点宕机，当前请求会抛出异常，下一请求自动切换到从节点上，而且100w的数据中有30w+的数据已同步到从节点上，说明Mongodb在执行CRUD时如果主节点
分类：
其他好文 时间：
2016-01-28 17:20:06
阅读次数：
153
