数据迁移保存的路径斜杠被消除解决方案：path="D:\\Temp\\Files";path=path.replaceAll("\\\\","/");//必须用四条反斜杠才能表示路径中的双反斜杠【如果一个路径为D:\\Temp\\Files，那么Java转义会自动剔除一个"\",路径就变成了D:\Temp\Files，而当Java保存这条数据进mysql的时..
分类：
其他好文 时间：
2014-12-12 17:07:49
阅读次数：
141
一、拆分分区（SPLIT）在已有分区上添加一个新分区。如下图所示，将分区03拆分成03和04分区，拆分方式先锁定旧03分区的所有数据，后将旧03分区相关数据迁移到分区04，最后删除旧03上的对应分区数据；这种操作大量消耗io，造成的io日志读写是转移数据的四倍。因此在管理分区上，一般提前添加分区；例...
分类：
数据库 时间：
2014-12-12 14:44:32
阅读次数：
338
转至元数据起始
Apache Sqoop是用来实现结构型数据（如关系数据库）和Hadoop之间进行数据迁移的工具。它充分利用了MapReduce的并行特点以批处理的方式加快数据的传输，同时也借助MapReduce实现了容错。
项目地址：http://sqoop.apache.org/
目前为止，已经演化出了2个版本：sqoop1和sqoop2。
sqoop1的最新版本是1.4....
分类：
其他好文 时间：
2014-12-05 14:21:44
阅读次数：
335
转自：http://blog.csdn.net/luoyeyu1989/article/details/8275237
分类：
数据库 时间：
2014-12-04 22:47:55
阅读次数：
219
关于数据迁移的方法、步骤和心得
在项目中经常会遇到系统完全更换后的历史数据迁移问题，以示对客户历史工作的尊重，何况很多数据仍有保留的必要。
那怎么做历史数据迁移呢？
系统分析：
1、分析原有的业务系统
精确到大致的系统功能模块、大致的处理流程即可
2、分析现有的业务系统
精确到大致的系统功能模块、大致的处理流程即可
3、分析两者自己的区别和差异
大致分析一下两个业务系统之...
分类：
其他好文 时间：
2014-12-04 10:20:54
阅读次数：
205
面对虚拟化、非结构化数据等新挑战，昆腾提出的解决思路其实很简单，也很直接，就是区分不同的数据类型和需要，然后采取不同的更有针对性的保护方式。这其实就是今天人们处理大数据的基本思路。在云计算、大数据等新概念出现后，主存储，也就是在线存储，其性能、可靠性、可管..
分类：
其他好文 时间：
2014-12-01 19:27:14
阅读次数：
181
这段时间系统由于大量历史数据造成应用响应缓慢，需要对大量历史数据做数据迁移，原本计划将原表备份后Create table as 一个新表，量表换名重建索引等解决，但由于服务层的特殊结构，这些表无法做分区，而且这种方...
分类：
数据库 时间：
2014-11-28 12:50:52
阅读次数：
426
在之前的文章中简单描述了一下如何通过LRU结合多层缓存机制实现高命中的缓存,这一章节里的主要内容是深入地了解其原理的实现.LRU算法什么是LRU算法？ LRU是Least Recently Used的缩写，即最少使用页面置换算法，是为虚拟页式存储管理服务的.通过这种算法可以把最近使用的数据迁移到数据...
分类：
其他好文 时间：
2014-11-22 15:58:08
阅读次数：
198
ETL的考虑做数据仓库系统，ETL是关键的一环。说大了，ETL是数据整合解决方案，说小了，就是倒数据的工具。回忆一下工作这么些年来，处理数据迁移、转换的工作倒还真的不少。但是那些工作基本上是一次性工作或者很小数据量，使用access、DTS或是自己编个小程序搞定。可是在数据仓库系统中，ETL上升到了...
分类：
其他好文 时间：
2014-11-21 18:20:51
阅读次数：
218
