今天项目从SqlServer转移到了MySql，转移过程中发现了一些问题，以前没遇到过，在网上查了查，总算是解决了，但是问题的根源还弄明白，暂且记录下来：首先有个tb_paymentmethod表，表中有几条数据如下：DAO层获取Model时这样：
if (row["IsDefault"] != n...
分类：
数据库 时间：
2014-05-12 15:58:21
阅读次数：
974
环境：OS：Centos 6.5 x64 & Soft：Hadoop
1.2.11、查看当前块大小，默认64M。[huser@master hadoop-1.2.1]$ bin/hadoop fs -stat "%o"
./in/test1.txt671088642、修改hdfs-site.conf...
分类：
其他好文 时间：
2014-05-06 08:59:21
阅读次数：
368
namenode 和 secondaryNamenode
运行在同一机器上，分离配置到新节点上。环境：OS：Centos 6.5 x64 & Soft：Hadoop
1.2.1master中的配置不是决定谁是namenode，而是决定谁是secondarynamenode。决定谁是namenode的...
分类：
其他好文 时间：
2014-05-06 01:08:13
阅读次数：
388
在流数据的处理过程中，为了保证处理结果的可信度(不能多算，也不能漏算)，需要做到对所有的输入数据有且仅有一次处理。在Spark
Streaming的处理机制中，不能多算，比较容易理解。那么它又是如何作到即使数据处理结点被重启，在重启之后这些数据也会被再次处理呢？
分类：
其他好文 时间：
2014-05-06 00:58:21
阅读次数：
465
Hadoop集群实施成功后，再次格式化名称节点。环境：OS：Centos 6.5 x64 &
Soft：Hadoop 1.2.11、格式化之前hadoop集群正常。[huser@master hadoop-1.2.1]$ jps7927
SecondaryNameNode7773 NameNode8...
分类：
其他好文 时间：
2014-05-06 00:52:59
阅读次数：
491
控制namenode检查点发生的频率。环境：OS：Centos 6.5 x64 &
Soft：Hadoop 1.2.11、修改core-site.xml，设置参数。 fs.checkpoint.period
1802、重启集群，查看namenode下文件更新频率，每隔180秒更新一次。[huser@...
分类：
其他好文 时间：
2014-05-06 00:26:48
阅读次数：
429
双字节字符集（Double Byte Character
Set，缩写：DBCS）是指电脑的字符编码中，使用了两个字节的所有字符集合。这种字符集以汉语、日语和韩语（合称CJK，即Chinese、Japanese、Korean的首字母）的字符最具代表性，所以有时也专指CJK的字符集。http://zh...
分类：
数据库 时间：
2014-05-05 22:16:20
阅读次数：
420
昨天看到微信SuperSofter写了一篇文章，有感而发，以便备注。
这是一种典型的C2B模式。阿里不只是在与腾讯拼移动，它的电商本土业务也在稳步推进。最近一个里程碑事件是，阿里包下了美的、九阳、苏泊尔等十个品牌的12条生产线，专为天猫特供小家电。阿里通过所掌握的数据以及分析成果，去指导这些生产线的研发、设计、生产、定价。
C2B与规模化之间的矛盾
C2B反向定制模式...
分类：
其他好文 时间：
2014-05-04 00:15:15
阅读次数：
289
centos 配置hadoop 2.2. 非常全面...
分类：
其他好文 时间：
2014-05-03 16:39:17
阅读次数：
369
RDD的依赖关系
Rdd之间的依赖关系通过rdd中的getDependencies来进行表示，
在提交job后，会通过在DAGShuduler.submitStage-->getMissingParentStages
privatedefgetMissingParentStages(stage:
Stage): List[Stage] = {
valmissing
=newHash...
分类：
其他好文 时间：
2014-05-03 15:56:22
阅读次数：
282
