大数据提取价值信息技术实现方案
分5步：
1、通过FTP采集文件
2、把文件入到HDFS系统
3、使用HIVE从HDFS中选择数据
4、使用DataStage或Infomatica把数据入库
5、入库到Sybase IQ数据库...
分类：
其他好文 时间：
2015-03-18 14:06:18
阅读次数：
128
jQuery什么是jQuery?jQuery是一个Javascript库，极大的简化了Javascript编程。接下来就讨论如何使用这个库吧。因为这是一个库，所以首先要引入库jQuery 部分写在包装的代码里。jQuery语法：这个很简单。$(selector).action();jQuery选择器...
分类：
Web程序 时间：
2015-03-13 10:39:44
阅读次数：
240
消息系统中，常用的一致性解决方案如下：
1) 发送消息给消息系统
2) 消息系统入库消息
3) 消息系统返回结果
4) 业务操作
5) 发送业务操作结果给消息系统
6) 更改存储中的消息状态
.........
分类：
其他好文 时间：
2015-03-13 08:09:46
阅读次数：
106
近期须要用到redis ，可是在编码这个问题上，纠结了非常久。 需求 ：每天一个进程将中文文件入库到redis中（不定时更新） ，另外几个进程读取redis中的信息 ，并处理数据结果。使用的redis模块 ：入库正常，读取数据成功，以GBK编码写入文件出现异常。 通过下面參数连接 redis ：.....
分类：
其他好文 时间：
2015-03-12 14:37:46
阅读次数：
120
MSVC编译 使用VS（x86）命令行工具进入到zlib根目录，执行nmake -f win32/Makefile.msc ,在根目录下生成：zlib.lib(静态库) zdll.lib(动态库的导入库) zlib1.dll(动态库) 。必要的头文件有zlib.h和zconf.hMingW编译 .....
分类：
Windows程序 时间：
2015-03-11 00:42:59
阅读次数：
2610
最近一个群友的boss让研究hbase，让hbase的入库速度达到5w+/s，这可愁死了，4台个人电脑组成的集群，多线程入库调了好久，速度也才1w左右，都没有达到理想的那种速度，然后就想到了这种方式，但是网上多是用mapreduce来实现入库，而现在的需求是实时入库，不生成文件了，所以就只能自己用代码实现了，但是网上查了很多资料都没有查到，最后在一个网友的指引下，看了源码，最后找到了生成Hfile...
分类：
其他好文 时间：
2015-03-10 13:57:24
阅读次数：
115
mybatis insert 日期类型字段入库
待入库的实体属性：
java.util.Date
private Date mxReqTime;
注：入库的实体属性mxReqTime含有“年月日、小时分秒”信息，且“小时分秒”信息不是“00:00:00”
这里假设： mxReqTime=2015-3-9 20:31:34
sqlmap写法：
insert into...
分类：
其他好文 时间：
2015-03-10 10:29:13
阅读次数：
176
数据和事件分开 先从Peter的数据和事件分开说起，Peter找了李福华讨论了返运的需求实现，他的建议是将库存和返运关系分离开来，即数据和事件分离开来：不要让（事件）状态污染数据，对于正常入库、调拨入库这属于原生态状态（Native Status）没问题，对于返运这种后天事件导致的状态就不要用来污染...
分类：
其他好文 时间：
2015-03-09 23:51:32
阅读次数：
302
这几天在做大数据量入库的存储实验，在大量数据执行拟造过程中数据库出现了问题无法继续执行，初步推断是因为大数据量插入导致数据库连接断开，问题记录如下：原文地址：http://gis.stackexchange.com/questions/108297/oracle-error-when-copying...
分类：
数据库 时间：
2015-03-09 12:38:51
阅读次数：
443
Title:PHP之intval() --2014-02-26 13:57query($query_str);}mysqli_close($con);?> 入库后：' and 1=2 union select user(),2,3--+如图：FROM：http://worm.cc/Is_php_f....
分类：
Web程序 时间：
2015-03-07 18:30:35
阅读次数：
160
