1.?sqoop导入mysql数据出错 ????用sqoop导入mysql数据出现以下错误： 14/12/03?16:37:58?ERROR?manager.SqlManager:?Error?reading?from?database:?java.sql.SQLException:?Streaming?result?set...
分类：
其他好文 时间：
2014-12-04 16:05:46
阅读次数：
199
这篇blog介绍 Jackson 的特点和使用方法Jackson支持三种使用方法流API（streaming api Incremental parsing/generation）JsonParse reads, JsonGenerator writes高效和part 1 json的用法类似，不好用...
分类：
Web程序 时间：
2014-11-23 17:26:49
阅读次数：
212
以前总是用java写一些MapReduce程序现举一个例子使用Python通过Hadoop Streaming来实现Mapreduce。 任务描述： HDFS上有两个目录/a和/b，里面数据均有3列，第一列都是id，第二列是各自的业务类型(这里假设/a对应a，/b对应b)，第三列是一个jso...
分类：
编程语言 时间：
2014-11-23 13:07:40
阅读次数：
270
commet又叫反向Ajax（Reverse Ajax）,或者server push 服务器推技术，在实时聊天和消息推送中应用的比较广，我们要了解反向Ajax、轮询（polling）、流（streaming）、Comet和长轮询（long polling），学习如何实现不同的反向Ajax通信技术，并...
分类：
Web程序 时间：
2014-11-19 15:43:06
阅读次数：
327
本篇文章学习了如何编写hadoop streaming程序，重点讲述了工作原理及用到的各种参数...
分类：
其他好文 时间：
2014-11-17 12:27:22
阅读次数：
171
hive streaming 报错的解决方案：1、把使用到hive streaming 的sql 分解，例如：select transform a,b,c,d using 'python cc.py' as (e,f) from table,分解成：select a,b,c,d from table...
分类：
其他好文 时间：
2014-11-14 15:37:33
阅读次数：
256
今天在用Streaming-Python处理一个MapReduce程序时，发现reducer失败，原因为耗费内存达到极限了！仔细查看代码时，发现有一个集合里保存着URL，而URL长度是比较长的，直接保存确实是耗费内存，于是想到用压缩存储，然后用的时候再解压，虽然处理时间增加，但是耗费内存大大降低！
具体就是使用zlib模块
import zlib
raw_data = "hello,wor...
分类：
编程语言 时间：
2014-11-08 07:06:23
阅读次数：
323
EasyDarwin是在Apple开源流媒体服务器Darwin Streaming Server（v6.0.3）基础上进行开发和维护的免费开源、高效、易扩展的面向企业级的流媒体平台框架，开始于2013年，遵循 Apple开源License，为了敏捷流媒体服务器开发和简化企业流媒体应用开发而诞生的。 EasyDarwin一直以来保持Darwin原有体系结构和设计思想，在保持出色的性能和简洁的代码同时，也在不断优化其底层效率和上层通用性。在广大开源爱好者的积极参与和努力下， 易用性、扩展性和稳定性等方面不断优化...
TheRTCPeerConnectioninterface represents a WebRTC connection and handles efficient streaming of data between two peers.Warning: RTCPeerConnection and ...
分类：
Web程序 时间：
2014-11-04 17:07:02
阅读次数：
335
本篇紧接着概念篇，从宏观角度上看一下Samza实时计算服务的架构是什么样的？
Samza是由以下三层构成：
1. 数据流层（A streaming layer）
2. 执行层（An execution layer）
3. 处理层（A progressing layer）
那Samza是依靠哪些技术完成以上三层的组合呢...
分类：
其他好文 时间：
2014-10-29 17:11:57
阅读次数：
261
