1.准备数据employee.txt1001,Gong Shaocheng,11002,Li Dachao,11003,Qiu Xin,11004,Cheng Jiangzhong,21005,Wo Binggang,3将数据放入hdfs[root@jfp3-1 spark-studio]# hdf...
分类：
数据库 时间：
2014-06-29 00:17:54
阅读次数：
415
gwbjx123 Item Quantity Tires oil Spark Plugs Address 以下是PHP文件：eg1.php"; $fp = fopen("egtext.txt","ab");//a是追加 fl...
分类：
Web程序 时间：
2014-06-28 23:53:40
阅读次数：
409
最近由于项目需要，大致研究了一下protobuf的java使用。说实话，习惯了C++的protobuf，java用起来真别扭。由于需要将protobuf序列化后，存入redis，而且redis没法直接存储非字符串的数据，所以我只能想办法将protobuf序列化成字符串。protobuf的java实现...
分类：
编程语言 时间：
2014-06-28 23:14:20
阅读次数：
525
1. 打开spark-shell2. 建立StreamingContextimport org.apache.spark.streaming._import org.apache.spark.streaming.StreamingContext._import org.apache.spark.ap...
分类：
其他好文 时间：
2014-06-28 23:07:17
阅读次数：
324
稍微了解Spark源码的人应该都知道SparkContext，作为整个Project的程序入口，其重要性不言而喻，许多大牛也在源码分析的文章中对其做了很多相关的深入分析和解读。这里，结合自己前段时间的阅读体会，与大家共同讨论学习一下Spark的入口对象—天堂之门—SparkContex。SparkC...
分类：
其他好文 时间：
2014-06-28 19:27:40
阅读次数：
338
hadoop 0.18文档（详细介绍Hadoop，MapReduce，FS Shell，Streaming等）hadoop资料汇总（XX搜集的，还没看）streaming（非java程序员的福音）Hadoop Streaming编程实例Hadoop Streaming编程Hadoop Streami...
分类：
其他好文 时间：
2014-06-20 18:33:43
阅读次数：
160
最近，在学习和使用Spark的过程中，遇到了一些莫名其妙的错误和问题，在逐个解决的过程中，体会到有必要对解决上述问题的方法进行总结，以便能够在短时间内尽快发现问题来源并解决问题，现与各位看官探讨学习如下：解决spark运行调试问题的四把“尖刀”：1、Log包括控制台日志、主从节点日志、HDFS日志等...
分类：
其他好文 时间：
2014-06-20 15:16:41
阅读次数：
161
本文内容来源于Redis作者博文，Redis 作者说，他看到的所有针对 Redis 的讨论中，对 Redis持久化的误解是最大的，于是他写了一篇长文来对 Redis 的持久化进行了系统性的论述。文章非常长，也很值得一看，NoSQLFan 将主要内容简述成本文。 什么是持久化，简单来讲就是将数据放到....
分类：
其他好文 时间：
2014-06-20 14:37:50
阅读次数：
281
Redis是Salvatore Sanfilippo在2009年为其初创公司LLOOGG开发的，目前仍是独立项目，但VMWare赞劣了项目（作者是其雇员）。它采用C...
分类：
数据库 时间：
2014-06-18 07:11:31
阅读次数：
303
Shark是基于Spark与Hive之上的一种SQL查询引擎。...
分类：
其他好文 时间：
2014-06-18 06:54:00
阅读次数：
286
