互联网上产生的越来越多的个人数据，究竟应该如何处理？这一问题最近在欧洲得到了初步的解答。今年5月13日，欧洲最高法院裁定，普通公民的个人隐私拥有“被遗忘权”。是什么样的压力，让大家迫切的希望被遗忘，大数据带给我们的究竟是足够的便捷，还是过度的关注带来巨大的压力，都已然成为人们不断争议的话题。如今人....
分类：
其他好文 时间：
2014-07-06 19:13:53
阅读次数：
144
第一步：编译java文件 javac -classpath hadoop-core*.jar:lib/commons-cli-1.2.jar -d playground/classes/ playground/src/WordCount.java第二步：生成jar包 jar -cvf p...
分类：
其他好文 时间：
2014-07-06 18:41:56
阅读次数：
199
JSON作为一种轻量级的数据交换格式，正在逐步取代XML，成为网络数据的通用格式基于JavaScript的一个子集易读性略差，编码手写难度大，数据量小JSON格式取代了XML给网络传输带来了很大的便利，但是却没有了XML的一目了然，尤其是JSON数据很长的时候，我们会陷入繁琐复杂的数据节点查找中JS...
分类：
Web程序 时间：
2014-07-06 18:09:56
阅读次数：
201
sqoop是一个把关系型数据库数据抽向hadoop的工具。同时，也支持将hive、pig等查询的结果导入关系型数据库中存储。由于，笔者部署的hadoop版本是2.2.0，所以sqoop的版本是：sqoop-1.99.3-bin-hadoop2001、下载sqoop wget http://mirro...
分类：
其他好文 时间：
2014-07-06 15:37:41
阅读次数：
138
1. 安装这里以安装hadoop-0.20.2为例先安装java,参考这个去着下载hadoop解压tar -xzf hadoop-0.20.22. 配置修改环境变量vim ~/.bashrcexport HADOOP_HOME=/home/rte/hadoop-0.20.2 #这里为实际hado.....
分类：
其他好文 时间：
2014-07-06 15:12:24
阅读次数：
255
SSH无密安装与配置具体配置步骤：◎在root根目录下创建.ssh目录（必须root用户登录）cd/root&mkdir.sshchmod700.ssh&cd.ssh◎创建密码为空的RSA密钥对：ssh-keygen-trsa-P""◎在提示的对称密钥名称中输入id_rsa将公钥添加至authori...
分类：
其他好文 时间：
2014-07-06 13:08:10
阅读次数：
280
原创文章，转载请注明： 转载自www.cnblogs.com/tovin/p/3822985.html一、软件下载 maven下载安装 ：http://10.100.209.243/share/soft/apache-maven-3.2.1-bin.zip jdk下载安装： http://...
GraphX是Spark中用于图和图并行计算的API,可以认为是GraphLab(C++)和Pregel(C++)在Spark(Scala)上的重写及优化，跟其他分布式图计算框架相比，GraphX最大的贡献是，在Spark之上提供一栈式数据解决方案，可以方便且高效地完成图计算的一整套流水作业。
分类：
其他好文 时间：
2014-07-05 16:50:56
阅读次数：
210
Linux的命令后面会有命令选项，有的选项还有选项值。选项的前面有短横线“-”，命令、选项、选项值之间使用空格隔开。有的命令没有选项，会有参数。选项是命令内置的功能，参数是用户提供的符合命令格式的内容。1.1.1. 命令提示符在桌面上点击鼠标右键，在弹出菜单中选择“Open in Terminal”...
分类：
系统相关 时间：
2014-07-05 11:18:23
阅读次数：
293
在现在的“大数据”、“云平台”这些前沿技术的背景下，衍生了很多平台型技术点，Nosql、Hadoop、Storm等层出不穷。这些华丽的技术后面其实处处都离不开“分布式”这个虽然提出了很久，但是大数据、云计算带火了的技术。以致于开个玩笑说，如果不懂一些“分布式"下的技术和原理的，会有点不好意思说自己是后端开发 -- (玩笑而已!! ^_^)。...
分类：
其他好文 时间：
2014-07-04 08:44:53
阅读次数：
216
