因为重新装了系统，导致之前虚拟机及ubuntu系统环境都没有了。因为马上要开学了，学习大数据环境一定是必备的，今天无论如何都要安装好环境。 最开始学习hadoop的时候，我就自己装过虚拟机还有阿里云esc服务器环境，但是只有云服务器安装成功了。但在具体使用过程中，发现纯命令行的界面以及云服务器的 网 ...
分类：
其他好文 时间：
2020-02-14 22:54:00
阅读次数：
75
问题 一个wordcount运行总是报错 java.lang.RuntimeException: java.lang.ClassNotFoundException: Class com.hadoop.mapreducedemo1.mapreducedemo.mapper.MyMapperTask 网 ...
分类：
编程语言 时间：
2020-02-14 22:53:25
阅读次数：
96
爬取北京市信件内容： 下载webmagic-0.7-libs.tar.gz压缩包，解压缩。没有压缩包可以加QQ：893225523 通过Filezilla上传到/home/hadoop/下载 sudo tar -zxf ~/下载/webmagic-0.7.3-all.tar.gz -C /data/ ...
分类：
其他好文 时间：
2020-02-14 19:03:24
阅读次数：
108
1.keys 功能： 返回所有键值对的key 示例 val list = List("hadoop","spark","hive","spark") val rdd = sc.parallelize(list) val pairRdd = rdd.map(x => (x,1)) pairRdd.ke ...
分类：
其他好文 时间：
2020-02-14 18:33:43
阅读次数：
110
错误： hadoop Requested data length 86483783 is longer than maximum configured RPC length 解决： 修改NameNode的hdfs-site.xml配置文件，添加以下配置： <property> <name>ipc.m ...
分类：
其他好文 时间：
2020-02-14 18:14:56
阅读次数：
74
环境如下： Hadoop 2.6.0以上 java JDK 1.7以上 Spark 3.0.0-preview2 一、Scala独立应用编程 二、java独立应用编程 1、安装maven ubuntu中没有自带安装maven，需要手动安装maven。可以访问maven官方下载自己下载。这里直接给出a ...
分类：
编程语言 时间：
2020-02-14 10:43:07
阅读次数：
103
查询语言。由于 SQL 被广泛的应用在数据仓库中，因此，专门针对 Hive 的特性设计了类 SQL 的查询语言 HQL。熟悉 SQL 开发的开发者可以很方便的使用 Hive 进行开发。 数据存储位置。Hive 是建立在 Hadoop 之上的，所有 Hive 的数据都是存储在 HDFS 中的。而数据库 ...
分类：
其他好文 时间：
2020-02-13 22:35:19
阅读次数：
73
1.说说Jetty与Tomcat的区别 1. 相同点 Tomcat和Jetty都是一种Servlet引擎，他们都支持标准的Servlet和JavaEE的规范 2. 不同点 Jeety更小更快更灵活，内核更小，默认使用utf 8字符集，不存在中文乱码情况，不太适合做大型开放项目 Tomcat比较传统， ...
分类：
编程语言 时间：
2020-02-13 22:34:57
阅读次数：
73
环境如下： Hadoop 2.6.0以上 java JDK 1.7以上 Spark 3.0.0-preview2 一、Scala独立应用编程 1、安装sbt sbt是一款Spark用来对scala编写程序进行打包的工具，这里简单介绍sbt的安装过程，感兴趣的读者可以参考官网资料了解更多关于sbt的内 ...
分类：
其他好文 时间：
2020-02-13 22:31:48
阅读次数：
103
参考原文：http://blog.csdn.net/xlgen157387/article/details/53230138 一、网站应用背景 开发一个网站的应用程序，当用户规模比较小的时候，使用简单的：一台应用服务器+一台数据库服务器+一台文件服务器，这样的话完全可以解决一部分问题，也可以通过堆硬 ...
分类：
其他好文 时间：
2020-02-13 21:21:26
阅读次数：
84
