1.八爪鱼，抓取数据 2.八爪鱼数据导入mysql（navicat连的虚拟机上的），表为an 3.给定mysql的表an自增id 4.开启hadoop，yarn， 5.利用sqoop导入mysql的表an sqoop import --connect jdbc:mysql://192.168.218 ...
分类：
其他好文 时间：
2018-07-28 00:18:50
阅读次数：
167
这个问题可能是我第一个遇到吧，hadoop启动时WARNING: HADOOP_SECURE_DN_USER has been
replaced by HDFS_DATANODE_SECURE_USER. Using value of
HADOOP_SECURE_DN_USER.错误。解决方案，在$ vim sbin/start-dfs.sh $ vim sbin/stop-dfs.
分类：
其他好文 时间：
2018-07-26 16:39:18
阅读次数：
376
简介 sed 是一种在线编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有 改变，除非你使用重定向存储 ...
分类：
其他好文 时间：
2018-07-24 17:42:15
阅读次数：
154
一、Eclipse的安装与设置 1.在Eclipse官网上下载eclipse-jee-oxygen-3a-linux-gtk-x86_64.tar.gz文件并将其拷贝到/home/jun/Resources下，然后再将文件拷贝到/home/jun下并解压。 2.执行.eclipse程序即可启动ecl ...
分类：
系统相关 时间：
2018-07-22 17:10:30
阅读次数：
186
1.创建quickMaven 1.在properties中写hadoop 的版本号并且通过EL表达式的方式映射到dependency中 2.写一个repostory将依赖加载到本地仓库中 这是加载完成的页面 这是开发代码 ...
分类：
编程语言 时间：
2018-07-21 22:36:53
阅读次数：
270
最近在使用sqoop往hdf上导入数据时，报出下面的错误： 网上找了很多资料，发现有一种可以解决 1. 你得确定你得确定你得sqoop可以连接你的linux上面的mysql数据库 2. 你得配置好sqoop的环境，确保可以连接hdoop, 进入sqoop的安装目录，进入bin目录，运行 Export ...
分类：
编程语言 时间：
2018-07-21 14:34:42
阅读次数：
238
1. 查看各库的存储大小 hdfs dfs -du -h /user/hive/warehouse 2. 删除HDFS 文件 hdfs dfs -rmr 绝对路径名 例如：hdfs dfs -rmr /user/hive/warehouse/xhx_dw.db/dw_homework_questio ...
分类：
其他好文 时间：
2018-07-19 13:33:39
阅读次数：
285
運行 Shell 是一个用 C 语言编写的程序，它是用户使用 Linux 的桥梁。Shell 既是一种命令语言，又是一种程序设计语言。 Shell 是指一种应用程序，这个应用程序提供了一个界面，用户通过这个界面访问操作系统内核的服务。 ...
分类：
系统相关 时间：
2018-07-16 14:13:14
阅读次数：
147
4. Hadoop相关配置及Executor环境变量的设置 4.1 Hadoop相关配置信息 默认情况下，Spark使用HDFS作为分布式文件系统，所以需要获取Hadoop相关配置信息的代码如下： 获取的配置信息包括： 将Amazon S3文件系统的AccessKeyId和SecretAccessK ...
分类：
其他好文 时间：
2018-07-15 23:13:01
阅读次数：
233
第五节介绍了TaskScheduler的创建，要想TaskScheduler发挥作用，必须要启动它，代码： TaskScheduler在启动的时候，实际调用了backend的start方法，即同时启动了backend。local模式下，这里的backend是localSchedulerBackend ...
分类：
其他好文 时间：
2018-07-15 22:13:31
阅读次数：
154
