参考博客：https://www.cnblogs.com/Eddyer/p/6641778.html 1.需求 使用hdfs的javaAPI访问hdfs系统。 2.环境配置 (1)hadoop为本地模式 (2)pom文件代码如下 <dependencies> <dependency> <groupI ...
分类：
编程语言 时间：
2019-04-18 17:03:55
阅读次数：
310
一、HBASE本地模式：1、首先安装hadoop、jdk2、导入hbase-1.2.5-bin.tar.gz包3、解压：tar -zxvf hbase-1.2.5-bin.tar.gz4、配置环境变量 5、source /etc/profile生效6、配置java——home 7、进入hbase-1 ...
分类：
其他好文 时间：
2019-03-25 17:52:57
阅读次数：
169
一般情况下，开发大数据处理程序，我们希望能够在本地编写代码并调试通过，能够在本地进行数据测试，然后在生产环境去跑“大”数据。 一、nc工具 配置windows的nc端口，在网上下载nc.exe(https://eternallybored.org/misc/netcat/) 使用命令开始nc制定端口 ...
在编写案例之前首先理解几个问题，1：什么是爬虫2：为什么说python是门友好的爬虫语言？3：选用哪种框架编写爬虫程序 一：什么是爬虫？ 爬虫 webSpider 也称之为网络蜘蛛，是使用一段编写好的代码所生成的应用程序使其游弋于互联网这个庞大的体系中，帮助我们将想要的内容从目标服务器中搬到我们本地 ...
分类：
其他好文 时间：
2019-01-26 23:49:08
阅读次数：
303
当然，如果你的虚拟机当前不是“NAT”模式，那么需要点击“网络适配器”，会弹出如下图所示的界面，我们在右侧选择"NAT 模式(N):用于共享主机的IP地址"，然后点击确定。 系统：win10 第一步：在网络连接下有VMnet1和VMnet8两个连接，其中VMnet1是本地模式，VMnet8是NAT模 ...
分类：
其他好文 时间：
2019-01-16 21:37:15
阅读次数：
211
一、Spark交互式命令行 启动脚本：spark-shell 先启动spark：./start-all.sh 本地模式启动命令：/bin/spark-shell 集群模式启动命令：/bin/spark-shell --master spark://spark-1:7077 --total-execu ...
分类：
其他好文 时间：
2019-01-13 10:59:28
阅读次数：
197
记录 Hive 常用参数的配置，如设置 Hive 的本地模式 ...
分类：
其他好文 时间：
2019-01-05 20:01:28
阅读次数：
148
本文基于Spark 2.1.0版本 新手首先要明白几个配置： spark.default.parallelism：（默认的并发数） 如果配置文件spark-default.conf中没有显示的配置，则按照如下规则取值： 本地模式（不会启动executor，由SparkSubmit进程生成指定数量的线 ...
分类：
其他好文 时间：
2018-12-27 03:14:26
阅读次数：
145
本文记录了使用Docker技术启动本地模式运行的Flink容器的全过程，基础镜像基于jdk1.8.0_171
分类：
其他好文 时间：
2018-12-25 20:19:54
阅读次数：
306
一.下载 https://zookeeper.apache.org/ 二.本地模式安装 1.安装前准备 （1）安装Jdk （2）拷贝Zookeeper安装包到Linux系统下 （3）解压到指定目录 2.配置修改 （1）将/opt/module/zookeeper-3.4.10/conf这个路径下的z ...
分类：
其他好文 时间：
2018-12-16 18:08:43
阅读次数：
125
