HDFS客户端环境准备 1．根据拷贝编译后的hadoop jar包到非中文路径 2．配置HADOOP_HOME环境变量 3. 配置Path环境变量 4．创建一个Maven工程HdfsClientDemo 5．导入相应的依赖坐标+日志添加 <dependencies> <dependency> <gr ...
分类：
其他好文 时间：
2021-06-06 19:12:37
阅读次数：
0
1.安装启动检查Mysql服务。netstat -tunlp (3306) 2.spark 连接mysql驱动程序。–cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars 3.启动 Mysql ...
分类：
数据库 时间：
2021-06-06 19:08:48
阅读次数：
0
1.pandas df 与 spark df的相互转换 df_s=spark.createDataFrame(df_p) df_p=df_s.toPandas() 2. Spark与Pandas中DataFrame对比 http://www.lining0806.com/spark%E4%B8%8E ...
分类：
其他好文 时间：
2021-06-06 19:08:07
阅读次数：
0
readme.so 官方是提供了docker 构建的，搜索了下发现暂时还没有docker镜像就自己搞了一个 参考使用 docker run -d -p 3000:3000 dalongrong/readme.so 效果 说明 已经推送docker官方了，可以直接使用 参考资料 https://git ...
分类：
其他好文 时间：
2021-06-06 19:07:03
阅读次数：
0
一、简介 cgroups 的全称是control groups，是Linux内核提供的一种可以限制、记录、隔离进程组所使用的物理资源（包括：CPU、memory、IO等），可以对 cpu，内存等资源实现精细化的控制，目前越来越火的轻量级容器 Docker 就使用了 cgroups 提供的资源限制能力 ...
分类：
其他好文 时间：
2021-06-06 19:06:23
阅读次数：
0
1.Spark SQL出现的 原因是什么? Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个叫作Data Frame的编程抽象结构数据模型(即带有Schema信息的RDD)，Spark SQL作为分布式SQL查询引擎，让用户可以通过SQL、DataFrame API和Data ...
分类：
数据库 时间：
2021-06-06 19:05:46
阅读次数：
0
1,拉取镜像 docker pull nacos/nacos-server:1.3.2 docker images | grep nacos-server 2,运行容器 docker run --name nacos-server -e MODE=standalone -e MYSQL_SERVIC ...
分类：
数据库 时间：
2021-06-05 18:34:43
阅读次数：
0
## 1.创建数据持久化文件夹 sudo mkdir -p /opt/mssql/data/ #开启目录权限 sudo chmod a+rwx /opt/mssql/data/ #开启docker挂载权限 sudo chmod a+rw /var/run/docker.sock ## 2.拉取最新 ...
分类：
数据库 时间：
2021-06-05 18:34:12
阅读次数：
0
docker删除镜像报错处理，Error response from daemon: conflict: unable to delete a945e7fd5401 (cannot be forced) - image has dependent child images ,删除为none的镜像 ...
分类：
其他好文 时间：
2021-06-05 18:28:16
阅读次数：
0
一、Docker内部网络地址的变化 1. 初始状态下 初始状态，指的是在无任何镜像，无任何容器时... 在Linux服务器上跑ip addr 命令，会有三个网关： 2. 开启一个容器后，多了一对网卡 Tomcat01容器网关信息： 是261：262的 Linux服务器网关信息： 同样多了一个网管信息 ...
分类：
其他好文 时间：
2021-06-05 17:44:50
阅读次数：
0
