一、前提条件 1、3台虚拟机，java1.8环境配置，hadoop-2.7.7集群搭建(参见https://www.cnblogs.com/yangy1/p/12362565.html，以及https://www.cnblogs.com/yangy1/p/12367462.html中的横向扩容) 2 ...
分类：
其他好文 时间：
2020-04-17 00:28:41
阅读次数：
83
一、前提条件 1.1创建3台虚拟机，且配置好网络，建立好互信。 1.2 Java1.8环境已经配置好 1.3 Hadoop2.7.7集群已经完成搭建，具体参见我的博客https://www.cnblogs.com/theyang/p/12363276.html 1.4 Scala软件包和Spark软 ...
分类：
其他好文 时间：
2020-04-17 00:23:32
阅读次数：
85
这里以将Apache的日志写入到ElasticSearch为例，来演示一下如何使用Python将Spark数据导入到ES中。 实际工作中，由于数据与使用框架或技术的复杂性，数据的写入变得比较复杂，在这里我们简单演示一下。 如果使用Scala或Java的话，Spark提供自带了支持写入ES的支持库，但 ...
分类：
编程语言 时间：
2020-04-17 00:06:51
阅读次数：
83
1.前提条件 1.1创建3台虚拟机，且配置好网络，建立好互信(ssh免密)。 1.2 Java1.8环境已经配置好 1.3 Hadoop集群已经完成搭建 1.4 Scala软件包和Spark软件包的下载 https://www.scala-lang.org/download/ http://spar ...
分类：
其他好文 时间：
2020-04-17 00:05:12
阅读次数：
66
# 二面：1. TCP和UDP的区别？1. 滑动窗口协议？1. 为啥TCP比UDP占用资源多？1. TCP报文格式？1. 然后又问了一下数据库的东西1. 简单问了一下数据库事务的四大特性。1. 首先是Spark怎么进行性能调优1. 过程中遇到过什么问题，怎么解决的1. 数据量有多大等1. 类似于合并... ...
分类：
编程语言 时间：
2020-04-16 15:21:08
阅读次数：
70
一、基础 https://zhuanlan.zhihu.com/p/76905282 1、读取 2、查看 - head 3、形状 - shape 4、查看索引 index 5、查看列的全部名称 columns 6、排序 https://blog.csdn.net/MsSpark/article/de ...
分类：
其他好文 时间：
2020-04-14 12:26:27
阅读次数：
59
$()与 ` ` touch $(date +%F).log { } touch {1..3}.file touch{1..10..2}.file rm -rf .bash_history history -c history !编号 whatis 查命令是啥，然后用man命令 /etc/issue ...
分类：
其他好文 时间：
2020-04-14 00:52:08
阅读次数：
70
目录 1.掌握yum安装 2.httpd、php部署 一、掌握yum安装 前提： 在Linux上安装软件中最头疼的就是软件包之间的依赖关系，通常安装A软件，但是编译的时候会报错说需要B软件，当安装B软件时又报告需要C软件。这个问题rpm安装方式无法解决，故由此催生出yum命令。 yum： yum的宗 ...
分类：
Web程序 时间：
2020-04-13 19:29:29
阅读次数：
88
1、按系列罗列Linux的发行版，并描述不同发行版之间的联系与区别。2、安装Centos7.6操作系统，创建一个自己名字的用户名，并可以正常登录，将主要步骤截图。3、配置环境变量，实现执行history的时候可以看到执行命令的时间。4、总结Linux哲学思想。5、总结Linux常用命令使用格式，并用实例说明。例如echo、screen、date、ifconfig、export等命令
分类：
其他好文 时间：
2020-04-13 18:19:11
阅读次数：
92
优化项1、关闭selinux、关闭firewalld（centos7）/iptables（centos6）2、修改字符集3、精简开机启动项4、修改最大文件描述符5、修改yum源及安装常用工具6、优化系统内核7、优化ssh登录速度8、禁用ctrl+alt+del重启9、设置时间同步10、history优化1、关闭selinux、关闭防火墙a/关闭selinux[root@gitlab~]#sed-i
分类：
其他好文 时间：
2020-04-13 15:32:36
阅读次数：
84
