开始尝试sparkSQL的尝试编程。 SparkSQL总体来说就是spark中的hive，但麻烦的一点是spark官网下载的并不自带对hive的支持，所以不能使用外部的hive。之后解决。 首先创建了一个json文件用来创建DataFrame，内容为： { "id":1 , "name":" Ell ...
分类：
其他好文 时间：
2020-02-01 23:18:31
阅读次数：
97
使用Sqoop将mysql数据传到hive 系统环境：hadoop2.65，mysql5.7.28，sqoop1.47，hive1.2.2，虚拟机centos7，物理机windows10 注意点：安装sqoop不要将目录设在hadoop下面，否则在运行下面命令时会发生找不到jar包的问题，我估计是系 ...
分类：
其他好文 时间：
2020-02-01 21:20:23
阅读次数：
297
正确返回system的地址的情况下，无法拿shell "通过Ex师傅的博客找解决方法" 简单来说就是返回地址处加个ret，使rsp能栈对齐 ...
分类：
系统相关 时间：
2020-01-31 12:37:59
阅读次数：
73
1、首先打开 hive DEBUG日志，执行以下命令，直接将日志输出到控制台 2、我们知道HIVE启动过程中，首先会先连接hive metastore，然后在连接HDFS namenode，我们可以根据日志时间点来判断和排查哪一步执行时间过长导致。 3、如果是hive metastore 连接过慢， ...
分类：
其他好文 时间：
2020-01-29 23:31:34
阅读次数：
285
SMP、NUMA、MPP体系结构介绍 从系统架构来看，目前的商用服务器大体可以分为三类，即对称多处理器结构 (SMP ： Symmetric Multi-Processor) ，非一致存储访问结构 (NUMA ： Non-Uniform Memory Access) ，以及海量并行处理结构 (MPP ...
分类：
其他好文 时间：
2020-01-29 22:01:08
阅读次数：
67
一、 ZooKeeper 简介 顾名思义 zookeeper 就是动物园管理员，他是用来管 hadoop（大象）、Hive(蜜蜂)、pig(小 猪)的管理员， Apache Hbase 和 Apache Solr 的分布式集群都用到了 zookeeper；Zookeeper: 是一个分布式的、开源的 ...
分类：
其他好文 时间：
2020-01-29 21:51:12
阅读次数：
65
前言：【从零开始学习YOLOv3】系列越写越多，本来安排的内容比较少，但是在阅读代码的过程中慢慢发掘了一些新的亮点，所以不断加入到这个系列中。之前都在读YOLOv3中的代码，已经学习了cfg文件、模型构建等内容。本文在之前的基础上，对模型的代码进行修改，将之前Attention系列中的SE模块和CB ...
分类：
其他好文 时间：
2020-01-29 19:47:52
阅读次数：
132
一、读取单个表单 import pandas as pdexcel_reader=pd.ExcelFile('文件.xlsx') # 指定文件 sheet_names = excel_reader.sheet_names # 读取文件的所有表单名，得到列表 df_data = excel_reade ...
分类：
其他好文 时间：
2020-01-29 18:05:04
阅读次数：
136
在自己搭建的集群上执行hive搜索语句 报错如下： 原因很简单，就是机器内存不足了，可能长时间开机没关机造成的，我重启了下，执行没问题了。 ...
分类：
其他好文 时间：
2020-01-28 23:37:32
阅读次数：
143
