百度大数据实习生：（百度科技园一号楼） 2018-3-31 笔试： 1.双指针的题 2.找出字符串中第一个出现两次的字母 3.通过前中序求二叉树 4.快速排序，堆排序 5.数据库的左右连接 面试： 1.MapReduce分几步，shuffle原理 2.hive 的知识 3.数据库，数据仓库 4.代码 ...
分类：
其他好文 时间：
2020-05-14 01:50:12
阅读次数：
77
@[toc] 所在公司目前使用的数据库主要是mysql 和hive, 所以选择的数据库客户端工具是sqlYog和xshell了。但是最近一个可视化系统需要支持配置多数据源，包括mysql,orcale,sqlServer，这就有个问题sqlYog连不了oracle 和sqlServer。然后不得不换 ...
分类：
其他好文 时间：
2020-05-12 13:36:19
阅读次数：
102
一、介绍 Tsar是阿里巴巴开源的一个用来收集服务器系统和应用信息的采集报告工具，如收集服务器的系统信息（cpu，mem等），以及应用数据（nginx、haproxy等），收集到的数据存储在服务器磁盘上，可以随时查询历史信息，也可以将数据发送到nagios报警。Tsar能够比较方便的增加模块，只需要 ...
分类：
其他好文 时间：
2020-05-11 15:20:31
阅读次数：
65
一、Hive-sql优化 #增加reducer任务数量（拉取数量分流） set mapred.reduce.tasks=20; #在同一个sql中的不同的job是否可以同时运行,默认为false set hive.exec.parallel=true; #增加同一个sql允许并行任务的最大线程数 s ...
分类：
数据库 时间：
2020-05-11 01:21:52
阅读次数：
80
Programmatically add an application to Windows Firewall 回答1 Not sure if this is the best way, but running netsh should work: netsh firewall add allowe ...
分类：
移动开发 时间：
2020-05-10 15:15:24
阅读次数：
86
找到安装位置全局安装一般在默认位置C:\Users\administrator\AppData\Roaming\npm\node_modules\i5ting_toc 修改marked.jsi5ting_toc\node_modules\marked\lib\marked.js将第804行修改如下 ...
分类：
Web程序 时间：
2020-05-10 13:22:49
阅读次数：
114
原因是hive版本太老，不能识别integer，只能识别int http://mail-archives.apache.org/mod_mbox/hive-dev/201310.mbox/%3CJIRA.12595720.1340551511790.3851.1383257119001@arcas% ...
分类：
其他好文 时间：
2020-05-09 19:25:19
阅读次数：
169
1.写在前面 在利用spark计算引擎将kafka或其他源数据组件的数据入hive形成数仓的过程中有两种方式，一种方式是利用spark Rdd的API将数据写入hdfs形成hdfs文件，之后再将文件和hdfs文件和hive表做加载映射。第二种方式是利用sparkSQL将获取的数据Rdd转换成data ...
分类：
数据库 时间：
2020-05-09 19:20:15
阅读次数：
100
二者对比 1.Hive 数据仓库：本质其实就相当于将hdfs中已经存储的文件在Mysql中做了一个双射关系，以方便用HQL去管理查询。 用于数据分析、清洗：Hive适用于离线的数据分析和清洗，延迟较高。 基于HDFS、MapReduce：Hive存储的数据依旧在DataNode上，编写的HQL语句终 ...
分类：
其他好文 时间：
2020-05-09 01:23:51
阅读次数：
63
1.hive 创建内部表 CREATE TABLE emp( empno int, ename string, job string, mgr int, hiredate string, sal double, comm double, deptno int ) ROW FORMAT DELIMIT ...
分类：
其他好文 时间：
2020-05-08 18:33:15
阅读次数：
66
