protected void Button1_Click(object sender, EventArgs e) { OleDbConnection conn = new OleDbConnection("provider=microsoft.jet.oledb.4.0;data source=|d ...
分类：
数据库 时间：
2020-02-05 13:31:34
阅读次数：
100
protected void Button2_Click(object sender, EventArgs e) { FileInfo fi = new FileInfo(Server.MapPath(".") + @"\kk.xls"); if (fi.Exists) { fi.Delete(); ...
炸了炸了炸了，电脑前边坐了一天，毕设愣是没啥进度，啥也没做成呢？！！！！ 今天主要完成了数据的分页显示，淘宝数据的爬取，早上起床就登录让它爬数据，刚爬了300条又被封了，，，， 在考虑是否换掉数据库，改用mongodb或者hive,后期处理大批的数据，关系型数据库太慢了 ，明天再研究 分页代码，调试 ...
分类：
其他好文 时间：
2020-02-04 23:29:14
阅读次数：
85
hive的日期格式可由String类型保存，只能识别两种格式yyyy-MM-dd和yyyy-MM-dd HH:mm:ss。只要将日期转为这两种格式hive就能识别为日期。也就是不管to_date、to_char都是将日期格式化为字符串。 unix_timestamp(日期字符串,日期格式) 返回日期 ...
分类：
其他好文 时间：
2020-02-03 19:17:55
阅读次数：
2135
使用sqoop将hive中的统计数据导入到mysql中 思路：首先在hive上创建临时表，然后将统计数据放在临时表中，最后通过sqoop将临时表中的数据导入到mysql中。 例子：将各个官方部门回答的数量都导入到mysql中。 1.在hive中创建capital_temp表 create table ...
分类：
其他好文 时间：
2020-02-03 15:56:29
阅读次数：
286
DataFrame创建方式应该按照数据源进行划分，数据源是：普通的txt文件、json/parquet文件、mysql数据库、hive数据仓库 1、普通txt文件： （1）case class 创建 （2）structType 创建 2、json/parquet文件： 直接读取 3、mysql数据库 ...
分类：
其他好文 时间：
2020-02-03 14:04:07
阅读次数：
93
因为想要通过hive作为数据库来保存爬取后和处理完成的数据，需要添加spark的hive支持，这方面还没编译完，所以今天暂时没有这方面的进度，所以写写SparkSteaming。 数据的价值随着时间的流逝而减少 这也正是MapReduce的使用范围所产生的的极大弊端，没法应对大流量的实时数据，MR这 ...
分类：
其他好文 时间：
2020-02-02 21:59:34
阅读次数：
95
1、《CentOS6.5下安装Hadoop-2.7.3（图解教程）》 https://www.toutiao.com/i6627365258090512909/ 2、《CentOS6.5-Hadoop2.7.3安装hive-2.1.1》 https://www.toutiao.com/i662772 ...
分类：
其他好文 时间：
2020-02-02 14:10:28
阅读次数：
109
Java连接hive简单操作 首先在使用java连接前我们需要在虚拟机上开启hiveserver2（hiveserver2需要安装），hiveserve2的作用是实现hive可以进行并发操作，否则没有办法实现java对hive的操作。 使用命令：hiveserver2即可打开hiveserver2服 ...
分类：
其他好文 时间：
2020-02-02 14:03:22
阅读次数：
84
