功能介绍：黑猫关键词URL采集工具 Pro v2.0 批量关键词自动搜索采集 支持过滤域名 导出域名 导入关键词编码自动识别 自动保存功能 导出采集内容多样话,支持txt,支持xls可以直接用Excel打开 客服qq:944520563 diy定制/商业合作,联系 qq:944520563 // 2 ...
分类：
Web程序 时间：
2020-05-22 09:31:09
阅读次数：
286
背景 早在2013年1月，ORC(Optimized Row Columnar)出现，作为大规模加速Apache Hive和提高存储在Apache Hadoop中的数据的存储效率的计划的一部分。重点是为了提升处理速度和减小文件占用磁盘大小。 目前有很多公司已经大规模使用ORC了，比如Facebook ...
分类：
其他好文 时间：
2020-05-21 16:21:16
阅读次数：
76
报错： Exception in thread "main" java.lang.RuntimeException: java.net.SocketException: Call From bigdata/192.168.0.108 to bigdata:9000 failed on socket ...
分类：
其他好文 时间：
2020-05-20 18:38:55
阅读次数：
98
Hive 实现这个用到了窗口函数，以及子查询，写出来也不容易，如下 SELECT * FROM ( SELECT g, ROW_NUMBER() OVER(PARTITION BY g ORDER BY x) group_id RN FROM A ) WHERE group_id <= 3 ORDE ...
分类：
其他好文 时间：
2020-05-19 23:03:04
阅读次数：
93
前言 用了这么久的Hive，而没有认真的学习和使用过Hive的分区，现在学习记录一下。 分区表一般在数据量比较大，且有明确的分区字段时使用，这样用分区字段作为查询条件查询效率会比较高。 Hive分区分为静态分区和动态分区 1、建表语句 先用一个有分区字段的分区表进行学习，静态分区和动态分区的建表语句 ...
分类：
其他好文 时间：
2020-05-19 22:46:55
阅读次数：
50
之前Excel导入一直失败，今天终于找到原因了。原来我的CSV文件保存的编码不是UTF-8的，所以解析时中文注释和中文内容都变乱码，导致失败。CSV文件重新存成UTF-8格式即可导入成功。另外：1. 上传的文件格式必需是标准的Excel文件(.xls, .xlsx)或csv文件(UTF-8编码)，我 ...
分类：
其他好文 时间：
2020-05-19 18:20:39
阅读次数：
272
1. UDF 2.UDAF 3.UDTF hive是一个计算引擎. mapreduce 慢，吞吐量达. hive有点像一个hadoop的客户端,他不是分布式的. ...
分类：
其他好文 时间：
2020-05-19 10:43:18
阅读次数：
40
Hive产生背景： mapreduce编程的不便性 HDFS上的文件缺少Schema Hive Facebook开源的，最初用于海量结构化的日志数据统计问题 构建在hadoop之上的数据仓库 hive定义了一种类SQL查询语言：HQL（类似SQL但不完全相同） 通常用于离线数据处理（采用mapred ...
分类：
其他好文 时间：
2020-05-18 16:01:16
阅读次数：
183
朱雀的部分题目 : https://github.com/peri0d/wangding_zhuque 九宫格 附件给了一堆图片，扫描之后得到的结果都是zero或者one，写个脚本获取识别之后的二进制串，然后每8位可以读取为一个ascii字符 这个脚本运行的有点慢，快的脚本等大师傅们都发了再发 =. ...
分类：
其他好文 时间：
2020-05-18 15:54:14
阅读次数：
327
一般在公司写项目，写入Excel时会有这样的场景：前台页面上有一个导出按钮，点击后将后台某张表里的数据以Excel的形式导出，导出的Excel文件通过浏览器下载。 基于最新的Apache POI 4.0.1版本来总结一下写入Excel的过程。 代码前准备： 添加4.0.1 poi maven依赖 < ...
分类：
Web程序 时间：
2020-05-18 09:33:08
阅读次数：
63
