公司最近在研究多条件组合查询方案，Google的一位技术专家Sam和我们讨论了几个备选方案。 Sam的信： 我做了进一步研究，目前有这么几种做法： 1） 最直接粗暴，只做一个主index，比如按行业＋地区做一个index，这样来说的话，无论多少个标签的查询，直接先用主index做一个筛选，这样下来可... ...
分类：
其他好文 时间：
2016-12-06 20:01:27
阅读次数：
449
概述 Accumulator即累加器，与Mapreduce counter的应用场景差不多，都能很好地观察task在运行期间的数据变化，Spark中的Accumulator各task可以对Accumulator值进行累加，但是最终的返回值只能在Driver端获取，同时原生支持Int和Double类型 ...
分类：
其他好文 时间：
2016-12-05 23:17:45
阅读次数：
166
问题1：在DFS Lcation 上不能多文件进行操作： 在Hadoop上的每个节点上修改该文件 conf/mapred-site.xml 增加： <property> <name>dfs.permissions</name> <value>false</value> </property> 关闭权 ...
分类：
其他好文 时间：
2016-12-04 00:07:25
阅读次数：
168
一、原理分析 Mapreduce的处理过程，由于Mapreduce会在Map~reduce中，将重复的Key合并在一起，所以Mapreduce很容易就去除重复的行。Map无须做任何处理，设置Map中写入context的东西为不作任何处理的行，也就是Map中最初处理的value即可，而Reduce同样 ...
分类：
其他好文 时间：
2016-12-03 01:57:37
阅读次数：
319
笔者的集群是 HA 模式的( HDFS 和 ResourceManager HA)。在 ” Hadoop-2.5.0-cdh5.3.2 HA 安装＂ 中详细讲解了关于 HA 模式的搭建，这里就不再赘述。但网上直接将关于 HA 模式下的历史服务器的配置资料却很少。 笔者在思考，如果配置在 mapred ...
分类：
其他好文 时间：
2016-12-01 03:09:55
阅读次数：
266
由客户端提交的HiveQL语句将最终被转换为一个或多个MapReduce任务并提交由Hadoop执行。不包含聚合和连接的简单SELECT语句可以使用一个单独的只包含Map阶段的任务实现。使用GROUP BY子句的聚合可以使用一个独立的MapReduce任务实现。包含大量多表连接的复杂查询需要依靠多个 ...
分类：
其他好文 时间：
2016-11-26 23:19:25
阅读次数：
139
【动手动脑一】 多层的异常捕获-1 阅读以下代码（CatchWho.java），写出程序运行结果： 程序运行结果： 【动手动脑二】 多层的异常捕获-2 写出CatchWho2.java程序运行的结果 程序运行结果： 【动手动脑三】 当有多个嵌套的try…catch…finally时，要特别注意fin ...
分类：
其他好文 时间：
2016-11-26 02:15:31
阅读次数：
248
怎么成为一个优秀的程序员，而不是一个优秀的码农？ 怎么成为一个优秀的程序员，而不是一个优秀的码农？ 9 条评论 分享 9 条评论 分享 分享 分享 分享 默认排序按时间排序 98 个回答 默认排序按时间排序 98 个回答 3844赞同反对，不会显示你的姓名 萧井陌 微信公众号：炼瓜研究所 技术社区 ...
分类：
其他好文 时间：
2016-11-21 20:13:37
阅读次数：
229
1 n-gram模型与auto complete n-gram模型是假设文本中一个词出现的概率只与它前面的N-1个词相关。auto complete的原理就是，根据用户输入的词，将后续出现概率较大的词组显示出来。因此我们可以基于n-gram模型来对用户的输入作预测。 我们的实现方法是：首先用mapr ...
分类：
其他好文 时间：
2016-11-20 06:38:32
阅读次数：
307
