1. 创建爬虫项目douban 2. 设置items.py文件，存储要保存的数据类型和字段名称 3. 设置爬虫文件doubanmovies.py coding: utf 8 import scrapy from douban.items import DoubanItem class Doubanm ...
分类：
数据库 时间：
2018-08-01 00:25:22
阅读次数：
246
23:01:17 react脚手架搭建 (个人用的是webstorm,所以分享下webstorm中的创建react脚手架项目的方法) 1.创建新项目(前提是下载nodejs环境) 2.下载好在webstorm中右键自己创建的项目目录,菜单中会出现一个命令行工具,点进去 然后 npm start 开启 ...
分类：
其他好文 时间：
2018-07-31 00:33:41
阅读次数：
140
需求：读取指定目录的数据，并实现单词计数的功能 实现方案： Spout来读取指定目录的数据，作为后续Bolt处理的input 使用一个Bolt把input 的数据，切割分开，我们按照逗号进分割 使用一个Bolt来进行最终的单词次数统计操作并输出 拓扑设计：DataSourceSpout ==>Spi ...
分类：
其他好文 时间：
2018-07-28 20:36:43
阅读次数：
276
最近在拉取Vue项目时总是会出现webstorm内存瞬间爆满，导致webstorm卡死，而且,有时在下载完node_modues后webstorm一直处于updating中，为此在网上找了很多方法结果效果不怎么理想，然后自己就接着捣鼓，终于捣鼓出来了。下面就是方法： 1、打开webstorm,然后依 ...
分类：
Web程序 时间：
2018-07-21 14:40:50
阅读次数：
581
IE浏览器内核：Trident内核，也是俗称的IE内核； Chrome浏览器内核：统称为Chromium内核或Chrome内核，以前是Webkit内核，现在是Blink内核； Firefox浏览器内核：Gecko内核，俗称Firefox内核； Safari浏览器内核：Webkit内核； Opera浏 ...
分类：
其他好文 时间：
2018-07-19 16:03:21
阅读次数：
132
大数据这个词也许几年前你听着还会觉得陌生，但我相信你现在听到hadoop这个词的时候你应该都会觉得“熟悉”！越来越发现身边从事hadoop开发或者是正在学习hadoop的人变多了。作为一个hadoop入门级的新手，你会觉得哪些地方很难呢？运行环境的搭建恐怕就已经足够让新手头疼。如果每一个发行版hadoop都可以做到像大快DKHadoop那样把各种环境搭建集成到一起，一次安装搞定所有，那对于新手来说将是件多么美妙的事情！
分类：
其他好文 时间：
2018-07-17 16:25:56
阅读次数：
213
安装运行环境这样的坑，那些做国产大数据底层开发的，如果不能解决这个问题的话，我觉得不是一个合格的大数据底层开发机构。不过比较幸运的是，三月的时候申请拿到了一个DKHadoop的三节点发行版，大快开源的发行版hadoop。这个国产发行版就把各种常用的组建比如：HDFS，Hbase,Storm,Flume,Kafka，Mahout，Es等集成到了一起，终于不需要绞尽脑汁去折腾底层平台的搭建与配置了，简单的完成安装即可。这对于hadoop初学者来说，可谓是福音了。
分类：
数据库 时间：
2018-07-14 16:39:45
阅读次数：
208
数据注入和流计算： Ignite流式计算允许以可扩展和容错的方式处理连续不中断的数据流。在一个中等规模的集群中，数据注入Ignite的比例会很高，很容易达到每秒百万级的规模。 Ignite可以与主要的流处理技术和框架进行集成，比如Kafka、Camel、Storm或者JMS，他们可以为基于Ignit ...
分类：
其他好文 时间：
2018-07-14 11:47:59
阅读次数：
181
配置zookeeper 下载zookeeper tar包 解压：tar -zxvf zookeeper-3.4.10.tar.gz -C /root/training/ 配置 cd /root/training/zookeeper-3.4.10/conf mv zoo_sample.cfg zoo. ...
分类：
其他好文 时间：
2018-07-14 00:49:30
阅读次数：
264
Hulu是美国领先的互联网专业视频服务平台，目前在美国拥有超过2000万付费用户。Hulu总部位于美国洛杉矶，北京办公室是仅次于总部的第二大研发中心，也是从Hulu成立伊始就具有重要战略地位的分支办公室，独立负责播放器开发，搜索和推荐，广告精准投放，大规模用户数据处理，视频内容基因分析，人脸识别，视 ...
分类：
其他好文 时间：
2018-07-13 13:23:26
阅读次数：
186
