以下是spider部分的代码。爬知乎是需要登录的，建议使用cookie就可以了，如果需要爬的数量预计不多，请不要使用过大的线程数量，否则会过快的被封杀，需要等十几个小时账号才能使用，得不偿失。 1 # -*- coding: utf-8 -*- 2 import scrapy 3 from scra... ...
分类：
其他好文 时间：
2017-05-07 10:17:49
阅读次数：
308
服务器大小： 单节点部署，磁盘1T，内存128G 并发导入规模： 1，多线程并发导入csv文件 2，csv文件分1万、10万、100万、200万行记录4种大小 3，每个csv对应一个collection 并发查询规模 1，多线程并发查询不同collection 2，分全表查询和局部查询两种场景 性能 ...
分类：
数据库 时间：
2017-05-05 00:50:55
阅读次数：
451
监控类别 监控指标 监控工具或命令 APP前端 响应时间、吞吐量、TPS、点击率、超时概率、错误概率、页面性能 工具：ddms25、页面工具：YSlow3.1、ChromDevTools(基于Chrome57)综合工具：GT、Emmagee 应用服务器(jvm和配置) JVM、最大线程数、DB连接数... ...
分类：
其他好文 时间：
2017-04-30 12:43:21
阅读次数：
160
将一些需要变动的配置写在属性文件中 比如，没有把一些需要并发执行时使用的线程数设置成可在属性文件中配置。那么你的程序无论在DEV环境中，还是TEST环境中，都可以顺畅无阻地运行，但是一旦部署在PROD上，把它作为多线程程序处理更大的数据集时，就会抛出IOException，原因也许是线上环境并发造成 ...
分类：
编程语言 时间：
2017-04-25 21:30:24
阅读次数：
217
前提：已经配置完成JDK和jemeter，进入jemeter的bin目录下，双击jemeter.bat,启动jemeter . 步骤：1.添加线程组 注意： 线程数--请求数 Ramp-up Period(in seconds) --每个请求之间间隔时间，填0即为同时并发 循环次数--1次即将运行几 ...
分类：
其他好文 时间：
2017-04-21 14:38:26
阅读次数：
602
转载自：http://blog.csdn.net/evankaka 目录(?)[-] 本文主要讲了java中多线程的使用方法、线程同步、线程数据传递、线程状态及相应的一些线程函数用法、概述等。 首先讲一下进程和线程的区别： 进程：每个进程都有独立的代码和数据空间（进程上下文），进程间的切换会有较大的 ...
分类：
编程语言 时间：
2017-04-20 18:41:04
阅读次数：
251
作用 Semaphore（信号量）是用来控制同时访问特定资源的线程数量，它通过协调各个线程，以保证合理的使用公共资源。 简介 Semaphore也是一个线程同步的辅助类，可以维护当前访问自身的线程个数，并提供了同步机制。使用Semaphore可以控制同时访问资源的线程个数，例如，实现一个文件允许的并 ...
分类：
编程语言 时间：
2017-04-18 14:35:03
阅读次数：
225
hello,更新几天的分享，线程数现在才分享，感觉怪怪的，原谅我没有考虑到一个顺序问题哈，那里总结好了，我就发那里，先把组件都写完，再来项目实战，希望大家不要责怪哈，内容有写的不详细的，或者我说错了，请大家回复我下，毕竟不想误人子弟，感谢各位的指点哈，不啰嗦了，上主题, 详解下线程组，当我们说多少多 ...
分类：
编程语言 时间：
2017-04-17 13:57:33
阅读次数：
257
actuator 通过暴露一系列的endpoints可以让开发者快速了解spring boot的各项运行指标，比如：线程数，jvm剩余内存等一系列参数。 启用方法很简单，参考下面： 关键是添加spring-boot-starter-actuator依赖项即可，下表是actuator提供的endpoi ...
分类：
编程语言 时间：
2017-04-15 14:47:10
阅读次数：
335
Semaphore信号量 简介 它本质上是一个共享锁,限制访问公共资源的线程数目,它也被称为计数信号量acquire()许可一个线程, Semaphore – 1; 没有可用的许可时,Semaphore=0 ,线程阻塞release()释放一个线程, Semaphore + 1 示例 控制台输出: ...
分类：
编程语言 时间：
2017-04-14 20:43:58
阅读次数：
200
