限制同一IP在一定时间范围内的请求数量，根据其他因素如请求间隔时间、存在合理的请求顺序等规则进行判断，异步去防御。
要防止爬虫的抓取，需要区分出爬虫和正常用户的行为差异。单次请求无法区分出差异，因为爬虫可以模拟用户行为。通用的做法是统计单个IP在一定时间范围内的请求数量，超过设定数量就认定为爬虫并阻止其访问。
但这种方法并不能完全防止爬虫的抓取。有些爬虫可以使用多台设备和不同的IP地址进行抓取，绕过这个检测。
因此，需要加入其他因素来防止爬虫，比如同一个IP在最近的N个独立页面的请求平均间隔时间，如果都小于1秒则认定不是自然人在请求。另外，可以检查同一个IP在最近的N个请求里是否存在合理的请求顺序，因为爬虫一般按顺序请求链接，而自然人不会这样。
这些规则比较复杂，需要根据业务情况指定，并异步判断以防影响正常请求速度。
我的表弟正好在00年千禧年出生，长期与他混迹在一起的我比他年长不了几岁，但是各自的爱好却不尽相同。 90后的我偏爱冒险热血动漫，他却更爱特摄类；我爱吃辣条他却只吃薯片；就连放假时他更爱约着同学玩儿游戏看电影，而我则更爱逛书店。 在网络游戏上也是如此，2008年，还是初中的我开始沉迷各种网页游戏，而...
作者：青岩 来源：智谷趋势（ID：zgtrend） 这是一个再次确认大中国的仪式，不要把它看得过于日常。 2018年9月23日上午6点44分，深圳北站前往香港西九龙站的G5711次高铁列车正点发车，标志着广深港高铁全线投入运营。 在中国已经建成通车超过2万公里的高铁线路中，26公里或是一个微不足道...
英语里面 有很多我们常见 但却很容易误解的单词 例如： 你知道Lover的意思 到底是“情人”还是“爱人”? Busybody的意思 也不是“大忙人” 那是什么意思呢? 一起学习一下吧。 Lover是“情人”还是“爱人”? 我们先来看一下英英解释：Someone's lover is the pe...
正宗北方人（河北人），没感受过东北的冷，也没体会过南方的热。 这是一篇简单描述北方气候的小文。 2月底到3月，气温回暖，晚上会冷一些，但是中午会感觉到热。 春天的北方，多风，而且吹得比较猛烈，吹的人脸发干。春天的风，带着一点没有褪去的冬天的冷，卷着一圈一圈尘土砂砾，那酸爽。 本来想好了，今天不洗头...
大家好，这里是宅胖看书，今天给大家介绍的是魔兽类网游小说，现在不知道还有多少人在玩魔兽这款游戏了，妥妥的尘封在脑海的回忆。本篇偏网游和竞技，适合曾经的玩家和粉丝阅读，不喜勿入。废话不多说，下面进入说书环节。（PS:魔兽同人系列是一个规模庞大的工程，感兴趣的可以关注宅胖，之后陆续更新） 第一本《魔兽英...
佛说：静水流深，智者无言。 静水深流，是指水处于风平浪静的状态，但水底却有暗流涌动。越深的水流，越安静，但涌动的力量越大。只有那些小溪流，才浮躁不安，水流很急，但很浅，一眼就可以看到底。 智者无言，是指一个聪明的人，显得比较沉默，凡事少说多做，实在要说话，也是三思而言，不会口无遮拦。明白的事情，点到...
