限制同一IP在一定时间范围内的请求数量，根据其他因素如请求间隔时间、存在合理的请求顺序等规则进行判断，异步去防御。
要防止爬虫的抓取，需要区分出爬虫和正常用户的行为差异。单次请求无法区分出差异，因为爬虫可以模拟用户行为。通用的做法是统计单个IP在一定时间范围内的请求数量，超过设定数量就认定为爬虫并阻止其访问。
但这种方法并不能完全防止爬虫的抓取。有些爬虫可以使用多台设备和不同的IP地址进行抓取，绕过这个检测。
因此，需要加入其他因素来防止爬虫，比如同一个IP在最近的N个独立页面的请求平均间隔时间，如果都小于1秒则认定不是自然人在请求。另外，可以检查同一个IP在最近的N个请求里是否存在合理的请求顺序，因为爬虫一般按顺序请求链接，而自然人不会这样。
这些规则比较复杂，需要根据业务情况指定，并异步判断以防影响正常请求速度。
本文转自：安吉日报 ■王国梁 我有“旧书情结”，一本书读过几遍之后，便觉得如同老友一般贴心了，彼此间颇为心领神会。闲暇时，抽取书架上的旧书来读，会觉得仿佛故友重逢一般，有把酒言欢的畅快。 有的旧书读过无数次，感觉与书的作者能够穿越时空的限制，进行心灵沟通了。我这样说虽然有些一厢情愿，但确...
国旗是一个国家形象的象征，每一个国家的国旗都具有特定的含义，有着设计者的良苦用心。 喜欢地理的朋友可能会发现，世界上很多国家的国旗都是三色旗，三种不同的颜色将国旗均匀地分为三块，有的是横排，有的是竖排。 一些国家的三色国旗 三色旗中，欧洲国家占了一大半，但是一眼望去，不少国家的三色旗颜色相同，很容...
如今，“女大男小”的“年下恋”正在成为影视剧创作的新聚焦点，而“年下男”，则成为了戳中众多女性观众萌点的新存在。 通俗来讲，“年下恋”就是“姐弟恋”。李银河曾预判，姐弟恋会是未来的一个趋势。 随着现实中“女大男小”的婚姻比例开始持续提升，影视市场也开辟出了“年下恋”这一新赛道。从《南方有乔木》中的#...
这里介绍5种基本的运球技术，球员们要不断练习并熟练掌握。 无论哪一个级别的篮球运动员，要取得成功都有赖于他对篮球的基本技术的掌握和有效的运用。1.控制性运球运球：当你感到既难以传球，又不可能快速向前时，或者你在观察场上形势准备传球或投篮时，应该采用控制性运球。在膝盖到腰部的高度运球，而且要让球紧靠身...
1、断桥残雪，西湖的断桥之名出自唐朝，是西湖的著名景点。2、雷峰塔，位于西湖夕照山上，又名“皇妃塔”。3、苏缇，苏东坡任知府时构筑而成，后人为纪念他命名为苏缇。西湖为我国著名的观赏性淡水湖泊，也是国家重点风景名胜区。对于西湖来说 ，比较出名的就是雷峰塔，从古至今都有关于它的传说，雷峰塔是我国著名的九...
在中共历史上，有这么三个人深入龙潭虎穴，为党为人民做出巨大贡献，也正因为有这三人的努力，党中央才能将损失降到最低，得以保全。就连周总理都感叹：“如果没有这三人在背后的默默付出，中共的历史肯定会被改写！” 光从他们拯救过我党的成员名单就可窥见一斑：周恩来，邓颖超，瞿秋白，邓小平，陈赓等等，这里面绝大...
