django 防爬虫实现

基本防爬策略


一般的,像 nginx 这种 web 服务器都有防爬虫模块,基于 ip, user_agent 来识别爬虫,从而限制爬虫的爬取频率。但是基于某一个登录用户去做频率限制就有点麻烦了,这种情况下,只能通过下一层程序去防,比如 django 的话,通过中间件结合缓存的方式可以做到一定的频率限制。

Read More