【标签：爬虫】 - 第1页 - 开发者知识库

1 爬虫不知道什么原因停顿很长时间

2014年06月09 - 我用httpclient爬取页面，我有设置爬取频率，最长时间是休息10分钟，但是爬取的过程中有出现几个小时的停顿，然后继续运行，我用的是httpclient4.3.1版本，有设置setSocketTimeout(2000)，.setConnectTimeout(2000)，不知道是什么原因出现这么长

2 MySQL SQL优化：SQL爬虫翻页优化

2014年04月05 - 赶着这几天有些时间，把前段时间优化的几条SQL经验分享并总结下，以飨来者。第一个要分享的是对MyISAM优化limit分页。背景来自公司某个业务系统提供给爬虫抓取数据。基础信息：MySQL版本是5.1，引擎

3 [转帖] 撒旦之怒

2004年01月07 - 沾染着灰烬和鲜血。他失去了牙齿，失去了眉毛，他的眼睛眼睛因为仇恨而充满着硫磺的色泽，他的皮肤因为疼痛在瞬间滋生了大量的爬虫。他被那些阴谋家打入了地层之中。在苏醒的那一时刻，他开始向大地祈祷，让大地给他力量，让自己成为黑夜的一部分。一瞬间他的头颅上长出了巨大的角，他的面目开始狰狞

4 初识Scrapy框架（二）——自己实现一个简单爬虫

2018年04月11 - 其进行了爬虫。其中，自己在开始前，看了 https://blog.csdn.net/zjiang1994/article/details/52779537 并且成功爬取慕课网的栏目信息现在我要自己熟悉Scrapy，我的目的：爬取在http://ss.zhizhen.com中搜索名为李

5 Java爬虫爬取360doc个人图书馆

2016年11月14 - 然后我就用Jsoup把想要的爬下来了。 Document doc = Jsoup.connect("http://www.360doc.com/content/13/1210/01/1956846_335862874.shtml") .data("query","Java").

6 爬虫Scrapy框架项目运行时报错！求解决！

2018年03月26 - , 3, 26, 6, 50, 23, 644724)} 2018-03-26 14:50:35 [scrapy.core.engine] INFO: Spider closed (finished) 爬虫小白新入门开始学Scrapy框架，这个我是爬取传智播客的官网信息的案例但执行程序报出

7 2017.07.18 Python爬虫实战之Python基础3

2017年07月18 - 1.字典：字典和列表也很类似，字典使用的是{}，列表使用的是[]，元素分隔符都是逗号；（1）所不同的是：列表的索引只是从0开始的有序整数，不可重复，而字典的索引实际上是在字典中叫做键（2）虽然字典中的键和列表中的索引一样是不可重复的，但键是无序的，也就是字典中的元素是没有顺序而言的（3）字典的键可以

8 python : selenium 网页爬虫读取列表文件

2018年04月22 - selenium 网页爬虫读取基金代码列表文件 flist.txt 先输入日期查询，再抓取天天基金网上的基金净值 fund3.py # -*- coding: utf-8 -*- import os, sys from selenium import webdriver

9 小猪佩奇社会人专用服务器，有意思的python小程序，附python代码

2018年05月23 - 最近社会人小猪佩奇挺热门的，大家都在说社会人，那么我们作为IT人，怎么让我们的服务器也蹭一下社会人的热点的？下面来给大家说说。先来个效果图：小猪佩奇社会人专用服务器哈哈，这样是不是挺有意思的？工作已经很无聊了，如果再不找点乐趣，那还怎么干活？说说怎么实现的吧，其实

10 scrapy爬虫框架学习入门教程及实例

2016年06月05 - Scrapy是一个基于Twisted，纯Python实现的爬虫框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便～Scrapy 使用 Twisted这个异步网络库来处理网络通讯，架构清晰，并且包含了各种中间件接口，可以灵活的完成各种需求。整体架构

分类标签

≈1万全部 664 图片 602 使用 345 正则表达式 535 python3 849 java 342 笔记 690 网页 2070 python爬虫 369 下载 645 实现 719 简单 1399 网络爬虫 6863 python 1531 网络 635 信息 429 网站 512 入门 1245 scrapy 515 url 386 获取 ≈1万爬虫 581 学习 442 实战 1020 数据 517 框架