企业官网建设流程全解析

爬虫太慢被老板骂？从单线程到异步并发，效率提升 10 倍

搞爬虫时, 让人倍感痛苦的并非是反爬情况, 而是速度迟缓。 存在着这样一个单线程的爬虫, 对于 1000 个页面, 它会逐个去发起请求, 并且每个页面请求都要等待 0.5 秒 , 结果跑完这些页面请求竟然需要 8 分多钟。老板就在旁边看着那不断转动的圈圈, 这种情况下, 你难道能够不慌张吗?

今日分享一套实战层面的提速方案, 该方案涵盖从线程池直至异步并发, 全部均为可有效运行的代码, 能够助力你将爬虫速度提升至超过 10 倍的程度, 并最终实现显著提速的效果。

第一步：先别急着优化，把日志打全

任何优化都建立在可观测性上。先加两个东西：

import logging, time logging.basicConfig(level=logging.INFO, format="%(asctime)s %(message)s") def fetch(url): logging.info(f"start {url}") time.sleep(0.5) # 模拟网络请求 logging.info(f"done {url}") return url

这样一来, 你能够清晰地看到, 瓶颈究竟是处于网络等待的状况, 还是存在于解析处理的环节。百分之八十的爬虫瓶颈皆是前者, 也就是 IO 等待, 如此便产生了优化的空间。

第二步：线程池，一行代码提速 5 倍

针对于IO密集任务而言, 运用多线程便能够获取到红利（GIL仅仅锁定CPU计算, 却不锁定IO等待）, 并且, 此情况是这样的。

from concurrent.futures import ThreadPoolExecutor urls = [f"https://example.com/page/{i}" for i in range(100)] with ThreadPoolExecutor(max_workers=10) as pool: results = list(pool.map(fetch, urls)) # 10 个线程并发，耗时缩到 1/10

留意, 切莫无休止地开启线程, 10至20个足矣。一旦线程数量超出那个临界数值, 切换所产生的开销反倒会降低速度。

第三步：异步并发，终极提速方案

要是线程池的速度仍未达到足够快的程度, 那就去采用异步方式。在单线程的范畴之内, 对成千上万个协程进行调度, 并且具备零线程切换所产生的开销。

import asyncio, aiohttp async def fetch(session, url): async with session.get(url) as resp: return await resp.text() async def main(): async with aiohttp.ClientSession() as session: tasks = [fetch(session, u) for u in urls] results = await asyncio.gather(*tasks) # 全部并发，耗时 = 最慢的一个 asyncio.run(main())

关键在于这样一句话: 运用 / 去将任务进行打包实现并发操作, 并非是在循环之中逐个地进行 await 操作。

第四步：断点续爬 + 去重，避免重复劳动

崩掉的爬虫重新运行, 要把所有内容全部再次进行爬取一遍吗? 那无疑是一场灾难。去维护一个已经爬取过的集合, 在秒级的时间内实现去重:

import redis seen = redis.Redis().sismember # 已爬 URL 存 Set for url in urls: if seen("crawled", url): continue # 爬过的直接跳过 html = fetch(url) redis.Redis().sadd("crawled", url)

配上断点机制，1 万条数据爬一半崩溃，恢复后只补后半段。

第五步：被 429 封 IP？指数退避重试

当并发速度过快时, 极易遭到限流对待。重试并非一味地死等, 而是采用指数退避策略: 一旦失败, 便等待1秒, 接着等待2秒, 随后等待4秒, 再之后等待8秒, 依此类推, 直至成功, 以此给予服务器喘息的时间。

import backoff @backoff.on_exception( backoff.expo, aiohttp.ClientError, max_tries=5, factor=1,) async def fetch_with_retry(session, url): async with session.get(url) as resp: resp.raise_for_status() return await resp.text()

避坑清单（血的教训）

包含断点续爬, 以及分布式爬虫, 还有IP代理池, 以及验证码对抗全流程的教程, 是完整实战教程。

站内存在基础教程, 有异步Web开发教程, 有数据采集教程, 有计算机视觉教程, 有NLP教程, 有大模型RAG全套免费教程, 依照这些去学习不会迷失方向。