老板突然丢来一个紧急需求，要求两小时内抓取某竞品网站的几万条突发活动数据。这种时候，没时间搞什么微服务、分布式架构，你需要的是拔剑就战、即插即用的代码片段。
这就是一份专为“突发性数据需求”准备的 Go Colly 极客速查表 (Cheat Sheet)。废话不多说，直接上配置项和核心代码，复制、修改、运行，三步搞定防风控与数据抓取。
Go Colly 极客速查表：突发需求下的高并发伪装
核心痛点：突发需求往往伴随着高频次访问，最容易触发目标网站的单 IP 限频和无头浏览器检测。
速查方案：RoundRobinProxySwitcher (代理池轮询) + OnRequest 中间件 (动态UA/Cookie)。
1. 核心组件速览与限速配置
不要因为急就裸奔并发，必要的限速是保证成功率的前提。
c := colly.NewCollector(colly.Async(true)) // 开启异步提速
c.Limit(&colly.LimitRule{
DomainGlob: "*",
Parallelism: 5, // 突发需求可适当调高并发
RandomDelay: 1 * time.Second, // 强制随机延迟防Ban
})
2. 中间件注入公式：动态 UA 与 Cookie
在 OnRequest 拦截器中伪装身份。不要依赖全局变量，针对每次请求动态组装 Header 最稳妥。
c.OnRequest(func(r *colly.Request) {
// 注入 User-Agent
r.Headers.Set("User-Agent", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36")
// 注入 Cookie (绕过登录墙或人机验证)
r.Headers.Set("Cookie", "session_id=URGENT_TASK_MOCK_SESSION; csrf_token=123456")
})
3. 代理配置速查：无缝对接爬虫代理
突发需求直接买现成的爬虫代理。Colly 原生支持代理配置。
// 亿牛云爬虫代理格式：http://用户名:密码@域名:端口
proxies := []string{
"http://16YUN_USER:16YUN_PASSWD@proxy.16yun.cn:8100",
"http://16YUN_USER:16YUN_PASSWD@proxy.16yun.cn:8101",
}
proxySwitcher, _ := proxy.RoundRobinProxySwitcher(proxies...)
c.SetProxyFunc(proxySwitcher)
组合完整代码 (开箱即用)
将上面的片段组合，你就得到了一个具备IP动态切换、会话保持、身份伪装的高可用爬虫脚本。保存为 main.go，修改代理账号即可发车。
package main
import (
"fmt"
"log"
"time"
"github.com/gocolly/colly/v2"
"github.com/gocolly/colly/v2/proxy"
)
func main() {
fmt.Println("[Init] 突发任务启动，初始化 Colly...")
// 1. 初始化并配置并发规则
c := colly.NewCollector(colly.Async(true))
c.Limit(&colly.LimitRule{
DomainGlob: "*",
Parallelism: 3,
RandomDelay: 1 * time.Second,
})
// 2. 配置代理池 (请替换为实际的账号密码)
proxyURLs := []string{
"http://16YUN_USER:16YUN_PASSWD@proxy.16yun.cn:8100",
"http://16YUN_USER:16YUN_PASSWD@proxy.16yun.cn:8101",
"http://16YUN_USER:16YUN_PASSWD@proxy.16yun.cn:8102",
}
proxySwitcher, err := proxy.RoundRobinProxySwitcher(proxyURLs...)
if err != nil {
log.Fatal("[Error] 代理池组装失败:", err)
}
c.SetProxyFunc(proxySwitcher) // 注入代理切换器
// 3. 注册中间件：请求前伪装
c.OnRequest(func(r *colly.Request) {
// 设置 User-Agent
r.Headers.Set("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36")
// 设置 Cookie
r.Headers.Set("Cookie", "urgency_level=high; auth_token=mock_token_999")
// 补充通用 Header 降低特征
r.Headers.Set("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8")
fmt.Printf("[Fetch] 正在抓取: %s\n", r.URL.String())
})
// 4. 注册中间件：响应处理
c.OnResponse(func(w *colly.Response) {
fmt.Printf("[Success] 状态: %d | 长度: %d 字节 | 来源: %s\n",
w.StatusCode, len(w.Body), w.Request.URL.String())
// TODO: 在这里写入你的快速解析逻辑 (例如 gjson 解析或 goquery 提取)
})
// 5. 错误降级处理
c.OnError(func(r *colly.Response, err error) {
fmt.Printf("[Failed] 抓取失败: %s | 报错: %v\n", r.Request.URL.String(), err)
})
// 6. 灌入突发任务目标 URL
targetURLs := []string{
"http://httpbin.org/ip", // 测试代理IP是否生效
"http://httpbin.org/headers", // 测试UA和Cookie是否生效
"http://httpbin.org/get",
}
for _, url := range targetURLs {
c.Visit(url)
}
// 7. 阻塞主协程，等待所有异步任务完成
c.Wait()
fmt.Println("[Done] 突发数据抓取任务完成！")
}
极客提示：在突发应急排障时，将此模板存入你的 Snippet 库（如 VSCode Snippets）。下次遇到需求，直接敲出前缀触发模板，填入 URL 和爬虫代理账密，5 分钟内即可开始跑数据。
