Sources web

Sources / 通用网页搜索

事实来源：主仓 pr-88 @ a312645 的 registry/sources.py。29 个内置 web 源。

按"用法 + 是否要 Key + 价格"分五大类。

---

1. 五类对照（一眼挑源）

A. 免 Key 爬虫（默认推荐起点）

源	备注
duckduckgo	默认源，TLS 指纹敏感（建议 curl_cffi）
bing / bing_cn	默认源，国际版 + 中国版
brave	隐私友好
startpage / mojeek / yandex / yahoo	备选

B. 免 Key 但高风险（必须 + 代理）⚠️

源	风险原因	建议
google	反爬严格	proxy: warp + http_backend: curl_cffi
baidu	Captcha + IP 限制	同上 + 代理池

C. 官方 SERP API（要 Key，稳定无风控）

源	凭据	价格档
serper	serper_api_key	$（千次 ~$1）
serpapi	serpapi_api_key	$$
brave_api	brave_api_key	$
scrapingdog	scrapingdog_api_key	$$
firecrawl	firecrawl_api_key	$$（兼 fetch）

D. AI 增强 / 含摘要（适合 RAG）

源	凭据	特色
tavily	tavily_api_key	AI 增强，免费 1000/月，兼 fetch
exa	exa_api_key	语义搜索 + find_similar，兼 fetch
perplexity	perplexity_api_key	AI 摘要
linkup	linkup_api_key	聚合
xcrawl	xcrawl_api_key	国产 SERP+抓取一站式
metaso	metaso_api_key	秘塔搜索
zhipuai	zhipuai_api_key	智谱 Web Search Pro（中文）
aliyun_iqs	aliyun_iqs_api_key	阿里通义晓搜（中文）

E. 专用 capability

源	capability
duckduckgo_images	search_images
duckduckgo_videos	search_videos
duckduckgo_news	search_news

F. 自建实例

源	必填字段
searxng	searxng_url（推荐用 sources.searxng.base_url）
whoogle	whoogle_url
websurfx	websurfx_url

部署见 Self Hosted Sources。

---

2. 决策建议

场景	推荐
项目 demo / 个人用	默认源 duckduckgo,bing
RAG 中文场景	tavily + aliyun_iqs + zhipuai
RAG 英文场景	tavily + exa + perplexity
需要 Google SERP	serper 或 serpapi
隐私 / 自托管	searxng
大量并发抓取	firecrawl / xcrawl
政企内网	自建 searxng + whoogle

---

3. 反模式

• 不挂代理高频跑 google / baidu：IP 几乎必被风控。
• searxng 只填 base_url 但实例没接入足够 engines：SouWen 拿到的是空结果——SearXNG 自身要先配好 engines。
• tavily search_depth=advanced 做爆量爬取：消耗很多额度，普通搜索用 basic 就行。
• duckduckgo 用 httpx 不切 curl_cffi：TLS 指纹敏感，偶发风控弹窗。

---

4. 调用示例

souwen search web "python asyncio" -n 10
souwen search web "RAG benchmark" -e tavily,exa -n 10
souwen search web "国产大模型" -e zhipuai,aliyun_iqs -n 10
souwen search web "site:reddit.com python" -e google

sources:
  google: { proxy: warp, http_backend: curl_cffi }
  baidu: { proxy: warp, http_backend: curl_cffi }
  duckduckgo: { http_backend: curl_cffi }
  tavily:
    params:
      search_depth: advanced

---

5. 接下来

• Data Source Guide#3-通用网页
• Self Hosted Sources
• Network and WARP