Data Source Guide

Data Source Guide

事实来源：93 个内置源由 registry/sources.py 派生；分类口径与主仓 data-sources.md 一致。

不知道 93 个源选哪个？本页用决策树 + 横向对比 + 反模式带你做选择。每个具体源的字段、配置、调用例子见 Sources Index。

---

0. 一图选源（决策树）

flowchart TD
    Start([我要找什么？]) --> A{内容类型}
    A -->|论文 / 学术| Paper
    A -->|专利| Patent
    A -->|网页 / 新闻 / 通用| Web
    A -->|社交 / 评论 / 用户帖| Social
    A -->|视频 / 字幕| Video
    A -->|历史快照| Archive
    A -->|抓正文 / 提结构化| Fetch

    Paper --> P1{是否需要 Key}
    P1 -->|不要 Key| P_Free[arxiv · openalex · crossref · pubmed · dblp · europepmc · doaj]
    P1 -->|愿配 Key| P_Key[semantic_scholar · core · ieee_xplore · zotero]

    Patent --> Pa1{地域 / 偏好}
    Pa1 -->|全球公开| Pa_Free[google_patents 爬虫]
    Pa1 -->|官方 OAuth| Pa_Off[uspto_odp · epo_ops · cnipa]
    Pa1 -->|商业聚合| Pa_Com[the_lens · patsnap]

    Web --> W1{用途}
    W1 -->|快速试用 / 免 Key| W_Free[duckduckgo · bing · brave · startpage]
    W1 -->|高质量 SERP API| W_API[serper · serpapi · brave_api · scrapingdog]
    W1 -->|AI 增强 / 含摘要| W_AI[tavily · exa · perplexity · linkup · zhipuai · aliyun_iqs · metaso]
    W1 -->|自建实例| W_Self[searxng · whoogle · websurfx]

    Social --> S1[reddit 免Key · twitter 必Key · weibo/zhihu 爬虫]
    Video --> V1[youtube 必Key · bilibili 可选 SESSDATA]
    Archive --> Ar1[wayback]

    Fetch --> F1{页面类型}
    F1 -->|静态 HTML / Markdown| F_Free[builtin · jina_reader · readability · newspaper]
    F1 -->|JS 重型 / 反爬| F_JS[crawl4ai 浏览器 · firecrawl · scrapfly · scrapingbee · zenrows · scraperapi · apify · cloudflare]
    F1 -->|学术 PDF| F_Aca[arxiv_fulltext · jina_reader]
    F1 -->|GitHub 仓库说明| F_Wiki[deepwiki]
    F1 -->|历史快照| F_Wb[wayback]

Loading

---

1. 论文：19 源

推荐顺序	推荐场景
openalex + arxiv + crossref	默认起点——三个全免 Key 的全球聚合，覆盖大多数学科
semantic_scholar	加 Key 提速；返回 TLDR 摘要、citation graph
pubmed + europepmc + pmc	生物医学专门库；中英检索都好用
biorxiv	生物医学预印本（含 medRxiv）
dblp	计算机科学权威书目
doaj + hal + openaire + zenodo	OA / 欧盟 / CERN 等开放仓库
core	大规模 OA 聚合，必须 Key
ieee_xplore	IEEE 工程文献，必须 Key
huggingface	HF Papers 社区精选
zotero	个人/团队文献库（私人数据）
iacr	密码学预印本（实验性爬虫）
unpaywall	仅做 DOI → OA 链接查找；不返回 listing

反模式：

• 只用 arxiv 找跨学科论文 — 它仅 STEM 预印本，会漏掉社科/医学。
• 默认就跑 core 而不配 Key — auth_requirement="required"，没 Key 直接被过滤。
• 把 unpaywall 当 search 用 — 它只回答 "这个 DOI 有没有 OA 版本"。

详见 Sources/学术论文。

---

2. 专利：8 源

推荐组合	推荐场景
google_patents	快速浏览——爬虫，免 Key 但高风险（建议 + WARP）
uspto_odp (US) + epo_ops (EU)	官方权威 + 全球结构化；OAuth client_credentials
cnipa (CN)	中国大陆专利；OAuth + 仅大陆 IP 可达——记得关 WARP
the_lens	全球聚合，含科研引用网络
patsnap	商业 API（智慧芽）
patentsview / pqai	已弃用，仅作兼容入口；新项目别选

反模式：

• 把 WARP 出口设到非中国节点后调 cnipa — 直接超时。cnipa 必须关闭 WARP 或使用大陆出口。
• google_patents 不开代理直接打 — 高频会触发 Captcha。配 proxy: warp 或代理池。

详见 Sources/专利。

---

3. 通用网页搜索：29 源

按"用法 vs 是否要 Key"分四类：

类别	源	备注
免 Key 爬虫（默认）	duckduckgo · bing · bing_cn · brave · startpage · mojeek · yandex · yahoo	适合默认+快速
免 Key 高风险	google ⚠️ · baidu ⚠️	必须 + WARP/代理
官方 SERP API（要 Key）	serper · serpapi · brave_api · scrapingdog · firecrawl	稳定无风控
AI 增强 / 含摘要	tavily · exa · perplexity · linkup · xcrawl · metaso · zhipuai · aliyun_iqs	适合 RAG 场景
图/视频/新闻	duckduckgo_images · duckduckgo_videos · duckduckgo_news	专用 capability
自建实例	searxng · whoogle · websurfx	必须 <source>_url

决策建议

场景	推荐
项目 demo / 个人用	默认源 duckduckgo,bing 就够
RAG / Agent 中文场景	tavily + aliyun_iqs + zhipuai（含 AI 摘要）
RAG / Agent 英文场景	tavily + exa + perplexity
需要 Google SERP	serper 或 serpapi（千次 $1-2）
隐私 / 自托管	searxng（搭一个实例 → 设 searxng_url）
大量并发抓取	firecrawl / xcrawl（聚合搜索 + 抓取一站式）

反模式：

• google / baidu 不挂 WARP/代理就高频跑 — IP 几乎必被风控。
• searxng 只填了 base_url 但实例本身没接入足够 engines — SouWen 拿到的是空结果。
• 用 tavily 做"全网爬取"——它的 search_depth=advanced 会消耗很多额度。

详见 Sources/通用网页搜索。

---

4. 内容抓取（fetch）：21 源

按"页面类型 vs 是否要 Key vs 价格"选：

选谁	何时选	价格档
builtin	默认起点；纯 HTML 页面	免费
readability	文章/博客的主体提取（Mozilla 算法）	免费
newspaper	新闻类页面（带作者/日期/关键词）	免费
jina_reader	任何 URL → Markdown，效果好；可选 Key 提速	免费
arxiv_fulltext	论文 PDF → Markdown（PyMuPDF）	免费
wayback	抓历史快照	免费
deepwiki	GitHub 仓库的 wiki/README	免费
mcp	通过外部 MCP fetch 工具	免费
crawl4ai	JS 重型页面，本地 Playwright	免费但需安装浏览器
site_crawler	多页递归抓取	免费
firecrawl	JS 渲染 + 提取，含搜索能力	$$
tavily	AI 增强抓取，含搜索能力	$$
exa	语义抓取，含 find_similar	$$
xcrawl	国产 SERP+抓取一站式	$$
scrapfly	JS + AI 提取 + 反爬绕过	$$$
scrapingbee	代理池 + JS + 反爬	$$$
zenrows	代理池 + JS + 自动解析	$$$
scraperapi	大规模代理池 + JS	$$$
apify	平台化 Actor 爬虫	$$$
cloudflare	Cloudflare Browser Rendering	$
diffbot	结构化文章/学术内容提取	$$$

决策建议

场景	推荐
普通 RSS/博客	builtin 或 readability
新闻文章	newspaper（带元数据）
AI Agent 通吃	jina_reader（统一 Markdown）
arXiv 论文全文	arxiv_fulltext
Cloudflare-protected 页面	cloudflare 或 scrapfly/scrapingbee
大规模批量	firecrawl / scraperapi / zenrows
JS 渲染（图表/SPA）	crawl4ai 或 firecrawl
私有 MCP 工具链	mcp provider + 配 mcp_server_url

反模式：

• 抓什么都默认 firecrawl — 比 builtin 贵 100 倍，且简单页面差距并不大。
• 高频抓 wayback — Internet Archive 全局速率约 15 次/分钟，会限流。
• 用 crawl4ai 但没装 Playwright Chromium — pip install souwen[crawl4ai] && playwright install chromium。

详见 Sources/内容抓取。

---

5. 中文技术 / 社交 / 视频 / 开发者

类别	源	关键提示
中文技术	csdn · juejin · v2ex · linuxdo · nodeseek · coolapk · community_cn · hostloc · xiaohongshu	几乎全是 scraper；可选 + WARP
社交	reddit(免 Key) · twitter(必 Bearer Token) · facebook(必 App Secret) · weibo(scraper) · zhihu(scraper)	高频均需代理
视频	youtube(必 API Key) · bilibili(可选 SESSDATA)	YouTube 配额 10K/日；Bilibili 没 SESSDATA 也能搜，但部分高画质需要
开发者	github(可选 Token) · stackoverflow(可选 Key)	不配 Token 限流明显

详见 Sources/中文技术 · Sources/社交 · Sources/视频 · Sources/开发者。

---

6. 选源决策清单（自检）

写完一段调用代码前，过一遍：

• 这个 capability 我用对了吗？（不是所有源都支持 search_news/get_transcript）
• auth_requirement 是 required 时，Key 配了吗？（缺则源根本不会出现在 /api/v1/sources）
• auth_requirement 是 self_hosted 时，URL 配了吗？（同上）
• risk_level=high 时，配了 proxy: warp 或代理池吗？
• 高风险源是否进了默认源集？应当 default_for=frozenset()，不进默认。
• stability=deprecated 的源（如 patentsview/pqai）能换掉吗？
• 调用频率是否超过该源的实际限流？（参见各单源页 usage_note）
• 跨域能力（如 tavily.fetch）和主域 search 是否会重复计费？

---

7. 接下来

• Sources Index — 全部 93 源一览
• Config API Keys — 怎么把 Key 装进去
• Network and WARP — 高风险源的代理策略
• Self Hosted Sources — 搭你自己的 SearXNG/Whoogle/Websurfx