每一份语料,走到了哪一步。
每份语料都走同一条流水线。这一页说清每份走到了哪。
选域
答案只能从原始文件里找到,许可又允许我们拿,这样的领域才做。
取原件
发布方多久更新就多久取一次,它要多大间隔就按多大间隔抓,取完一直跟着更新。
治理入库
去重,拆成能检索的单元:章、条、字段。原件留着,随时能翻回去。
模型读成结构
模型把每篇文档读成字段、摘要和要点。有了结构,过滤才有东西可过,读的人也才能一层一层地取。读懂它有多难,决定它交给哪一档模型。
进索引,对外作答
search 给一叠卡片,read 按 brief → detail → full 一层层深入,ask 直接给带引用的答案。没点名要的那一层,不会整篇拉走。
判断错了会一路传下去的活归它:实体消歧、判决要旨,后面的步骤拿过去就直接用。
量最大的一段在这儿:抽字段、写摘要、做翻译。
便宜又省不掉的活:关键词、分类、名称和单位归整。
| 数据集 | 量级 | 更新 | 状态 | 垂域 | 展开详情 |
|---|---|---|---|---|---|
| 科研6 | |||||
| arXiv 全文 arXiv 全量论文,解析到章节,数据 T+1 同步。 | 300 余万篇 · 全量 | T+1 | 已上线接口上能查到了。 | papers→ | |
| 每篇都让模型过了一遍:一句话 TLDR、关键词,每节一个摘要,还有一份带 token 数的章节地图。 来源 arXiv · 开放获取 | |||||
| AI 研究者 谁在做什么、在哪里受训、发表过什么。 | 近 19 万位研究者 · 17 万份档案 | 每日 | 已上线接口上能查到了。 | talent→ | |
| 每人一份模型调研出来的档案:教育、履历、代表作、开源项目。Google Scholar 的指标实时取,过期了会标出来。 来源 公开主页、Scholar、OpenAlex | |||||
| 客观评价 不看一篇论文被引了多少次,看顶尖学者在自己论文里怎么说它。 | 5,400 余位院士与会士 · 800 余万条引用句 | 持续 | 已上线接口上能查到了。 | appraise→ | |
| 院士自己论文里的引用句都提前抽好了,给个标题、arXiv id 或 DOI 就能撞上,不用再调接口。已解析 526 万条参考文献,500 万句标了类型和立场,学术评价垂域用的就是这批。 来源 arXiv 全文 + 15 份公开 Fellow / 院士名单 | |||||
| NIH 科研项目 谁拿了钱、做什么、给了多少,摘要都在。 | 1985 财年至今 · 四类齐全 | 每月 | 已上线接口上能查到了。 | grants→ | |
| ExPORTER 四类加专利都已到位,本财年的走接口增量。和 NSF、CORDIS 同在 grants 垂域,一共约 130 万个项目。 来源 NIH RePORTER · 公有领域 | |||||
| NSF 科研项目 美国国家科学基金会的每一笔立项。 | 1959 年至今 · 全量 | 每周 | 已上线接口上能查到了。 | grants→ | |
| 原始数据到位,和 NIH 合成一个 grants 垂域进了索引。机构和研究者还没归一到人才库。 来源 NSF Award Search · 公有领域 | |||||
| 欧盟科研项目 第三条经费线,和 NIH、NSF 并列。 | FP5 — 地平线欧洲 | 每月 | 已上线接口上能查到了。 | grants→ | |
| 和 NIH、NSF 同在 grants 垂域(10.7 万个项目,id 前缀 cordis:),金额是欧元。机构还没归一到实体骨架。 来源 CORDIS · 欧盟开放数据 | |||||
| 法律8 | |||||
| 世界法规 跨法域读到条,中文或原文。 | 26 法域 · 150 余万条 | 每季 | 已上线接口上能查到了。 | law→ | |
| 每一条都让模型过一遍:主旨、规范类型、主体、条件、后果、关键数值,交叉引用解析成条 id,另配中英译文。 来源 各国官方公报与立法门户 | |||||
| 中国判决书 裁判文书有上亿篇,我们要的是其中的判决书:判项和说理都在里面。 | 1,700 余万篇判决书 · 刑事 + 民事 | 持续 | 已上线接口上能查到了。 | cases→ | |
| 「裁判文书」是个大口袋,判决、裁定、调解、决定、通知都算,公开出来的有上亿篇。我们只取判决书:刑事 265 万篇已经齐了,民事、行政、执行 1,484 万篇也补灌完。每篇配一份模型写的 brief:案由、争议焦点、事实、情节、说理、判项、引用法条、金额。brief 背后是 3,455 万篇原文(比进索引的判决书多,多出来的还没做 brief),按当事人、诉请、事实、本院认为、判项切成五段。正文默认不给:里面有当事人姓名、出生日期和住址,API 只给解析后的结构层,要读正文得有 cases:fulltext 授权。每个响应都带 coverage。 来源 公开裁判文书 | |||||
| 美国判例 联邦与各州判决,从纸质判例集到上个季度。 | 1,000 余万份判决意见 · 联邦与各州 | 每季 | 已上线接口上能查到了。 | cases→ | |
| 343.8 万份判决意见进了判决垂域,查的时候带 country=us。抽取已经覆盖 1,007 万篇,其余等底层库接进来再放。 来源 CourtListener(已并入 Caselaw Access Project)· 公有领域 | |||||
| 英国判例 许可确认了,也不收费,但没签下来之前一条不取。 | 英格兰与威尔士、最高法院、枢密院 | — | 待许可数据就在那儿,许可没到手之前不碰。 | — | |
| 英国国家档案馆已经确认我们的用途算计算分析,要专项许可,不收费。申请表写好了,还没提交。 来源 Find Case Law · 英国国家档案馆 | |||||
| 美国成文法与联邦规章 联邦与各州成文法,以及并排的联邦规章。 | 240 余万条 · 53 法域 | 每日 | 已上线接口上能查到了。 | us_law→ | |
| 497.8 万条款进了美国成文法垂域,逐条抽取。季度快照换成了 eCFR 官方每日版,92.8 万条标成已废止。汇编按 CC BY 用,已署名。 来源 开放成文法汇编(CC BY)+ eCFR · 官方 | |||||
| 欧盟法 条例、指令和决定。法律垂域里最薄的就是这一块。 | 4 万余份 | 每月 | 原件在手原始文件下好了,也在跟着更新,还没解析。 | — | |
| CELEX 原件到位,只取了正文,没取完整元数据。下一步解析到条。 来源 EUR-Lex / Cellar · 欧盟开放数据 | |||||
| 英国成文法 英国法开放的是成文法这一半,判例不在其中。 | 主法 1.8 万件 · 含附属立法 19 万件 | 每周 | 原件在手原始文件下好了,也在跟着更新,还没解析。 | — | |
| CLML XML 保留了结构和修订注记,按站点要求的间隔抓。Open Government Licence v3,必须署名。 来源 legislation.gov.uk · OGL v3 | |||||
| 美国联邦公报 每一条联邦规章、拟议规章和公告,当天就有。 | 1994 年至今 · 每期齐全 | 每日 | 已上线接口上能查到了。 | fr→ | |
| 100.9 万份进了联邦公报垂域:动作类型、发布机构、受影响对象、生效日期、征求意见截止日期。 来源 Federal Register / govinfo · 公有领域 | |||||
| 生命科学3 | |||||
| 临床试验 每项登记试验:设计、分组、入排标准、结局指标。 | 60 余万项试验 | 每日 | 已上线接口上能查到了。 | trials→ | |
| 60.4 万项全部进了 trials 索引,其中 58.6 万份做了结构化:适应症、干预、结局、入排标准。 来源 ClinicalTrials.gov · 公有领域 | |||||
| 美国药品说明书 一种药获批做什么,必须警示什么。 | 约 16 万份说明书 | 每日 | 已上线接口上能查到了。 | drugs→ | |
| drugs 索引里 25.6 万个版本,按 set_id 归集,逐节可读:适应症、警示、不良反应。 来源 DailyMed · 美国国立医学图书馆 · 公有领域 | |||||
| openFDA 药品标签 同一批说明书,另加召回、短缺、批准和器械申报,而且本来就是 JSON。 | 32 个端点 · 全量镜像 | 每周 | 已上线接口上能查到了。 | drugs→ | |
| 和 DailyMed 交叉校验过,当机器可读的那一份用。不良事件(FAERS、MAUDE)要单独拉,说明书端点每天刷新。 来源 openFDA · 公有领域 | |||||
| 市场7 | |||||
| 美股公司申报 10-K、10-Q、8-K 的提交原件,现在还加上 6-K、DEF 14A、20-F、CORRESP、SC 13G/A。 | 100 余万份 | 每日 | 已上线接口上能查到了。 | filings→ | |
| 39.2 万份 8-K、4.65 万份 10-K/20-F 已经逐项抽取。filings 域分两层作答:向量层 121 万篇,只有 10.5 万份 10-Q 季报只按词面查。财务数字走 XBRL,不交给模型读。 来源 SEC EDGAR · 公有领域 | |||||
| A 股定期报告 中国上市公司年报、半年报与季报。 | 约 19 万份报告 | 每晚 | 已上线接口上能查到了。 | filings→ | |
| 分页漏数的毛病修好后回填完成,补回 16,133 份。6.3 万份精炼成了和美股申报一样的分节结构。 来源 巨潮资讯 · 法定披露平台 | |||||
| A 股临时公告 两次定期报告之间发生的事,都在这儿。 | 约 9.5 万份 | 每晚 | 已上线接口上能查到了。 | filings→ | |
| 其中 50.7 万份在 filings 垂域背后的全量库里,按词面检索,命中会标 layer=pg,coverage 会说明多少篇有向量。 来源 巨潮资讯 · 法定披露平台 | |||||
| 美股财务数字(XBRL) 财务数字本身,每个数字都带它出自哪份申报。 | companyfacts 全量 | 每日 | 原件在手原始文件下好了,也在跟着更新,还没解析。 | — | |
| 美股财务数字的权威出处。财务报表不让模型去读。 来源 SEC · 公有领域 | |||||
| 证监会处罚 证监会处罚了谁,因为什么。 | 2,000 余份处罚与禁入 | 每日 | 已上线接口上能查到了。 | filings→ | |
| 处罚决定全文都抽了:当事人、行为、法律依据、处罚结果,已进 filings 索引。 来源 中国证监会 · 官方 | |||||
| 交易所问询函 交易所问了上市公司什么,公司怎么答的。 | 约 1.8 万封 | 每日 | 已上线接口上能查到了。 | filings→ | |
| 1.04 万封问询函连同回复已抽取,进了 filings 索引。包括深交所的问询函、关注函和处分,以及上交所的问询函。 来源 深交所、上交所 · 官方 | |||||
| 美国联邦支出 每一笔联邦拨款和合同。这是资金流水,不是项目摘要。 | 2021 财年至今 · 拨款与合同 | 每周 | 原件在手原始文件下好了,也在跟着更新,还没解析。 | — | |
| 它喂的是实体骨架(机构 → 联邦资金),补 NIH、NSF 的位,不替代它们的摘要。 来源 USAspending.gov · 公有领域 | |||||
| 安全2 | |||||
| 漏洞 每一个公开漏洞,以及哪些已知被利用。 | NVD + CVE V5 + KEV + EPSS | 每日 | 已上线接口上能查到了。 | cve→ | |
| 38.4 万条进了漏洞垂域,带 CISA 的在野利用标记和 EPSS 利用概率,可以按它排序。展示 NVD 数据要带 not-endorsed 声明。 来源 NVD · CVE Program · CISA KEV · FIRST EPSS | |||||
| 软件包公告 同一批漏洞,从软件包这一侧看。 | 全生态 | 每日 | 原件在手原始文件下好了,也在跟着更新,还没解析。 | — | |
| 原始公告到位,按 CVE id 和漏洞记录对齐。 来源 OSV.dev · 开放 | |||||
| 标准1 | |||||
| 中国国家标准 该用哪部国标,以及它的正文是否公开。 | 近 8 万条标准 · 仅目录 | 每周 | 已上线接口上能查到了。 | standards→ | |
| 只有目录元数据:编号、标题、状态(推荐 72,083、强制 6,201、指导 1,027)、是否采标、正文在哪。7.9 万条全部进了 standards 索引。标准正文不在我们手上,也不会转载。 来源 国家标准信息公共服务平台 | |||||
| 参考1 | |||||
| 实体骨架 三张受控词表,名字不用再模糊匹配,能直接 join。 | ROR · GLEIF · MeSH | 每日 | 已上线接口上能查到了。 | entities→ | |
| 458 万家机构、552 万条别名在 /v1/entities 上,530 万条关联覆盖 266 万篇文档,把文档接回申报、承办、受资助或持证的那家机构。其中 109 万条靠 id 直挂,113 万条名称唯一匹配,308 万条是模型判定的,如实标出。 来源 ROR CC0 · GLEIF CC0 · MeSH 公有领域 | |||||
| 你的1 | |||||
| 带上你的数据 把语料交给我们,拿回一个垂域。 | 你的语料 | — | 开放这一行不是我们的,是你的。聊一下,它就能变成一个垂域。 | 联系我们→ | |
| 这里每份数据集走的那条流水线,解析、分节、精炼、交叉关联,原样跑在你的文档上,只认你的 key。 来源 公开贡献或私有合作 | |||||
清单更新于 2026-10-10