数据

每一份语料,走到了哪一步。

每份语料都走同一条流水线。这一页说清每份走到了哪。

一份语料怎么到这里
01

选域

答案只能从原始文件里找到,许可又允许我们拿,这样的领域才做。

02

取原件

发布方多久更新就多久取一次,它要多大间隔就按多大间隔抓,取完一直跟着更新。

03

治理入库

去重,拆成能检索的单元:章、条、字段。原件留着,随时能翻回去。

04

模型读成结构

模型把每篇文档读成字段、摘要和要点。有了结构,过滤才有东西可过,读的人也才能一层一层地取。读懂它有多难,决定它交给哪一档模型。

05

进索引,对外作答

search 给一叠卡片,read 按 brief → detail → full 一层层深入,ask 直接给带引用的答案。没点名要的那一层,不会整篇拉走。

04 · 抽取这件事,分三档派活
旗舰700B 以上

判断错了会一路传下去的活归它:实体消歧、判决要旨,后面的步骤拿过去就直接用。

主力百 B 级

量最大的一段在这儿:抽字段、写摘要、做翻译。

轻骑数十 B 级

便宜又省不掉的活:关键词、分类、名称和单位归整。

数据集 量级 更新 状态 垂域 展开详情
科研6

每篇都让模型过了一遍:一句话 TLDR、关键词,每节一个摘要,还有一份带 token 数的章节地图。

来源 arXiv · 开放获取

每人一份模型调研出来的档案:教育、履历、代表作、开源项目。Google Scholar 的指标实时取,过期了会标出来。

来源 公开主页、Scholar、OpenAlex

院士自己论文里的引用句都提前抽好了,给个标题、arXiv id 或 DOI 就能撞上,不用再调接口。已解析 526 万条参考文献,500 万句标了类型和立场,学术评价垂域用的就是这批。

来源 arXiv 全文 + 15 份公开 Fellow / 院士名单

ExPORTER 四类加专利都已到位,本财年的走接口增量。和 NSF、CORDIS 同在 grants 垂域,一共约 130 万个项目。

来源 NIH RePORTER · 公有领域

原始数据到位,和 NIH 合成一个 grants 垂域进了索引。机构和研究者还没归一到人才库。

来源 NSF Award Search · 公有领域

和 NIH、NSF 同在 grants 垂域(10.7 万个项目,id 前缀 cordis:),金额是欧元。机构还没归一到实体骨架。

来源 CORDIS · 欧盟开放数据

法律8

每一条都让模型过一遍:主旨、规范类型、主体、条件、后果、关键数值,交叉引用解析成条 id,另配中英译文。

来源 各国官方公报与立法门户

「裁判文书」是个大口袋,判决、裁定、调解、决定、通知都算,公开出来的有上亿篇。我们只取判决书:刑事 265 万篇已经齐了,民事、行政、执行 1,484 万篇也补灌完。每篇配一份模型写的 brief:案由、争议焦点、事实、情节、说理、判项、引用法条、金额。brief 背后是 3,455 万篇原文(比进索引的判决书多,多出来的还没做 brief),按当事人、诉请、事实、本院认为、判项切成五段。正文默认不给:里面有当事人姓名、出生日期和住址,API 只给解析后的结构层,要读正文得有 cases:fulltext 授权。每个响应都带 coverage。

来源 公开裁判文书

343.8 万份判决意见进了判决垂域,查的时候带 country=us。抽取已经覆盖 1,007 万篇,其余等底层库接进来再放。

来源 CourtListener(已并入 Caselaw Access Project)· 公有领域

英国国家档案馆已经确认我们的用途算计算分析,要专项许可,不收费。申请表写好了,还没提交。

来源 Find Case Law · 英国国家档案馆

497.8 万条款进了美国成文法垂域,逐条抽取。季度快照换成了 eCFR 官方每日版,92.8 万条标成已废止。汇编按 CC BY 用,已署名。

来源 开放成文法汇编(CC BY)+ eCFR · 官方

CELEX 原件到位,只取了正文,没取完整元数据。下一步解析到条。

来源 EUR-Lex / Cellar · 欧盟开放数据

CLML XML 保留了结构和修订注记,按站点要求的间隔抓。Open Government Licence v3,必须署名。

来源 legislation.gov.uk · OGL v3

100.9 万份进了联邦公报垂域:动作类型、发布机构、受影响对象、生效日期、征求意见截止日期。

来源 Federal Register / govinfo · 公有领域

生命科学3

60.4 万项全部进了 trials 索引,其中 58.6 万份做了结构化:适应症、干预、结局、入排标准。

来源 ClinicalTrials.gov · 公有领域

drugs 索引里 25.6 万个版本,按 set_id 归集,逐节可读:适应症、警示、不良反应。

来源 DailyMed · 美国国立医学图书馆 · 公有领域

和 DailyMed 交叉校验过,当机器可读的那一份用。不良事件(FAERS、MAUDE)要单独拉,说明书端点每天刷新。

来源 openFDA · 公有领域

市场7

39.2 万份 8-K、4.65 万份 10-K/20-F 已经逐项抽取。filings 域分两层作答:向量层 121 万篇,只有 10.5 万份 10-Q 季报只按词面查。财务数字走 XBRL,不交给模型读。

来源 SEC EDGAR · 公有领域

分页漏数的毛病修好后回填完成,补回 16,133 份。6.3 万份精炼成了和美股申报一样的分节结构。

来源 巨潮资讯 · 法定披露平台

其中 50.7 万份在 filings 垂域背后的全量库里,按词面检索,命中会标 layer=pg,coverage 会说明多少篇有向量。

来源 巨潮资讯 · 法定披露平台

美股财务数字的权威出处。财务报表不让模型去读。

来源 SEC · 公有领域

处罚决定全文都抽了:当事人、行为、法律依据、处罚结果,已进 filings 索引。

来源 中国证监会 · 官方

1.04 万封问询函连同回复已抽取,进了 filings 索引。包括深交所的问询函、关注函和处分,以及上交所的问询函。

来源 深交所、上交所 · 官方

它喂的是实体骨架(机构 → 联邦资金),补 NIH、NSF 的位,不替代它们的摘要。

来源 USAspending.gov · 公有领域

安全2

38.4 万条进了漏洞垂域,带 CISA 的在野利用标记和 EPSS 利用概率,可以按它排序。展示 NVD 数据要带 not-endorsed 声明。

来源 NVD · CVE Program · CISA KEV · FIRST EPSS

原始公告到位,按 CVE id 和漏洞记录对齐。

来源 OSV.dev · 开放

标准1

只有目录元数据:编号、标题、状态(推荐 72,083、强制 6,201、指导 1,027)、是否采标、正文在哪。7.9 万条全部进了 standards 索引。标准正文不在我们手上,也不会转载。

来源 国家标准信息公共服务平台

参考1

458 万家机构、552 万条别名在 /v1/entities 上,530 万条关联覆盖 266 万篇文档,把文档接回申报、承办、受资助或持证的那家机构。其中 109 万条靠 id 直挂,113 万条名称唯一匹配,308 万条是模型判定的,如实标出。

来源 ROR CC0 · GLEIF CC0 · MeSH 公有领域

你的1

这里每份数据集走的那条流水线,解析、分节、精炼、交叉关联,原样跑在你的文档上,只认你的 key。

来源 公开贡献或私有合作

规划中 选好了,许可也确认了,还没开始取。原件在手 原始文件下好了,也在跟着更新,还没解析。已解析 拆成了能检索的单元:章、条、字段。已精炼 每个单元都让模型做过抽取、翻译和摘要。已进索引 进了检索库,接口还在接。已上线 接口上能查到了。待许可 数据就在那儿,许可没到手之前不碰。

清单更新于 2026-10-10