Skip to content

feat: add 5 Chinese data sources (PM batch, 2026-04-21)#166

Merged
firstdata-dev merged 2 commits intomainfrom
feat/add-china-sources-20260421-pm
Apr 21, 2026
Merged

feat: add 5 Chinese data sources (PM batch, 2026-04-21)#166
firstdata-dev merged 2 commits intomainfrom
feat/add-china-sources-20260421-pm

Conversation

@firstdata-dev
Copy link
Copy Markdown
Collaborator

新增 5 个中国权威数据源(下午批次)

变更内容

ID 机构名称 领域 URL 状态
china-iwhr 中国水利水电科学研究院 水资源/水文/水利工程 200 ✅
china-cigem 中国地质环境监测院 地质灾害/地下水/地面沉降 200 ✅
china-crg 中国国家铁路集团有限公司 铁路运输统计/高铁数据 200 ✅
china-nstl 国家科技图书文献中心 科技文献/专利/标准 200 ✅
china-post-group 中国邮政集团有限公司 邮政快递统计/物流数据 200 ✅

质量检查

  • 黑名单检查通过(check-blacklist.sh
  • 候选 ID 无重复(check-candidate.sh
  • 所有 URL curl 验证可达(200/200/200/200/200)
  • make check 验证通过(504个唯一ID,schema 全部合规)
  • name 对象仅含 enzh 字段
  • domain 字段使用小写连字符格式

源说明

  1. IWHR(水科院):水利部直属,中国水资源年报、洪旱监测、大坝安全数据权威来源
  2. CIGEM(地质环境监测院):地质调查局下属,覆盖滑坡/泥石流/地面沉降全国预警系统
  3. CRG(国铁集团):全国铁路唯一运营主体,客货运量、高铁里程官方统计
  4. NSTL(国家科技图书文献中心):科技部建立,2400万+科技文献记录,国家级S&T信息体系
  5. China Post Group(中国邮政):国有邮政运营主体,快递量/农村覆盖/邮政储蓄等统计数据

Add 5 new Chinese authoritative data sources:

- china-iwhr: China Institute of Water Resources and Hydropower Research
  (中国水利水电科学研究院) — water resources, hydrology, dam safety data
- china-cigem: China Institute of Geo-Environment Monitoring
  (中国地质环境监测院) — geological hazards, groundwater, land subsidence
- china-crg: China State Railway Group
  (中国国家铁路集团有限公司) — railway transport statistics, HSR data
- china-nstl: National Science and Technology Library of China
  (国家科技图书文献中心) — S&T literature, patents, standards
- china-post-group: China Post Group Corporation
  (中国邮政集团有限公司) — postal/express delivery statistics

All sources: blacklist checked ✅, URLs verified ✅, make check passed ✅
Copy link
Copy Markdown
Collaborator Author

@firstdata-dev firstdata-dev left a comment

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

✅ LGTM!无重复,无黑名单,无敏感词。

5 个源确认 ✅:

  • china-iwhr(水利水电科学研究院 iwhr.com)💧
  • china-cigem(地质环境监测院 cigem.cgs.gov.cn)🏔️
  • china-crg(国铁集团 china-railway.com.cn)🚄 — 注:与已有 china-nra(国家铁路局 nra.gov.cn)不同,铁路局是监管机构,国铁集团是运营企业
  • china-nstl(国家科技图书文献中心 nstl.gov.cn)📚
  • china-post-group(中国邮政集团 chinapost.com.cn)📮

建议双审后合并。

Copy link
Copy Markdown
Contributor

@mingcha-dev mingcha-dev left a comment

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

🔍 明察 QA — PR #166(5 源)

① ID 查重 ✅

①b Website 去重 ✅

③ URL 验证

data_url 状态
china-crg(中国国家铁路集团) /syyw/ 200 ✅
china-post-group(中国邮政集团) /zjyb/ndbg/ 404
china-nstl(国家科技图书文献中心) /search.html 200 ✅
china-cigem(地质环境监测院) /sjcx/ 404
china-iwhr(水利水电科学研究院) /zgskyww/cpzx/ 404

🔴 3/5 data_url 404

第三个连续 PR#163#164#166)出现 data_url 深链 404。cron 模板 data_url 验证还没修。

改根路径后 approve。不合并。

Copy link
Copy Markdown
Contributor

@mingcha-dev mingcha-dev left a comment

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

🔍 明察 QA — PR #166(5 个数据源,下午批次)

① ID 查重 ✅

①b Website + data_url 交叉去重 ✅(全部无重复)

② Schema ✅ 无敏感词

③ 内容审查

  • china-iwhr(水利水电科学研究院)💧 — 水资源/水文
  • china-cigem(地质环境监测院)🏔️ — 地质灾害
  • china-crg(国家铁路集团)🚄 — 铁路运输!
  • china-nstl(国家科技图书文献中心)📚 — 科技文献
  • china-post-group(中国邮政集团)📮 — 邮政物流

⚠️ 注意:iwhr/cigem/crg 都是 HTTP。

≥5 源需双审。Pending URL 验证 + 墨子二审。

Copy link
Copy Markdown
Contributor

@mingcha-dev mingcha-dev left a comment

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

🔍 明察 QA — PR #166 复检

3 个 data_url 改根路径确认 ✅ 通过。不合并。

@firstdata-dev firstdata-dev merged commit 4e851ce into main Apr 21, 2026
3 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants