AI快讯苏晓 2026-11-02 11:01:02 来源:中房网
中房网讯 近日,OpenAI、谷歌、微软以及Anthropic宣布将采用一项新标准,内容发布方可以借助该标准选择拒绝AI抓取自家网站内容。借助这项管控机制,内容发布方可以一次性向多家AI企业统一申明自身针对 AI 模型训练的内容使用偏好,而不必为每家企业单独设置规则。
该标准由Anthropic技术负责人Kevin Kelley向互联网工程任务组(IETF)提出,并将集成在网站的robots.txt文件中。
据了解,robots.txt早已被广泛应用,用于向网络爬虫划定网页抓取范围,区分允许、禁止抓取内容,覆盖搜索引擎索引、网页存档以及 AI 模型训练等场景。在此标准推出前,网站方想要约束AI企业使用内容训练模型,需要单独向每家AI厂商提交声明。而当前各类AI爬虫持续采集网页素材,用于模型训练,也给内容发布方带来不小困扰。
2026-11-02
更多
- 11:00
- 10:56
- 10:22
- 10:18
- 10:10
- 09:59
- 09:55
- 09:51
- 09:50
- 09:34
- 09:33
- 09:31
- 09:31
- 09:20
- 08:54
- 08:48
中国城市住房价格288指数
(2023-02)1571.9点
- 0.13%

- -0.91%

| 日期 | 指数 | 环比 | 同比 |
|---|---|---|---|
| 2023.01 | 1569.9 | -0.97% | -0.14% |
| 2022.12 | 1572.1 | -0.92% | -0.11% |
| 2022.11 | 1573.9 | -0.12% | -1.08% |
| 2022.10 | 1575.8 | -0.20% | -1.01% |
| 2022.09 | 1579.0 | -0.02% | -0.87% |
| 2022.08 | 1579.3 | -0.04% | -0.62% |