AI还在想尽办法搜刮互联网数据，这一回是偷偷利用互联网档案馆？！
最近，Reddit平台发现，AI公司正利用Wayback Machine的存档，巧妙绕过常规的数据获取限制，偷偷扒取大量数据用于模型训练。
互联网档案馆的Wayback Machine是公益性的数字存档工具，旨在保存网页历史版本。
AI公司发现通过借助Wayback Machine开放性的特点抓取Reddit的历史数据，既无需遵守Reddit的付费、合规协议等政策，又能获取训练所需的大量内容。
于是，互联网档案馆就成了AI公司的“最佳数据后门”。
Reddit坚决抵制数据滥用
前情提要，此前Reddit为保护数据权益，对AI公司的直接抓取数据行为设置了严格限制。
若公司愿意付费则愿意提供数据，比如Reddit与谷歌达成数据交易，仅向这种付费合作方开放数据，还对搜索引擎爬取数据设置付费门槛。
但对于未经许可的数据抓取行为，尤其是AI训练滥用的情况，Reddit坚决抵制。
这也是其2023年进行API更改的原因：由于AI公司滥用API进行数据抓取用于模型训练，于是它们调整了API政策导致部分第三方应用关闭。
此外，Reddit还与OpenAI有合作，然而在6月，Reddit却起诉了Anthropic。
原因是Anthropic在宣称停止抓取数据后仍在Reddit上抓取。
这正是为啥AI公司开始想歪招了——
Internet Archive即互联网档案馆，它是一个非营利性数字图书馆，致力于提供数字资料的永久性免费存储及获取服务。
它的数据一部分由公众上传，大部分由自带的网络爬虫自动搜集，尽可能保存公开的网页信息。
Wayback Machine是Internet Archive最广为人知的服务，能抓取并保存大量网页，用户借助它可查看网页的历史快照。
它自1996年开始缓存网页，在2001年推出时已存档超100亿个页面。
Wayback Machine作为一个公益性的数字存档工具，本身就具有开放性，但这也给了部分AI公司可乘之机。
AI公司发现通过Wayback Machine抓取Reddit的历史数据，既无需遵守Reddit的平台政策（如付费、合规协议），又能获取训练所需的大量内容，于是就利用这一漏洞开始了违规“曲线获取数据”的行为。
这些AI公司的爬虫程序在Wayback Machine的存档中肆意穿梭，抓取Reddit上的帖子、评论、用户资料等关键信息。
这种“曲线抓取数据”的行为，不仅侵犯了平台的权益和用户的隐私，还打破了数据获取与使用的规则平衡。
Reddit发言人Tim Rathschmidt透露，尽管互联网档案馆旨在开放网络，但AI公司的此类抓取行为严重违反了平台政策，危及用户隐私，还可能导致已删除内容的泄露。
Reddit并非唯一受害者，Facebook（现Meta）、Twitter（现X）等均曾明确限制第三方爬虫抓取用户内容，尤其禁止将数据用于AI训练，但仍有AI公司试图通过缓存站点、镜像网站等间接渠道获取数据。
面对这一乱象，Reddit已经宣布限制Wayback Machine对其内容进行索引，仅允许抓取主页，帖子详情、评论及用户资料等页面均被禁止访问。
为此，Wayback Machine的负责人Mark Graham在接受采访时表示：
我们与Reddit有着长期的合作关系，并且将继续就此事进行讨论。
实际上不只Wayback Machine，有网友发现Reddit对任何非住宅IP都有数据封锁。
但也有人认为这是Reddit是试图通过数据交易获取利益，但一手交钱一手交数据看上去也挺公平的……
不管怎么说，数据所有权、使用边界与AI训练需求之间的冲突正在悄悄升级。
参考链接：
[1]https://www.theverge.com/news/757538/reddit-internet-archive-wayback-machine-block-limit
[2]https://news.ycombinator.com/item?id=44866698
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
☟☟☟
☞人工智能产业链联盟筹备组征集公告☜
☝
精选报告推荐：
11份清华大学的DeepSeek教程，全都给你打包好了，直接领取：
【清华第四版】DeepSeek+DeepResearch让科研像聊天一样简单？
【清华第七版】文科生零基础AI编程：快速提升想象力和实操能力
【清华第十一版】2025AI赋能教育：高考志愿填报工具使用指南
10份北京大学的DeepSeek教程
【北京大学第五版】Deepseek应用场景中需要关注的十个安全问题和防范措施
【北京大学第九版】AI+Agent与Agentic+AI的原理和应用洞察与未来展望
【北京大学第十版】DeepSeek在教育和学术领域的应用场景与案例(上中下合集)
8份浙江大学的DeepSeek专题系列教程
浙江大学DeepSeek专题系列一--吴飞：DeepSeek-回望AI三大主义与加强通识教育
浙江大学DeepSeek专题系列二--陈文智：Chatting or Acting-DeepSeek的突破边界与浙大先生的未来图景
浙江大学DeepSeek专题系列三--孙凌云：DeepSeek：智能时代的全面到来和人机协作的新常态
浙江大学DeepSeek专题系列四--王则可：DeepSeek模型优势：算力、成本角度解读
浙江大学DeepSeek专题系列五--陈静远：语言解码双生花：人类经验与AI算法的镜像之旅
浙江大学DeepSeek专题系列六--吴超：走向数字社会：从Deepseek到群体智慧
浙江大学DeepSeek专题系列七--朱朝阳：DeepSeek之火，可以燎原
浙江大学DeepSeek专题系列八--陈建海：DeepSeek的本地化部署与AI通识教育之未来
4份51CTO的《DeepSeek入门宝典》
51CTO：《DeepSeek入门宝典》：第1册-技术解析篇
51CTO：《DeepSeek入门宝典》：第2册-开发实战篇
51CTO：《DeepSeek入门宝典》：第3册-行业应用篇
51CTO：《DeepSeek入门宝典》：第4册-个人使用篇
5份厦门大学的DeepSeek教程
【厦门大学第一版】DeepSeek大模型概念、技术与应用实践
【厦门大学第五版】DeepSeek等大模型工具使用手册-实战篇
10份浙江大学的DeepSeek公开课第二季专题系列教程
【精选报告】浙江大学公开课第二季：《DeepSeek技术溯源及前沿探索》（附PDF下载）
【精选报告】浙江大学公开课第二季：2025从大模型、智能体到复杂AI应用系统的构建——以产业大脑为例（附PDF下载）
【精选报告】浙江大学公开课第二季：智能金融——AI驱动的金融变革（附PDF下载）
【精选报告】浙江大学公开课第二季：人工智能重塑科学与工程研究（附PDF下载）
【精选报告】浙江大学公开课第二季：生成式人工智能赋能智慧司法及相关思考(附PDF下载）
【精选报告】浙江大学公开课第二季：AI大模型如何破局传统医疗（附PDF下载）
【精选报告】浙江大学公开课第二季：2025年大模型：从单词接龙到行业落地报告（附PDF下载）
【精选报告】浙江大学公开课第二季：2025大小模型端云协同赋能人机交互报告（附PDF下载）
【精选报告】浙江大学公开课第二季：DeepSeek时代：让AI更懂中国文化的美与善（附PDF下载）
【精选报告】浙江大学公开课第二季：智能音乐生成：理解·反馈·融合（附PDF下载）
6份浙江大学的DeepSeek公开课第三季专题系列教程
【精选报告】浙江大学公开课第三季：走进海洋人工智能的未来（附PDF下载）
【精选报告】浙江大学公开课第三季：当艺术遇见AI：科艺融合的新探索（附PDF下载）
【精选报告】浙江大学公开课第三季：AI+BME，迈向智慧医疗健康——浙大的探索与实践（附PDF下载）
【精选报告】浙江大学公开课第三季：心理学与人工智能（附PDF下载）
【AI加油站】第八部：《模式识别（第四版）-模式识别与机器学习》（附下载）
人工智能产业链联盟高端社区
一次性说清楚DeepSeek，史上最全（建议收藏）
DeepSeek一分钟做一份PPT
用DeepSeek写爆款文章？自媒体人必看指南
【5分钟解锁DeepSeek王炸攻略】顶级AI玩法，解锁办公+创作新境界！
【中国风动漫】《雾山五行》大火，却很少人知道它的前身《岁城璃心》一个拿着十米大刀的男主夭折！
免责声明：部分文章和信息来源于互联网，不代表本订阅号赞同其观点和对其真实性负责。如转载内容涉及版权等问题，请立即与小编联系（微信号：913572853），我们将迅速采取适当的措施。本订阅号原创内容，转载需授权，并注明作者和出处。如需投稿请与小助理联系（微信号：AI480908961）
编辑：Zero
