10 hours ago 接着上次的代理池,说说我拿它攒了份训练数据集🌐 链接: https://linux.do/t/topic/3189491🔍 关键词: #免费🏷️ 分组: LinuxDo论坛🕒 时间: 2026-11-17 11:49:17 LINUX DO 接着上次的代理池,说说我拿它攒了份训练数据集 之前那个免费代理池的帖子发出去后,陆陆续续有人私信问,攒这玩意到底干嘛用。行吧,其实是我想凑一份中文语料,微调个7B的小模型玩。公开数据集下了一圈,总觉得不对自己口味,干脆自己采。 先叠个甲:我只碰完全公开的页面,robots.txt 里写了禁止的一律绕开。也别拿这套去怼有风控的站,风险自负,真没必要。 流程拆下来就四步:定种子URL、爬、从HTML里抠正文、清洗去重存jsonl。听着简单,每一步都能给你埋个坑。 先说抠正文。我一开始想当然,BeautifulSoup把text()一呼噜全取出来完…