集思广益：S1现在天天被爬虫弄卡，究竟有没有什么应对办法？

长生久视

ymm1030 发表于 2026-7-27 16:29
发现被爬了就把域名重定向给隔壁恩基爱？

有的网站会重定向到127.0.0.1…

dear81

长生久视 发表于 2026-7-27 16:42
cf不是免费的吗，当然最好是禁止guest浏览，就是会损失广告费

氪金就会变强，放哪里都一样

Adrenaline!!!

恰好现在隔壁也开防护了，图片看不了。

catxing

据说随机返回伟光正内容会被ai判定为国家相关网站就不爬了

ZBY901026

catxing 发表于 2026-7-27 17:07
据说随机返回伟光正内容会被ai判定为国家相关网站就不爬了

但是发这些容易擦边

Fuuki

直接提供前一天的帖子数据API，爬虫只用每天爬一次，最省cpu

Mikumiku831

禁用非客户端来源   拉取蜘蛛ip池ipset屏蔽

novalli

xiaojve 发表于 2026-7-27 16:16
反正都要被爬，要不狗叔直接把帖子数据打包挂网上卖了，卖了钱回来升级服务器？ ...

你这是想送狗叔进去啊

—— 来自 Xiaomi 25042PN24C, Android 16, 鹅球 v4.0-alpha

kalavinka

感觉nga最近应该也被爬了，网页加载有时候没那么流畅了

restlin1

点击确认活人的 cf？

里奥哟西

不如在这个贴子里面一人骂一句爬虫死—全—家

=w=

参考huggingface被openai攻击，服务器日志直接丢给AI搓个简易WAF

shellcode

禁游客+限频+封号就足够了吧，按理说这种半封闭的 BBS 没那么难处理（

蜇灵

其实说这么多，我觉得就是懒得弄或者不会弄吧，不管收费的免费的，人工的ai的，都有不少办法的

goranger

转战discord

论坛助手,iPhone

pepper023

套waf

—— 来自 OnePlus PJZ110, Android 15, 鹅球 v3.5.99

airfire

除非你知道对面是谁能把他给送进去，否则对付这种损人也不利己的ddos行为只能花钱买防护扩容带宽，能有什么办法。

璇瑢子R

发现爬虫给个随机数生成器生成回复

sunny_am

放广告哥进来给AI投毒

革萌

白日依山尽 发表于 2026-7-27 16:26
ai 让爬虫变简单了，论坛上不少人用 ai 弄个爬虫，第一时间就是爬这个论坛，还没轻没重的
所以应该禁止 ai  ...

其实本质是道高一尺魔高一丈，我不知道这论坛有没有反代，只要在服务器上装个ai，让ai操作反代，给ai部署反爬虫的任务，应该很快就能干掉

永远的访客

里奥哟西 发表于 2026-7-27 19:28
不如在这个贴子里面一人骂一句爬虫死—全—家

爬虫死—全—家
爬虫死—全—家
爬虫死—全—家

noneoneone

大早上就开爬，是不是哪家AI的错峰价格啊

不定学研

“请验证您不是机器人 ☑”

ly4236

只知道CDN、ESA、WAF

oyss

novalli 发表于 2026-7-27 17:53
你这是想送狗叔进去啊

—— 来自 Xiaomi 25042PN24C, Android 16, 鹅球 v4.0-alpha

帖子内容都是公开的，又不是用户隐私数据

hmilykyo

几个招一起上呗

WAF 限流：60 秒内超过 30 次请求直接封 IP
Cloudflare 5 秒盾：返回一个 JS 挑战页面，浏览器不执行 JS 就拿不到真实内容
浏览器指纹检测：某些页面返回假数据

copyliu

根据我站经验:
现在的AI爬虫主要来源可能是AI大厂, 根据从去年到现在的迭代, 最开始是随机生成的MSIE版本号和Windows版本随机组合(出现Win11的IE5, Win95的IE11这样的匪夷所思组合) , 这种就直接杀死全部MSIE就好. 再后来是随机的chrome版本号, 这种也能乱杀.
现在最新版是直接是无头浏览器(近似真实的浏览器)加真实的IP地址
AI大厂有一个巨大的爬虫算力直接上无头(甚至有头)浏览器, IP的话怀疑是使用PCDN改造过来的住宅botnet代理. 我站这种小网站能被打出一天千万访问量和接近百万IP.
而且这些浏览器是能够正确运行JS和WASM的.
因此 : WAF按IP限流不可用, 因为大部分IP都是住宅IP并且只打开一个页面或者两个页面就丢弃
CF 5秒盾在中国不合规, 完全不能够使用(因为你需要把域名指向境外), 各大云供应商有类似服务但是收费还很贵. 另外这些浏览器怀疑有很相同的JA2/JA3指纹应该可以直接杀, 但是云CDN供应商的JA2/JA3指纹全是高级付费功能.
自研算力证明盾或者猫娘盾可用, 但是效果有限. 因为对方算力巨大.
我站的最新经验是自研算力盾(S1的话可以上猫娘盾), 然后必须要在过算力盾的同时提取浏览器指纹,  因为浏览器指纹相当固定 (例如我站遇到的爬虫是64核20G内存 1280x800分辨率的 Linux 英文版, 而User-Agent却是自称Windows) : 典型指纹样例 https://gist.github.com/copyliu/9422022ddfe6ac86c7c6b3761c9e5de7
然后再根据指纹如果和User-agent对不上的话返回假数据

夏胧

按照IP过滤，超过一定次数之后二进制指数累加屏蔽时间。
不行的话禁止guest浏览，然后发现一个账号禁止一个找好

sql710

在外面看到这个贴子，点进来，论坛直接姨妈了半小时

noneoneone

爬虫导致S1姨妈已经严重干扰我上班了

Ferrari

现在的爬虫和当年DDOS什么区别

培根芝士蛋堡XD

说真的还是比较难，现在比较狠的都是ai实时改代码，你漏洞刚堵上ai还能找新的，去掉cyber security版本的ai攻防过于强了，建议s1也自研一个

hollowd

弄几个镜像站，本体只和镜像站交互，镜像站交给大厂维护，代价就是论坛新增内容都给他们训练AI

培根芝士蛋堡XD

hollowd 发表于 2026-7-28 19:05
弄几个镜像站，本体只和镜像站交互，镜像站交给大厂维护，代价就是论坛新增内容都给他们训练AI ...

确实唯一治本的方法就是自己主动开源数据

2017.05.04

固定几个时间，0点和9点
看来还真是典型爬虫特征

mr.qu

网站有备案服务器在国内能套 cf？

—— 来自 鹅球 v4.0-alpha

冤枉呐

xiaojve 发表于 2026-7-27 16:16
反正都要被爬，要不狗叔直接把帖子数据打包挂网上卖了，卖了钱回来升级服务器？ ...

github上有仓库吧

—— 来自 HUAWEI ALN-AL10, Android 12, 鹅球 v3.5.99

小农经济

把归墟关了就没人爬了

月神夜

这种每个帖子只有几句话的数据，权重真有那么高吗？AI公司爬这个数据是想训练水论坛bot吗。另外github上本身有论坛备份，普通人想弄点什么数据分析直接去那里下载就行。
论坛之前不是不登录看不了帖子？那这样爬虫甚至要花钱注册账号，冒着被封的危险大量爬帖子。
真的有必要吗？真的有那么多爬虫吗？也可能是有人花钱ddos攻击。
不是很清楚建站，套个cloudfare不行吗？
换论坛也是一种选择。

fuochai

我也觉得别用附件图片了 大家都用图床吧
头像就用gravatar

Re:Source · Sony Xperia 1 V