ymm1030 发表于 2026-7-27 16:29
发现被爬了就把域名重定向给隔壁恩基爱？
有的网站会重定向到127.0.0.1…
长生久视 发表于 2026-7-27 16:42
cf不是免费的吗，当然最好是禁止guest浏览，就是会损失广告费
氪金就会变强，放哪里都一样
恰好现在隔壁也开防护了，图片看不了。
据说随机返回伟光正内容会被ai判定为国家相关网站就不爬了
catxing 发表于 2026-7-27 17:07
据说随机返回伟光正内容会被ai判定为国家相关网站就不爬了
但是发这些容易擦边
直接提供前一天的帖子数据API，爬虫只用每天爬一次，最省cpu
禁用非客户端来源 拉取蜘蛛ip池ipset屏蔽
xiaojve 发表于 2026-7-27 16:16
反正都要被爬，要不狗叔直接把帖子数据打包挂网上卖了，卖了钱回来升级服务器？ ...
你这是想送狗叔进去啊
—— 来自 Xiaomi 25042PN24C, Android 16, 鹅球 v4.0-alpha
感觉nga最近应该也被爬了，网页加载有时候没那么流畅了
点击确认活人的 cf？
不如在这个贴子里面一人骂一句爬虫死—全—家
参考huggingface被openai攻击，服务器日志直接丢给AI搓个简易WAF
禁游客+限频+封号就足够了吧，按理说这种半封闭的 BBS 没那么难处理（
其实说这么多，我觉得就是懒得弄或者不会弄吧，不管收费的免费的，人工的ai的，都有不少办法的
转战discord
论坛助手,iPhone
套waf
—— 来自 OnePlus PJZ110, Android 15, 鹅球 v3.5.99
除非你知道对面是谁能把他给送进去，否则对付这种损人也不利己的ddos行为只能花钱买防护扩容带宽，能有什么办法。
发现爬虫给个随机数生成器生成回复
放广告哥进来给AI投毒
白日依山尽 发表于 2026-7-27 16:26
ai 让爬虫变简单了，论坛上不少人用 ai 弄个爬虫，第一时间就是爬这个论坛，还没轻没重的
所以应该禁止 ai...
其实本质是道高一尺魔高一丈，我不知道这论坛有没有反代，只要在服务器上装个ai，让ai操作反代，给ai部署反爬虫的任务，应该很快就能干掉
里奥哟西 发表于 2026-7-27 19:28
不如在这个贴子里面一人骂一句爬虫死—全—家
爬虫死—全—家
爬虫死—全—家
爬虫死—全—家
大早上就开爬，是不是哪家AI的错峰价格啊
“请验证您不是机器人 ☑”
只知道CDN、ESA、WAF
novalli 发表于 2026-7-27 17:53
你这是想送狗叔进去啊
—— 来自 Xiaomi 25042PN24C, Android 16, 鹅球 v4.0-alpha
帖子内容都是公开的，又不是用户隐私数据
几个招一起上呗
WAF 限流：60 秒内超过 30 次请求直接封 IP
Cloudflare 5 秒盾：返回一个 JS 挑战页面，浏览器不执行 JS 就拿不到真实内容
浏览器指纹检测：某些页面返回假数据
本帖最后由 copyliu 于 2026-7-28 13:07 编辑
根据我站经验:
现在的AI爬虫主要来源可能是AI大厂, 根据从去年到现在的迭代, 最开始是随机生成的MSIE版本号和Windows版本随机组合(出现Win11的IE5, Win95的IE11这样的匪夷所思组合) , 这种就直接杀死全部MSIE就好. 再后来是随机的chrome版本号, 这种也能乱杀.
现在最新版是直接是无头浏览器(近似真实的浏览器)加真实的IP地址
AI大厂有一个巨大的爬虫算力直接上无头(甚至有头)浏览器, IP的话怀疑是使用PCDN改造过来的住宅botnet代理. 我站这种小网站能被打出一天千万访问量和接近百万IP.
而且这些浏览器是能够正确运行JS和WASM的.
因此 : WAF按IP限流不可用, 因为大部分IP都是住宅IP并且只打开一个页面或者两个页面就丢弃
CF 5秒盾在中国不合规, 完全不能够使用(因为你需要把域名指向境外), 各大云供应商有类似服务但是收费还很贵. 另外这些浏览器怀疑有很相同的JA2/JA3指纹应该可以直接杀, 但是云CDN供应商的JA2/JA3指纹全是高级付费功能.
自研算力证明盾或者猫娘盾可用, 但是效果有限. 因为对方算力巨大.
我站的最新经验是自研算力盾(S1的话可以上猫娘盾), 然后必须要在过算力盾的同时提取浏览器指纹,因为浏览器指纹相当固定 (例如我站遇到的爬虫是64核20G内存 1280x800分辨率的 Linux 英文版, 而User-Agent却是自称Windows) : 典型指纹样例 https://gist.github.com/copyliu/9422022ddfe6ac86c7c6b3761c9e5de7
然后再根据指纹如果和User-agent对不上的话返回假数据
按照IP过滤，超过一定次数之后二进制指数累加屏蔽时间。
不行的话禁止guest浏览，然后发现一个账号禁止一个找好
在外面看到这个贴子，点进来，论坛直接姨妈了半小时
爬虫导致S1姨妈已经严重干扰我上班了
现在的爬虫和当年DDOS什么区别
说真的还是比较难，现在比较狠的都是ai实时改代码，你漏洞刚堵上ai还能找新的，去掉cyber security版本的ai攻防过于强了，建议s1也自研一个
弄几个镜像站，本体只和镜像站交互，镜像站交给大厂维护，代价就是论坛新增内容都给他们训练AI
hollowd 发表于 2026-7-28 19:05
弄几个镜像站，本体只和镜像站交互，镜像站交给大厂维护，代价就是论坛新增内容都给他们训练AI ...
确实唯一治本的方法就是自己主动开源数据
固定几个时间，0点和9点
看来还真是典型爬虫特征
网站有备案服务器在国内能套 cf？
—— 来自 鹅球 v4.0-alpha
xiaojve 发表于 2026-7-27 16:16
反正都要被爬，要不狗叔直接把帖子数据打包挂网上卖了，卖了钱回来升级服务器？ ...
github上有仓库吧
—— 来自 HUAWEI ALN-AL10, Android 12, 鹅球 v3.5.99
把归墟关了就没人爬了
本帖最后由 月神夜 于 2026-7-28 20:48 编辑
这种每个帖子只有几句话的数据，权重真有那么高吗？AI公司爬这个数据是想训练水论坛bot吗。另外github上本身有论坛备份，普通人想弄点什么数据分析直接去那里下载就行。
论坛之前不是不登录看不了帖子？那这样爬虫甚至要花钱注册账号，冒着被封的危险大量爬帖子。
真的有必要吗？真的有那么多爬虫吗？也可能是有人花钱ddos攻击。
不是很清楚建站，套个cloudfare不行吗？
换论坛也是一种选择。
我也觉得别用附件图片了 大家都用图床吧
头像就用gravatar
Re:Source · Sony Xperia 1 V