找回密码
 立即注册
搜索
查看: 4623|回复: 10

[分享] 写了个S1专楼下载器

[复制链接]
     
发表于 2020-2-1 19:44 | 显示全部楼层 |阅读模式
原帖发在外野,考虑到漫区需要保存的专楼大概更多,在这边也转一份~(如果一贴多发不违反版规的话)

S1的很多专楼是很有保存意义的,但是网络上的资源总是不如自己硬盘上的可靠,所以决定想办法把自己觉得有价值的专楼备份一下
最开始想用selenium一页页的下载成mht,但是发现这样下载的网页不支持离线翻页,而且很多帖子里图片没加载完就下载了。于是一怒之下用python搓了个轮子,用requests下载帖子每页的html,然后将其中所有css、script和图片保存至本地。
这样下载后的帖子可以离线翻页,方便阅读,而且不同帖子共用css、图片等资源,节约硬盘空间。缺点是删除下载的帖子时无法删除其中图片,而且下载速度比较慢,不过个人感觉还可以接受。(关爱服务器,拒绝多线程)

程序非常简单,源代码扔到github了。然后用PyQt5做了一个简陋的GUI打包了成exe,自己测试了下64位win10和64位win7都能正常使用,其他系统就不确定了。
用法也很简单,看界面直接操作就行。github上写了个简单的说明,需要的话可以去看看,这里就不细讲了。

使用建议:
  • 由于下载速度主要由论坛响应速度决定,建议在论坛流量较小时使用,比如睡前开个下载转天起来再看之类。尽量不要多开,以免对服务器造成过大压力
  • 由于论坛帖子有大量共用素材(样式表、麻将脸等),当这部分素材下载完毕后,帖子下载速度会得到显著提升。比如我昨天下载漫区那个196页的WA2直播贴花了40分钟左右,这是因为里面图片很多,以文字为主的楼会更快一些。
  • 由于作者水平所限,程序大概会有很多bug,如果大家使用中遇到问题欢迎在论坛或github上反馈,有希望添加的功能也欢迎提出(如果有大佬愿意接手优化就更好了)

下载地址:
github:https://github.com/shuangluoxss/Stage1st-downloader/releases
百度网盘:链接:https://pan.baidu.com/s/1Xu0DyTYu5KVQV0YkyzWzmw  提取码:fi43

运行界面

页面和资源文件会下载到程序运行路径的data文件夹下,全楼下载完之后会在程序运行路径同级目录生成一个 帖子标题.html,指向下载好的页面。只要保证html、data文件夹、source文件夹的相对位置不变,网页就可以正常打开。



另外需要提到的是,下载器在下载时会自动跳过已经存在的文件,所以下载中断基本没有影响,重新开始后很很快就能达到之前的进度

评分

参与人数 10战斗力 +11 收起 理由
Joshuaw233 + 1 好评加鹅
阿狸狸狸狸狸 + 1 好评加鹅
luquggg + 1 好评加鹅
vxzms + 1 好评加鹅
yst234 + 1 好评加鹅
Salieri + 1 好评加鹅
Ozen + 1 好评加鹅
魂淡放我出去 + 1 好评加鹅
与天争锋_LZ + 1 好评加鹅
若荼泱 + 2 等了很久了!

查看全部评分

回复

使用道具 举报

     
发表于 2020-2-1 20:07 来自手机 | 显示全部楼层
麻麻再也不用担心我的帖子消失了早一点在大清洗前开发出来就好了
回复

使用道具 举报

     
发表于 2020-3-31 10:13 | 显示全部楼层
论坛还好些,不是太那啥基本可以一直活着。。。贴吧真的是
总之还是谢过大佬了
回复

使用道具 举报

     
发表于 2020-3-31 10:28 | 显示全部楼层
若荼泱 发表于 2020-2-1 20:07
麻麻再也不用担心我的帖子消失了早一点在大清洗前开发出来就好了 ...

泥潭清理的帖子好像都有备份,当然什么时候能再放出来就不知道了
回复

使用道具 举报

     
发表于 2020-3-31 10:44 | 显示全部楼层
朔方原的星MK.2 发表于 2020-3-31 10:28
泥潭清理的帖子好像都有备份,当然什么时候能再放出来就不知道了

https://bbs.saraba1st.com/2b/thread-1918211-1-1.html
之前我就发现了,RSS无视一切。只是个雪藏
回复

使用道具 举报

     
发表于 2020-3-31 12:54 来自手机 | 显示全部楼层
情迷弗兰西西24个专楼先保存下来

—— 来自 OnePlus GM1910, Android 10上的 S1Next-鹅版 v2.2.2.1
回复

使用道具 举报

     
发表于 2020-3-31 13:10 来自手机 | 显示全部楼层
求源码,我好改写一个 macOS 图形界面版和 UNIX 命令行版
回复

使用道具 举报

     
发表于 2020-3-31 13:29 来自手机 | 显示全部楼层
mchan 发表于 2020-3-31 13:10
求源码,我好改写一个 macOS 图形界面版和 UNIX 命令行版

看GitHub链接啊别进releases,几个Python不都是很清楚的
回复

使用道具 举报

     
发表于 2020-4-1 16:09 | 显示全部楼层
BankA 发表于 2020-3-31 13:29
看GitHub链接啊别进releases,几个Python不都是很清楚的

那我就星标了哈。(我这里的开发语言是 C、Objective-C 和 Swift,因此需要大规模重写。网络部分丢给 libcurl 或 libaria2 或 NSURLSession。)
回复

使用道具 举报

     
发表于 2020-7-9 20:21 | 显示全部楼层
还没来得及下载,专楼就没了有人下了巨人和ID专楼的可以分享一下吗
回复

使用道具 举报

     
发表于 2020-7-9 20:24 | 显示全部楼层
突然发觉高达和异度侵入的楼不能进去了,希望都尽快审核完毕吧
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|上海互联网违法和不良信息举报中心|网上有害信息举报专区|962110 反电信诈骗|举报电话 021-62035905|Stage1st ( 沪ICP备13020230号-1|沪公网安备 31010702007642号 )

GMT+8, 2025-7-18 23:33 , Processed in 0.052760 second(s), 8 queries , Gzip On, Redis On.

Powered by Discuz! X3.5

© 2001-2025 Discuz! Team.

快速回复 返回顶部 返回列表