前几天刷到一篇博客才知道这事:新浪云3月就发了通告,9月16日24时整站下线。留给我们的时间只剩半个月了,其中最可惜的就是新浪云视频——加起来约420TB,个人想整站拖下来基本没戏。
好在ArchiveTeam 8月20号就接手了,开了个叫 sinavideo 的项目在自动备份,进度实时挂在 tracker 上。我写这篇的时候(8月31日),6800多万条任务已经干完,归档了189.5TiB,队列里还躺着1200万条,平均一天也就搬十几TB。照这么算,能不能赶在9月16号前全部搬完,真不好说——多一个人挂机,胜算就多一分。
手里有吃灰VPS的话,正好可以出一份力:吃的是本来就闲置的带宽,花两分钟挂个容器,之后就不用管了。下面是我自己的部署记录,照抄就能跑。
Warrior是个啥
说白了就是个挂机下载器。跑起来之后它自己领任务,把新浪云的视频下载下来再传到互联网档案馆,全程不用人管。它跑在容器里,碰不到你机器上的任何东西,就吃你的带宽和一点磁盘,适合睡觉挂着,也适合塞在吃灰的VPS上。
部署
我是在Linux服务器上用Docker跑的,一条命令的事:
docker run -d \ --name archiveteam \ --label=com.centurylinklabs.watchtower.enable=true \ --log-driver json-file \ --log-opt max-size=50m \ --restart=unless-stopped \ atdr.meo.ws/archiveteam/sinavideo-grab \ --concurrent 2 \ 你的昵称有两处要改:
- 最后那个昵称随便填,tracker排行榜就按它显示你的贡献,填个顺眼的就行;
--concurrent是同时处理的任务数,官方推荐最大5。带宽一般就填1~2,机器和带宽都富余可以往上调。
跑起来之后 docker logs -f archiveteam 盯一会儿,能看到它不停领任务、下载、上传,之后就放着不用管了。
可选:这个项目更新很勤,隔几天就出一个新镜像。不想手动升级的话,可以再挂一个 watchtower 用来自动更新容器镜像(主容器命令里那个 --label 就是给它看的标记):
docker run -d \ --name watchtower \ --restart=unless-stopped \ -v /var/run/docker.sock:/var/run/docker.sock \ ghcr.io/nicholas-fedor/watchtower \ --label-enable --cleanup --include-restarting --interval 3600拉不动镜像的话
atdr.meo.ws 在国内拉起来经常龟速,甚至直接卡死。我在前面套了层反代做了个加速镜像,把上面命令里的镜像地址换成 atdr.zhuqiy.com/archiveteam/sinavideo-grab 就行,别的参数一个字都不用动。
docker run -d \ --name archiveteam \ --label=com.centurylinklabs.watchtower.enable=true \ --log-driver json-file \ --log-opt max-size=50m \ --restart=unless-stopped \ atdr.zhuqiy.com/archiveteam/sinavideo-grab \ --concurrent 2 \ 你的昵称停止或改配置
想改昵称、改并发数,或者项目跑完了收工,先停再删,重新run一遍就行:
docker stop archiveteamdocker rm archiveteam最后
离9月16号也就剩半个月了。有吃灰VPS的可以挂一个,跑完这波就算给互联网考古出过一份力。至于最后能抢回多少,tracker的排行榜上见。
参考: