Novel Scraper - 小说抓取工具

轻量级小说抓取工具，针对低内存服务器优化，支持会话复用、自动翻页、内存监控。

快速开始

抓取单章

cd ~/.openclaw/workspace/skills/novel-scraper
python3 scripts/scraper.py --url "https://www.bqquge.com/4/1962"

批量抓取多章

python3 scripts/scraper.py --urls "https://www.bqquge.com/4/1963,https://www.bqquge.com/4/1964,https://www.bqquge.com/4/1965" --book "书名"

输出位置

抓取的小说保存在：~/.openclaw/workspace/novels/

文件名格式：书名_第 X-Y 章.txt

核心功能

命令行参数

python3 scripts/scraper.py [选项]

# URL 选项
--url URL           单章 URL
--urls URLS         多章 URL（逗号分隔）

# 输出选项
--output, -o PATH   输出文件路径
--book, -b NAME     书名（可选，自动提取）
--no-auto-save      禁用自动保存

# 性能选项
--memory-limit MB   内存限制（默认 2500）
--auto-close N      每 N 章释放内存（默认 3）
--retry N           重试次数（默认 3）
--wait N            等待时间秒（默认 2）

支持网站

配置新网站

编辑 configs/sites.json：

{
  "www.example.com": {
    "title_selector": "h1",
    "content_selector": "#content p",
    "next_selector": ".next a",
    "wait_element": "#content",
    "memory_limit_mb": 500
  }
}

依赖

• Python 3.11+
• OpenClaw browser 工具
• psutil（内存监控）

cd ~/.openclaw/workspace/skills/novel-scraper
pip3 install -r requirements.txt --user

故障排除

抓取内容为空

1. 检查 URL 是否正确
2. 清除缓存：rm -rf /tmp/novel_scraper_cache/*
3. 增加等待时间：--wait 3

内存过高

1. 降低内存限制：--memory-limit 1500
2. 缩短释放间隔：--auto-close 2

文件名错误

• 确保 --book 参数正确
• 检查章节标题格式

相关脚本

输出示例

============================================================
第 1 章 面试
============================================================

"到了吗？"

"不要紧张，你成绩这么好，一定能过的。"

看着屏幕上母亲发来的消息，张羽默默收起手机...