| ScrapydWeb(爬蟲管理平臺)是一個用于Scrapyd集群管理的web應用,支持Scrapy日志分析和可視化,支持Scrapyd集群管理、日志可視化、定時任務、郵件通知、移動端UI! ![]() 功能介紹 Scrapyd 集群管理 支持所有 Scrapyd JSON API 支持通過分組和過濾來選擇若干個節點 一次操作, 批量執行 Scrapy 日志分析 數據統計 進度可視化 日志分類 增強功能 自動打包項目 集成 LogParser 定時器任務 監控和警報 移動端 UI web UI 支持基本身份認證 使用編程語言寫的程序,由于每條指令都對應計算機一個特定的基本動作,所以程序占用內存少、執行效率高。 |