Site Crawler MCP
by AndacGuven · Added 9d ago
45
Install
git clone https://github.com/AndacGuven/site-crawler-mcpAbout
一个功能强大的 MCP 服务器，用于爬取网站并提取资产，包括图片和 SEO 元数据。支持通过环境变量进行配置，例如 CRAWLER_MAX_CONCURRENT、CRAWLER_TIMEOUT 和 CRAWLER_USER_AGENT。
Tags
ai-mlmcp-serverlobehubweb-search