各位佬们智能体的搜索技能或者MCP服务怎么搭建的🌐 链接:

之前使用过openclaw、hermes以及claude code cli，我的任务大概类似于需要从互联网上大量爬取相关数据，然后让AI进行筛选（清洗）、提取目标字段、格式化啊存储到本地。但是这些智能体自带的web_search和web_featch感觉爬取到的信息非常有限，很多甚至都无法进入网页，只能爬取缩略页面关键词（可能是网页的反爬虫机制），而且在多次搜索后，好像还会被限流。而基于此需求，现在有很多针对智能体的付费搜索引擎（免费的类似duckduckgo很容易被限流），google、taivly、…