龙搜GEO
申请试用 免费诊断品牌
平台动态

腾讯公开 AI 搜索机制，反爬的网站不会被收录

龙搜GEO

腾讯云把在内部跑了数年的元宝搜索正式对 B 端开放，腾讯云副总裁、元宝搜索研发负责人马晋第一次公开讲清了这套系统的收录规则。其中有一句话值得每个企业记住：网站设了反爬，就不收录。这句话把过去一件模糊的事说清楚了——企业为防采集关掉的爬虫权限，同时关掉了自己在 AI 答案里的入口。

技术人员在机房机柜前检查线路，同事在旁边核对清单

发生了什么

据虎嗅 2026 年 11 月 3 日的报道，腾讯云在两周前已针对 B 端客户发布「元宝搜索」，其前身是联网搜索，提供 Skill、MCP 和 API 三种接入方式，凭邀请码在 10 月、11 月的调用上限为 6000 次。同一套底层能力还支撑着元宝 App 的内置搜索，并将在 C 端以独立搜索引擎的形态出现。

马晋把搜索划成三代：1.0 是人输关键词、人筛结果；2.0 是大模型读结果、生成答案；3.0 是 Agent 拆解子问题、搜索返回结构化结果支撑推理。据官方披露的指标，元宝搜索日增 50 亿网页、可检索文档 500 亿、向量索引超过 1500 亿，中文索引覆盖率 95%，重点垂直领域接近全覆盖。

官方同时披露，这套系统覆盖 13 个垂直行业、157 个权威信源、全网覆盖率 96%，已支撑腾讯内部 50 余个核心业务，日均调用数亿次。但据虎嗅的实测记录，目前调用只能拿到标题、摘要、链接和垂类卡片，正文仍需调用方自己抓取，时效性内容也只能做到一小时一更新。

真正值得琢磨的是被追问「打不开的网页怎么办」时的那句回答。马晋说：「如果网站设了反爬就不收录，这是尊重对方的知识产权。」虎嗅据此判断，那些价值高、但设了反爬机制的内容，正处在索引盲区里，想被收录只能逐家去谈合作。

对品牌获客意味着什么

把这句话翻译成客户场景：一位采购经理在元宝里问「这类设备哪家能做」，系统去全网检索候选页面时，如果你的官网是把门关上的，它连门都进不去。AI 不会因为你的品牌实力强，就绕开自己定下的规则来读你。

而且这不是一家平台的特例。据 Muck Rack 与 Generative Pulse 于 2026 年 10 月 28 日发布的《What Is AI Reading?》十月报告统计，在屏蔽 Claude 搜索爬虫的主要出版商中，有 81% 几乎拿不到 Claude 的引用；而允许抓取的出版商里，这个比例只有 12%。同一份报告还提到，2026 年 9 月的分析中只有 212 个域名被 ChatGPT、Claude、Gemini、Perplexity 四家同时引用。

所以「反爬」这件事在企业里往往由技术部门凭直觉决定——怕被抄、怕被爬垮——但它现在其实是一项市场决策。你把爬虫挡在门外的那一刻，挡掉的不只是抄袭者，还有替你说话的 AI。

企业现在能做什么

  • 查一遍 robots.txt 和 WAF 规则，看有没有把 AI 类爬虫整段拒掉。很多站点的拦截规则是几年前照抄的模板，连自己都不知道挡了谁。
  • 分层开放，而不是二选一。产品页、案例页、技术参数、常见问答可以放开；报价、后台、客户名单当然要挡。要让 AI 读到的是你想让它读的那部分。
  • 给时效性内容单独留一条通道。元宝搜索的时效内容一小时一更新，实时抓取接口尚未开放，新闻、活动、上新这类页面建议做成结构清晰的静态页，别都塞进需要登录或依赖脚本渲染的壳里。
  • 分平台看，不要只看一家。四家主流 AI 平台在 2026 年 9 月只共同引用了 212 个域名，说明它们读的是网上不同的角落，一家的好成绩换不来另一家的曝光。

办公桌上摊着网线钳、水晶头和几根压好的网线，旁边放着笔记本电脑

什么情况下这条不成立

如果一家企业的客户根本不通过 AI 提问来找供应商，生意主要来自老关系和招投标，那这件事的优先级确实该往后放。开放爬虫是有成本的，服务器要扛流量，内容也可能被搬走，不该无脑全开。

还有一层要看清：开放只是拿到入场资格，不等于会被引用。腾讯这次公布的数据全部来自内部评测，没有公开的基准测试可供复现，157 个权威信源也是商务合作、并不排他。门开着，能不能被请进去，还要看你的内容值不值得引。

带走一句判断

反爬保护的是内容，AI 收录带来的是客户。这两件事过去可以只管一头，现在必须分开算账。

参考资料

相关文章

上一篇 · GEO观察AI 搜索按问法分配答案位，中小企业硬拼品类词很吃亏
电话 400-618-9836周一至周五 9:00–18:00