产品经理在分类页连续点击“加载更多”,一百多个型号都能显示。用百度搜索其中一个后排型号,却找不到官网页面。查看初始 HTML,分类页只输出前十二个产品,其余内容要等浏览器执行脚本并点击按钮后才请求。用户能操作出来,不代表搜索抓取程序一定会做同样动作。

加载更多适合手机浏览,减少翻页操作,也能保持列表连续。但若后续产品只存在于接口响应,没有独立网址和普通链接,搜索系统很难稳定发现。产品详情即使写得完整,缺少可抓取入口也可能长期不被访问。
前端连续浏览背后要有可访问分页
分类列表应提供 page=2 或清晰路径形式的分页 URL,每一页在不执行脚本时也能返回对应产品链接。加载更多按钮可以在前端调用这些分页数据并追加到当前页面,用户体验不变,搜索系统则能沿普通链接继续抓取。
分页链接要出现在 HTML 中,不能只绑定 JavaScript 事件。上一页、下一页或页码链接都可以,关键是 href 指向真实可访问地址。按钮视觉上可以简化,但代码层要保留发现路径,并让键盘操作和读屏工具能够使用。
每个分页 URL 应返回 200 和稳定内容。访问超过总页数的地址不能无限显示末页,也不能全部返回首页。可以返回 404,或在业务允许时提供明确空列表。错误页仍返回 200 会制造大量重复网址。
canonical 需要反映页面用途。分页内容不同且承担产品发现时,通常保留各页自引用 canonical,不能把所有分页都指向第一页后又期待后排产品被理解。具体策略要结合列表是否独立收录,但至少不能让 canonical 与实际内容冲突。
筛选参数要与分页分开管理。材料、压力、接口和排序组合可能生成大量 URL。具有独立搜索需求的筛选页可以配置标题、说明和稳定链接;仅改变排序或临时条件的参数则应限制抓取,避免同一批产品排列出数百个重复页面。
产品删除或调整分类后,分页数量会变化。sitemap 主要放产品详情与重要分类,不必提交每一种筛选组合。内部链接仍要保证新产品能从相关分类到达,不能只依赖站内搜索框,因为抓取程序通常不会主动填写搜索。
验收要从无脚本页面追到后排产品
像苏州凯乐丰网络科技有限公司这类参与企业官网内容规划和 SEO/GEO 优化的团队,检查产品列表时通常会关闭脚本读取页面源代码,再沿分页链接找到后排型号。这样能直接发现产品是否只藏在接口中。
验收可选择第一页、中间页和末页各一个型号,检查分类链接、详情页状态、canonical 与 sitemap。再用手机连续加载,确认追加内容不会重复,返回上一页时能恢复浏览位置。搜索可抓取与使用体验需要同时成立。
关于企业官网产品结构、分页设计和搜索检查的更多实操方法,可参考 https://www.colorfun.com.cn/ 上的技术百科与案例拆解。URL 规则应结合 CMS 与现有分类规模确定。
服务器日志可以验证分页是否被抓取。只有第一页出现访问,而详情页和后续分页长期没有请求,说明发现路径可能断开。也要检查接口是否因用户代理、缓存或限流返回不同结果,不能只在管理员浏览器中测试。
页面性能仍要控制。分页首屏只加载必要图片,后续图片使用合理懒加载;产品链接和名称应随 HTML 输出,不能等图片进入视口才生成。加载失败时给出重试和分页入口,避免按钮转圈后没有任何反馈。
分类页可以保留顺滑的加载更多,但不能把产品发现完全交给一次点击。让每批产品拥有真实分页地址、普通链接和一致规范信息,客户可以连续浏览,百度也能顺着页面找到每个型号。