AIEO.ee
技术 SEO

站点审计

为你的站点打分的礼貌爬虫——检查项、严重度与运行方式。

Technical SEO → Site Audit 用礼貌爬虫抓取项目域名,返回带评分的技术问题清单。

抓取如何工作

  • 种子:抓取队列始终从首页开始;已发布的 sitemap 是补充来源,向队列补充其发现的 URL(不替代首页种子)。
  • 预算:手动运行默认 40 页(单次请求上限 60);每周 cron 使用 min(30, 平台审计页数上限)——计划内扫描刻意比手动运行更小。
  • 礼貌性:抓取间隔约 150 ms,一次只爬一个域名,标准爬虫 UA——没有激进的并发。
  • 安全:私网/内网地址被 SSRF 防护直接拒绝(与 REST API 同一规则);非 HTML 资源(PDF、图片)会被识别,但不参与内容检查。

检查什么

对每个被审计的 HTML 页面,分三个严重度:

严重度检查项
critical坏链(页面返回 ≥400)· 缺失 <title>
warning页面无法抓取 · 缺失 meta description · 无 H1 · 多个 H1
notice标题 > 60 或 < 30 字符 · 薄内容(< 300 词,非首页)· 超过 3 张图片缺 alt · 缺失 canonical · 非 HTML 资源

每个问题都带 detail 与 how to fix 建议——审计写给实际修问题的人,不只是 SEO 专家。

分数

审计运行以 0–100 分收尾,由问题构成推导(critical 权重最大)。趋势比绝对值重要:周度任务保留历史,所以「迁移后的分数」一眼可比。

何时运行

  • 周度 cron(默认 UTC 周一 06:00;WORKER_*_CRON 可改)覆盖所有活跃项目——与其他调度任务一样受配额检查。
  • 页面上的手动运行(可选页数预算)。手动运行不会与 cron 扫描静默冲突——两者使用独立的 job ID。

流程

  1. 先修 critical(坏链、缺标题)——便宜且高影响。
  2. 重跑审计确认分数变化。
  3. 把持续存在的 warning 喂给 Growth Agent 的建议——审计问题是 agent 的输入之一。

本页目录