Ahrefs、SEO・AI 検索の問題を検出する「サイト監査」を強化。4 億件超のリンクを扱う規模へ

マーケティングプラットフォーム「Ahrefs（エイチレフス）」を提供する Ahrefs Pte. Ltd. は、サイトの健康状態をチェックし、SEO や AI 検索に関わる技術的な問題を検出する「サイト監査（Site Audit）」の大規模サイト対応を強化しました。クロールで収集した情報の保存方法と検索処理を改善。現在、4 億件超のリンクを扱う実運用のプロジェクトでも、顕著な問題なく稼働しています。既存の問題検出・分析機能を維持しながら、膨大な情報を扱うサイトの調査を支援します。

▪️ サイトの健康状態をチェックし、SEO・AI 検索の問題を検出

サイト監査は、ウェブサイトを巡回してページやリンクの状態を調べ、修正が必要な技術的な問題を見つけるためのツールです。リンク切れやインデックス登録に関する問題などを把握し、サイトの健康状態を確認できます。

SEO に関する点検に加え、AI がサイトの情報を発見・取得する際の障害となり得る問題の検出にも対応しています。例えば、robots.txt で AI 検索ボットをブロックしているページや、AI クローラーにとって重すぎる・遅すぎるページを確認できます。AI 学習ボットに対する許可・拒否の設定に、一貫性がない箇所も検出対象です。

こうした機能を使い、検索エンジンや AI に伝えたい情報へアクセスできる状態かを点検できます。AI 回答でのブランドの言及数や引用数を測る機能とは異なり、サイト側の技術的な課題を確認するものです。なお、これらは既存の検出機能であり、今回の更新は大規模サイトでの処理基盤の強化です。

▪️ 大規模サイトの課題は、情報を集めた後の分析にもある

大規模サイトでは、情報を集めるだけでなく、収集後の検索・集計を円滑に行えることも重要です。分析画面の表示や条件を指定した調査が滞ると、修正が必要な箇所の確認が難しくなります。

サイト監査は数百のデータ項目や柔軟な分析条件を扱います。一方、その柔軟性は大量の情報を処理する際の負荷にもつながっていました。

従来、数億件のリンクを含む大規模なクロールでは、分析画面の表示時に処理が失敗したり、制限時間内に処理が完了しなかったりすることが課題となっていました。

▪️ 保存・検索処理を改善し、4 億件超のリンクを扱う規模へ

今回の改善では、サイト監査がクロール結果を保存し、その中から必要な情報を取り出す仕組みを見直しました。大規模なサイトでも収集した情報を分析に活用できるよう、処理基盤を強化しています。

改善後は、4 億件超のリンクを扱う実運用のプロジェクトが、顕著な問題なく稼働しています。収集後の情報を調べ、課題を確認する工程まで含めて、大規模サイトでの利用を支えます。

この数値は、実運用で扱っているリンク数を示すものであり、ページ数ではありません。また、全サイトに共通する処理上限や、一定の処理時間を保証する値ではありません。

サイト監査の概要画面。クロール済み URL は 1,411,361 件、検出リンクは 166,515,743 件。本文で紹介した 4 億件超のリンクを扱うプロジェクトとは別の表示例です。

▪️ 詳細な分析と継続的な監査を、大規模サイトでも

今回の対応では、サイト監査が備える分析の柔軟性を維持しながら、大規模なクロールへの対応を強化しました。以下のような既存機能を組み合わせて、サイトの状態を調べられます。

① 数百のデータ項目と、独自の課題設定

ページやリンクの詳細な情報を確認し、自社で定めた条件に基づく課題を設定できます。共通の監査項目だけでなく、個別の運用基準に合わせた調査に活用できます。

② 対象を分けた分析と、条件による絞り込み

セグメント、グラフ、フィルターを使い、膨大な情報から調べたい範囲を選択できます。サイト全体を確認する場合と、特定の範囲を詳しく調べる場合を切り替えながら分析できます。

③ API・MCP を通じた監査データの活用

外部のシステムや AI ツールとの連携に使う API・MCP を通じ、サイト監査のデータにアクセスできます。画面上での確認に加え、自社の分析業務や外部のツールと組み合わせた活用にも対応します。

④ 継続的に情報を更新する常時オンサイト監査

クロールした情報を継続的に更新する常時オンサイト監査（Always-on Audit）にも対応しています。一度の調査だけでなく、更新が続くサイトの状態を継続して把握するために利用できます。

企業概要：Ahrefs（エイチレフス）について

Ahrefs Pte. Ltd.（エイチレフス）は、独自開発の大規模ウェブクローラーとデータ技術により、正確かつ鮮度の高いマーケティングデータを収集・解析しています。SEO 分析を中核に、AI 検索分析、AI コンテンツ作成、ウェブトラフィック分析、SNS 投稿管理などを網羅したオールインワン・マーケティングツール「 Ahrefs（エイチレフス）」を開発・提供。さらに昨今は、 Ahrefs の膨大なデータと熟練の SEO スキルを統合し、 SEO の常識を塗り替える対話型 AI ワークスペース「Letaido（レタイド）」も提供しています。世界 180 カ国を超えるユーザーに利用され、競合分析からコンテンツ戦略まで、データに基づく効果的なマーケティング施策の立案と実行を支援しています。

会社名：Ahrefs Pte. Ltd.

本社所在地：7 Straits View, #08-02, Singapore 018936

代表者：Dmytro Gerasymenko

公式サイト：https://ahrefs.com/ja