11日目に警告解消「robots.txt によりブロックされましたが、インデックスに登録しました」の原因と対処方法

(公開:2019年9月9日、更新:2019年9月23日)

メールでGoogle Search Console Teamから警告がありました。「robots.txt によりブロックされましたが、インデックスに登録しました」という内容です。その原因と対処方法を説明します。

警告の内容

この様なメールのタイトルです。

下の方にスクロールすると、警告の内容があります。

「主な警告」では、推奨項目となっています。必須では無いようです。

では、原因を調べてみます。

原因を調べます。「カバレッジの問題を解決する」をクリックします。

カバレッジに進み、内容を確認します。次のようになっていました。

「例」に表示されているURLが、「robots.txt によりブロックされましたが、インデックスに登録しました」ということが問題だと警告してきたのです。

青い枠で囲んだ部分を見ると、/w-admin/index.php  となっています。

この場所は 「/w-admin 」だから、WordPressの管理フォルダー内のページです。つまり、管理フォルダー内のページが問題の場所です。

これが原因です。

通常WordPressでは、管理フォルダー内のページは検索エンジンがスクロールしないように、デフォルトで「robots.txt 」によりブロックされています。

しかし、なんらかの要因でインデックスされてしまうことがあります。ヘルプを見ると、その原因は以下の様に「他のユーザーがこのページにリンクしている場合」と説明がありました。(抜粋)

それって気になりますが、どんなユーザーなのでしょう?時間がないので、後日調査します。SNSあたりが気になります・・・


Google では、常に robots.txt を使用して登録しますが、他のユーザーがこのページにリンクしている場合、robots.txt は使用されません

引用:Googleサーチコンソール ヘルプ

本来インデックスされないはすの管理フォルダー内のページがインデックスされたことを受けて、「robots.txt によりブロックされましたが、インデックスに登録しました」と警告してくるのです。

ようは、「本来インデックスされないはずだけど、何らかの原因でインデックスされたよ。判断できないので、あとは自分で調べて対処してね」ということです。

対処方法について

通常WordPressの管理フォルダー内のページは、先ほど説明した通りGoogleの検索クローラーに検索されないようにrobots.txt によりブロックされています。なので、ブロックされているページがクローラにインデックスされるのは好ましい状態ではありません。

しかし、インデックスされていても検索結果に表示されることは、殆ど無いため、Googleサーチコンソールからの警告は「サイト改善のための推奨項目」となっているのです。

よって、今回の警告はそのまま対処せずに放置しても問題はないのでこのままにすることにしました。

以下は、手順を間違えるとアクシデントが発生する場合もあるので、初心者はここで終わりとします。

もし改善する場合は、次の流れとなります。

流れだけ説明します。

管理フォルダーのページがインデックスされてしまったので、そのページをインデックスされないようにnonindexに指定します。(あるいは、フォルダー内の全てのページ)

つぎに、nonindexしたページ(或いはフォルダー)をクローラが読み込めるようにブロック指定を解除します。

するとクローラは全てのファイルをインデックスするようになりますが、そこであらためて先にnonindex指定されたページ(或いはフォルダー内全てのページ)がクローラにインデックスをされなくなるという流れです。

結果 2019年9月23日

前回、警告はそのまま対処せずに放置しても問題はないのでそのままにすることにしました。

そろそろ対処しようとGoogleサーチコンソールのカバレッジを確認しました。

すると、有効(警告あり)がゼロで問題なしになっていて、下の①をクリックしすると「検証に合格しました」となっていました。

警告から11日目に問題は解消しました。

つまり、問題は解消して合格したということです。

時系列の問題表示も消えていました。

初めは、WordPressの管理フォルダーのインデックス関連を操作して問題解決をしようと思っていました。

しかし、問題を確認するために問題点をクリックして表示させて確認しただけで、問題は解消されたということです。

この場合、問題点ではあるけれども大きな影響がない為、管理者が確認すればそれで問題は解消したと判断して、合格を出したものと推測されます。

まとめ

今回の警告は、本来インデックスされることの無いWordPressの管理フォルダー内のページがインデックスされたことで、警告があったというものです。

基本的には、急いで修正する必要がないので今回はこのまま処理せずに放置しますが、後日、時間を見つけて「警告」の表示をサーチコンソールから消したいと思っています。

放置しても問題はないのですが、カバレッジの警告表示が残ったままになるのはちょっと嫌だなという方は、改善する流れの手順の詳細を調べて自己管理のもと処理することになります。

追記:2019年9月23日

今回の事から、問題が発生した場合、急がずに状況をみて対応する事も必要と思いました。

もし、管理フォルダーを操作して問題解決しても同様の結果になるのなら、リスクを背負ってまですることは無いと思いました。

nao(NAOテック)