Googleサーチコンソールでrobots.txt によりブロックされた時の対処方法を紹介します。
初心者の場合、突然Googleからメッセージが届くと驚きます。それも警告ともなればなおさら焦ってしまいます。初めての場合は対処方法がまだ未体験だからです。
今回紹介する警告のメッセージは次の様にGoogleから届きました。
新規にブログを開設して３カ月目にメールでGoogle Search Console Teamから「robots.txt によりブロックされましたが、インデックスに登録しました」というメッセージがです。
初心者にはさっぱり理解が出来ない内容なので調べながらの対処をしました。その原因と対処方法を紹介します。
その２：robots.txt によりブロックされ原因
その３：ブロック解除の対処方法と結果
その１：「robots.txt によりブロック・・」メッセージ内容
Googleサーチコンソールはブログサイトの記事がインデックスされていて正常に検索結果に表示されているかどうかをチェックする重要なツールです。
たまにGoogleが投稿した記事をインデックスしないことがあります。その様な時にはk時をチェックしインデックス可能かどうかをチェックするなど無くて半らない管理ツーで毎日記事のチェックが欠かせません。
また、どの様なキーワードで検索されているのかなど検索に関する情報もSEOには無くてはならないデータを提供してくれます。
その様なGoogleサーチコンソールからメッセージや警告がくると一瞬不安になります。なので、どの様なメッセージなのかを確認して原因を突き止めて対処するノウハウを学ぶことが大切です。
今回のメッセージから通常は起きないルーチンでもエラーでもあり初心者が対応する応急処置としての対処方法を紹介しました。
それでは、メッセージの内容の確認から始めます。メッセージを引用すると以下の通りです。
警告は「できる限り解決されるこをおすすめいたします」となっていて推奨項目なのですす。重要ではあるけれども必須では無いようなのでゆっくりと確認できます。
「カバレッジの問題を解決する」をクリックしカバレッジに進んで内容を確認すると次のようになっています。
「例」に表示されているURLが、「robots.txt によりブロックされましたが、インデックスに登録しました」ということが問題だと警告してきたのです。
青い枠で囲んだ部分を見ると、/w-admin/index.php となっています。
この場所は 「/w-admin 」だから、WordPressの管理フォルダー内のページです。つまり、管理フォルダー内のページが問題の場所です。
管理フォルダーの中とは何か怪しい臭いがします。ハッカーかスパムかよく分かりませんが場所だけに危険性を感じます。
その２：robots.txt によりブロックされた原因
今回のエラーメッセージで問題なのはサイトの手直しなどで「一時的に意図してブロックした」その後にクローラーがインデックスしてしまったからではないのです。
何もしていないのに重要なページがインデックスされている事が原因なのです。なぜ起きたのかの分析が難しいところです。
通常Wordpressの管理フォルダーはブロックされている
通常WordPressでは、管理フォルダー内のページは検索エンジンがスクロールしないように、デフォルトで「robots.txt 」によりブロックされています。
しかし、なんらかの要因でインデックスされてしまうことがあります。
ヘルプを見ると、その原因は以下の様に「他のユーザーがこのページにリンクしている場合」と説明がありました。（抜粋）
Google では、常に robots.txt を使用して登録しますが、他のユーザーがこのページにリンクしている場合、robots.txt は使用されません
引用：Googleサーチコンソール ヘルプ
この説明文を読むとやはり何か怪しさを感じるのですが専門家ではないので一応頭にいれました。
本来インデックスされないはずの管理フォルダー内のページがインデックスされたことを受けて、「robots.txt によりブロックされましたが、インデックスに登録しました」と警告していのです。
ようは、「本来インデックスされないはずだけど、何らかの原因でインデックスされたよ。判断できないので、あとは自分で調べて対処してね」ということです。
その３：ブロック解除の対処方法と結果
通常WordPressの管理フォルダー内のページは、先ほど説明した通りGoogleの検索クローラーに検索されないようにrobots.txt によりブロックされています。
なので、ブロックされているページがクローラにインデックスされるのは好ましい状態ではありません。
（１）対処方法
インデックスされていても検索結果に表示されることは、殆ど無いため、Googleサーチコンソールからの警告は「サイト改善のための推奨項目」となっているのです。
よって、今回の警告はそのまま対処せずに放置しても問題はないのでこのままにすることにしました。
さらに立ち入った処理方法もあるのですが、そこはプロに任せておきます。今回は初心者が応急処理で対処し、その後詳細がわかれば本格的な対処をすることにしたのです。
（２）対処の結果
警告をそのまま対処せずに放置しても問題はないのでそのままにすることにしました。
警告から11日目に問題は解消しました。
渓谷から11日目にGoogleサーチコンソールのカバレッジを確認しました。
すると、有効（警告あり）がゼロで問題なしになっていて、下の①をクリックしすると「検証に合格しました」となっていました。時系列の問題表示も消えていました。
つまり、問題は解消して合格したということです。
初めは、WordPressの管理フォルダーのインデックス関連を操作して問題解決をしようと思っていました。
しかし、問題を確認するために問題点をクリックして表示させて確認しただけで、問題は解消されたということです。
この場合、問題点ではあるけれども大きな影響がない為、管理者が確認すればそれで問題は解消したと判断して、合格を出したものと推測されます。
まとめ
『robots.txt によりブロック』の警告の原因と対処方法について紹介しました。
今回の事から、問題が発生した場合、急がずに状況をみて対応する事も必要と思いました。
