GoogleのウェブマスターツールのRobots.txt生成、URL削除ツールを使ってみる

ブログを運営してる中で、同じ内容なのに別のURLのページがたくさん生成されてしまったので、GoogleのウェブマスターツールでRobots.txtを作成しサーバーにアップ、URL削除をしてみる。

別のURLに同じ内容のページが生成されたのは、いくつかの原因がありました。

• BlogWrite（ブログソフト）で1つ前投稿したエントリが9時間ずれてしまう問題があったとき、時間でURLを表示していたのでURLが2つ生成されたという点。
• また、MovableTypeを始めて運用したこともあり、時間でURLを表示させる設定を途中からしたので2つURLが生成された点。
• URLを時間で指定した上で、日にちの後ハイフンを入れる様に表示を変えた為（現在の形）URLが二重になった点。

上記のためミラーページが意識してないところで生成されてしまいました。スパムのつもりはなくても検索エンジン的にはNGです。

まずサーバー上のダブっているURLを削除しました。「.htaccess」で301リダイレクトをかけた方が良いのかもしれません。301リダイレクトなら新しいページに自動で飛ばすことができます。でも今回は面倒なのでしませんでした。潔く削除。

「Googleウェブマスターツール」→「ロボットテキストを生成」で

1: デフォルトのロボット アクセスを選択します
すべてのロボットを許可 (推奨 - 次のステップでこのルールを調整できます) を選択

2: 追加ルールを指定します (オプション)
処理はブロック、ロボットはGooglebotを選択。いらないURLを全て書き込む。

3: robots.txt ファイルを保存します
出来たファイルをローカルにダウンロード。

そのあと、サーバーのRootにアップロードした。ファイル名は必ずrobots.txtにすること。

次に「Googleウェブマスターツール」→「URLを削除」

で削除希望のURLを入力した。

これで、多分大丈夫なはず。（始めてやったので確信はない）少なくともミラーでは無くなるはずです。

URLがダブっているのに気がつくのが遅かった。こういう部分は結構神経質になった方が良いんだなと思いました。

検索エンジンはロボットですし、こちらからはコントロールできませんが、基本ルールには準じていないといけません。反省。