前略、naigasiro さん

私は、経験がないので、ググった程度ですが・・

何か特別な原因があれば事情が変わってくるかとは思いますが、

１. URL検査ツールで、GoogleにURLが登録されているか調べる

２. robots.txtテスターで、クロールが可能かどうかを調べる

３. URL の再クロールを Google にリクエストする

URL 検査ツール

robots.txt テスターで robots.txt をテストする

URL の再クロールを Google にリクエストする

ごく一般的な対処法を探ってみるとこんな感じでしょうか。

投稿者:: @naigasiro

robots.txt内ではクロール許可とワードプレスで自動的に作成される行のみのシンプルなものに変更しておりますが改善しません。

ということは、以前はなにか クロールがなされないような記述があったため、削除した、ということなのでしょうか。

@leafytree　様

ご回答ありがとうございます！

投稿者:: @leafytree

１. URL検査ツールで、GoogleにURLが登録されているか調べる

こちらは以前されていましたが現在は登録されてない状態にあります。

投稿者:: @leafytree

２. robots.txtテスターで、クロールが可能かどうかを調べる

情報ありがとうございます！こういったのがあるんですね。。試してみたところ、

「robots.txt 取得エラー
現在 Google で取得できない robots.txt ファイルがあります。この場合、Google が robots.txt を取得するまでサイトのクロールが停止されるか、前回取得した robots.txt ファイルが使用されます。」

上記メッセージが表示されました。

この点が問題だと思うのですが改善策がわかりません。。。

投稿者:: @leafytree

３. URL の再クロールを Google にリクエストする

こちら先日から複数回行っておりますが下記エラーメッセージが表示されてしまいます。

「インデックス登録リクエストに失敗しました

ライブテスト中に、URL のインデックス登録に関する問題が見つかりました」

投稿者:: @leafytree

以前はなにか クロールがなされないような記述があったため、削除した、ということなのでしょうか。

この点は特にブロックするような記述はなく、サイトマップ関連の行があった程度です。

すみません。現時点ではこのような状態でございます。。。

@naigasiro さん

この問題は、私はちっとも詳しくないのですけれども・・

以下のリンク先の説明を読んでいたら、

Robots.txt の仕様

以下のような記述が目にとまりました。

文字エンコードで UTF-8 のサブセットではない文字が使用される場合、ファイルの内容が誤って解析される場合があります。

robots.txt ファイルの冒頭に省略可能な Unicode BOM（バイトオーダー マーク）がある場合は、無視されます。

最初に書きこまれた、以下の作業について

投稿者:: @naigasiro

obots.txt内ではクロール許可とワードプレスで自動的に作成される行のみのシンプルなものに変更しておりますが改善しません。

このシンプルなものに変更されたとき、文字コードをUTF-8（BOMなし）でプレーンテキストを扱うことができる適切なテキストエディターを使用して robots.txt を記述されましたでしょうか？

@naigasiro さん

私は本当に詳しくないので、間違っているかもしれませんが、robots.txt は現在以下のようになっているようです。

User-agent: *
Disallow: /wordpress/wp-admin/
Allow: /wordpress/wp-admin/admin-ajax.php

これで、合っているような気がするので、適切なテキストエディターを使用して記述されたのかと、ちょっと、その辺りが気になったという訳です。

あとは、サイトマップのURLを入れて・・

User-agent: *
Disallow: /wordpress/wp-admin/
Allow: /wordpress/wp-admin/admin-ajax.php

Sitemap:  https://www.wedgehome.co.jp/sitemap.xml 

こんな感じのような気もするのですが・・

@naigasiro さん

もう一度 robots.txt の記述を適切なテキストエディターを使用して書き直したものをアップロードしてみる、というのはいかがでしょうか？

BOM等が原因でなれば、改善しないとは思いますが・・

文字コードをUTF-8（BOMなし）でプレーンテキストを扱うことができるテキストエディターなら、まあ、何でもいいのだと思いますが、私のよく使っているのは、Mery とうシンプルなテキストエディターです。

使用方法は、以下の過去のトピックにあります。

Mery 設定方法

naigasiroさん

突然失礼致します。

お知らせ頂いたURL( https://www.wedgehome.co.jp/ )を「PageSpeed Insights」で確認してみると、以下のようなメッセージが表示され、アクセス出来ないようです。

Lighthouse returned error: FAILED_DOCUMENT_REQUEST. リクエストしたページを Lighthouse で正確に読み込めませんでした。テスト対象の URL が正しいこと、サーバーがすべてのリクエストに適切に応答していることを確認してください。（詳細: net::ERR_TIMED_OUT）

.htaccessなどで、Googleや海外IPのアクセスを拒否しているよなことはないでしょうか。

あまり詳しくはないですが、robots.txtが「PageSpeed Insights」に影響するものなのか。
しかも現状の内容で。

混乱させる結果になってしまったら、ごめんなさいです。

m k 2 さん

私も、W3C のHTMLバリデーター を使ったら、エラーになってしまいました。

naigasiroさん

より詳しい方の書き込みをお待ちになった方が良いかもしれません。

Goole翻訳で翻訳すると・・

< https://www.wedgehome.co.jp/>を取得しようとすると、次の予期しない応答がありました。 

500 www.wedgehome.co.jp:443に接続できません（接続がタイムアウトしました）

ドメイン名（DNS）構成に最近変更を加えた場合は、ドメインレコードが正しいことを確認するか、ホスティング会社に依頼することもできます。

naigasiroさん

最近、.htaccess の記述を変えた、という心当たりはありませんか？

@leafytree　様

様々なご提案ありがとうございます！

投稿者:: @leafytree

もう一度 robots.txt の記述を適切なテキストエディターを使用して書き直したものをアップロードしてみる、というのはいかがでしょうか？

上記までのBOMなしUTF-8で上げなおしてみてましたが、結果は変わりませんでした。。

投稿者:: @leafytree

.htaccess の記述を変えた、という心当たりはありませんか？

最近記述を変えた心当たりはありません。

なかなか難しいですね。。

ｍｋ２　様

ご連絡ありがとうございます！

.htaccessなどで、Googleや海外IPのアクセスを拒否しているよなことはないでしょうか。

htaccessでブロックした記憶がないので現在サーバー設定などを確認しておりますが、特に制限をかけるような設定はありませんでした。。

@naigasiro さん

投稿者:: @naigasiro

上記までのBOMなしUTF-8で上げなおしてみてましたが、結果は変わりませんでした。。

だとすると、robots.txt の記述の問題ではないのかもしれませんね。

投稿者:: @naigasiro

最近記述を変えた心当たりはありません。

となると、レンタルサーバーのサポートやドメイン管理会社のサポートに問い合わせてみる、という感じでしょうか・・

このフォーラムでも、詳しい方が何か書き込んでくださると良いのですが・・

naigasiroさん

そうですか、困りましたね。

Qiitaというサイトに、海外サーバーからWebサイトへのアクセスを確認出来るサービスがあると載っていました。
https://qiita.com/natsuya-sh/items/a09e3f7d4e98d2dc4a44

「 https://www.browserling.com/ 」というサービスみたいなのですが、そこからご提示のサイトにアクセスすると、どうも応答が返ってこない感じです。

やはり海外からのアクセスが何らかの制限を受けているのではないかという気がします。

naigasiroさん

しつこくてスミマセン。

やはり、海外からのアクセスに制限が掛かっている気がします。

どれくらい信頼性があるのか分かりませんが、海外のサーバーからのアクセスをテストできる以下サイトで確認してみました。

Uptrends – Free Website Uptime & Availability Test
https://www.uptrends.com/tools/uptime

その結果、日本（東京）以外のサーバーからは全滅のようです。

これから画像を3つ添付します。

naigasiroさん

2枚目です。

SiteGuard WP Pluginが怪しいような気がします。
ここでも同様の症状が起きています。
https://shiroajisashi.hatenablog.com/entry/2019/11/13/092654

naigasiroさん

最後の3枚目です。

わいひさんの貼り付けてくださった記事をよく読んでみると、一旦、SiteGuard WP Plugin の記述部分を消して、また戻した？というよくわからない解決方法のようで・・

これでなんで解決したのか、という理由がよくわらない・・ですね。

リフィトリー 様

ｍｋ２様

わいひら　様

ご連絡ありがとうございます！

やはり、海外からのアクセスに制限が掛かっている気がします。

ｍｋ２様のご指摘の通り、先ほどレンタルサーバー側から回答がありまして

サイトが改ざんされたため海外からのアクセスをブロックしているとのことでした。。

色々調査していただき大変参考になりました。感謝しております。

@naigasiro さん

そうなんですね。

原因がわかって良かったですね。

でも、その旨、メール等で告知していただけるといいのに・・ですよね。

naigasiroさん

原因がハッキリして良かったです。
サーバー側がブロックを解除するまでは、しばらく待つしかない感じですね。
（GoogleのIPは開けておいても良いと思うのですけど、個別にはできないのかもですね。）

リフィトリーさんの仰るとおり、告知して欲しいです。
これは、分からないですよ。

後学のために、そんなことを連絡なしにしてしまうレンタルサーバー名を教えていただいてよろしいでしょうか。
znlc.jpとなっているからZenlogicとかであっているのかな。

まあまあ、そこらへんは、ご想像で、という方が、無難なような気がします。

あまり実名は出さない方がよろしいかと・・

後まで残ってしまうので・・

おあとがよろしいようで・・

いや、でももし連絡なしに制限が事実なら、知っておいた方が、これからサーバー選びをする方の利益になると思いまして。
サーバーだけの判断で、サイトが勝手にGoogleにインデックスされないようにされるなんて、かなりのことだと思いますよ。

もしかしたら、何かしらの通知をしていた、ということもあるかもしれないですし、よく調べてみないとわからない点もあろうかと思われます。

こんにちは。

Google botのIPは公開されてないので、ユーザーエージェントでGoogleだけ許可してもらうようにサーバー会社に問い合わせしてはいかがでしょうか？

ユーザーエージェントの偽装とかできそうな気もしますが・・・。

どちらにしても、ハッキングされたコンテンツはGoolgeの検索結果から消えると思うので、あまり結果的には変わらなかったかもしれないですね。（co.jpの改ざんは特に怖いですし）

まずは脆弱性を改善してもらうのが先決で、そのあと海外からのIPを解放するか、ユーザーエージェントでGoogleだけ許可してもらうかだと思います。

海外アクセスを規制した際、robots.txtに500エラーを返していたら、検索結果の復活まで時間が掛かるかもしれません・・・。

https://www.suzukikenichi.com/blog/googlebot-resumes-crawling-if-robotstxt-returns-for-more-than-30-days/

応答が遅くなり大変申し訳ございません！

（現在対応中でバタバタしております。。）

事前告知については2/24に登録メールアドレス宛にあったようですが

現在使用していないメールアドレスのため確認できてない状態でした。。

いろいろ推測させてしまい大変申し訳ございません。

Googleのみ解放の案、ありがとうございます！

こちら、サーバーに確認をとりたいと思います。