robots.txtがないと、Googleのインデックスから消える!?

記事を読むと、確かになんとなく納得します。。。
参考:robots.txtがないとグーグルのインデックスから消えるかも | 海外SEO情報ブログ

ロボットは、サイトにアクセスしたときにまず最初にrobots.txtを確認するように設計されています。
robots.txtが存在しなければ、サーバーは404エラーを返し、ロボットはそのままクローリングを開始します。

ところが、robots.txtがないにもかかわらず、サーバーが404エラーを返さないで、タイムアウトしたり不適切なリダイレクトを実行したりしていると、ロボットがクローリングできなくなってしまうらしいのです。

なるほど。
robots.txtがないときの挙動が何か違うときに、ロボットくんが「もういいや!」と投げてしまうわけですね。
普通に404だったらきっと大丈夫・・・なはず。
うーん・・・だいじょぶ・・・だよねぇ・・・?