diary @ 2012-03-27

一早就收到 Web Hosting Hub 連下兩道令牌 兩封緊急通知:
URGENT: Account Suspension Notice
Web Spiders and Robots.txt
關鍵字:heavily crawled, 又要抓蜘蛛了 Orz
從 hostmonster 搬過來時, 忘了把過去 ban 掉的 ip 也擋在新家門外, 還忘了放給蜘蛛用的說明書 (robots.txt), 結果它們就這樣長驅直入、大吃特吃, 妨礙到鄰居安寧, 管理員就來警告我了 Orz
除了舊的黑名單, 我用 WassUp 這個 plugin 來抓沒禮貌的蜘蛛。除了正常存取行為, 它還會標示出 SPIDER、FEEDREADER 和可疑的 SPAM、HACK, 方便予以懲戒 XD
ban ip 是極刑, 可能會傷及無辜, 但跟帳號被停比起來, 也管不了那麼多了 😛
PS. Web Hosting Hub 的 technical support 反應很快很精確, 給個讚。

Leave a Reply

Your email address will not be published. Required fields are marked *