建站日志_12

警报解除（？）

为了应对bing爬虫做了一些调查和工作。

首先我非常推荐这篇博客：How to Remove URLs From Google Search (5 Methods) (ahrefs.com) 这篇博客从SEO（search engine optimization）的角度，梳理不同情况下应对搜索引擎收录问题的方式。

就这个站目前而言，做了两点工作。一是在根目录下加了robots.txt，声明禁止爬虫爬取。二是做了bing webmaster tools里block URL。但是目前看来一旦bing做了网站索引，除非把网站删了，不然就要手动加noindex的meta标签。目前还有缓存能被搜索到，不能说是完全解决了。

但是我确实有些憋坏了，还是想写东西post。正在看hexo-hide-posts的库，怎么把文章藏起来不被抓到。

04/04 续：原来是block URL和robots.txt发生了冲突。如果我在robots里禁用了爬虫，那blockURL就不会起作用。现在应该无法被bing检索到了。