Google宣布不再使用单独的Googlebot-News爬虫来为Google News抓取新闻内容，新闻爬虫将被Googlebot网页爬虫所代替，至此Google就只有这一种爬虫了。
如果你想让Google同时将你网页的内容作为网页搜索和新闻搜索来索引，你不必做任何改变，Google还是会像以前那样抓取你的内容。只不过在你查看服务器日志的时候，不会再看到Googlebot-News爬虫的身影了，取而代之的是统一的Googlebot爬虫。
如果你依然不想让Google News收录你的网站新闻，那么还是可以在robots.txt里使用Disallow标签来告诉Googlebot-News爬虫而不必手动改成Googlebot爬虫，因为Google会明白你的意思。
其实这样改的好处在于你只需要写同一个语句，即可同时阻止Google网页爬虫和新闻爬虫的索引，不必为每个爬虫单独设置规定了。
