建站的时候满心欢喜:域名有了、主题换了、文章写了两篇,感觉自己马上就是个"有博客的人"了。结果打开 Bing 一搜,site:yrqspace.github.io,啥也没有。
一开始我是不慌的,毕竟新站嘛,等就是了。等到第 5、6 天还是零结果,去 Bing Webmaster Tools 一看,状态写着——“已发现但未爬网”。
好家伙,意思就是:Bing 知道你在这,但就是不来你家看看。发现时间是 10 月 4 日,到 10 月 15 日已经 11 天了,连门都没敲一下。
于是我的折腾开始了。
第一回合:老老实实按门铃
最先做的,是把站点地图通过 IndexNow 提交上去。IndexNow 是啥?你可以理解成"门铃"——按一下,告诉 Bing"这有新内容了,来抓我"。
提交方式简单到离谱:浏览器打开一个链接就行,像这样:
|
|
页面返回空白,一开始我还以为失败了,后来才知道——成功就是空白。对,IndexNow 提交成功时响应体是空的,什么都没写。看着像个 bug,其实是规范。
第二回合:robots.txt 居然是 404
顺手去检查 robots.txt,结果一打开——404。
当时心想完了,是不是挡着搜索引擎了?查了一圈才明白:没有 robots.txt 不等于禁止访问,它只是"路标"而不是"通行证"。没有它,爬虫默认就是放行的,所以 404 根本不是收录慢的原因。
不过既然没有,那就补一个,顺便把 sitemap 指给搜索引擎:
|
|
第三回合:让"门铃"自动化
手动提交了几次之后,我寻思:我每次更新博客都要手动开链接按门铃,太蠢了。我的部署是双击一个 上传.bat 脚本完成的,那能不能让它推送完自动提交 IndexNow?
说干就干,在脚本末尾加了行 curl。结果一跑,报错:
|
|
排查半天,真相是:Windows 命令行的 & 是"命令分隔符"。我的链接里 sitemap.xml 和 key= 之间那个 &,被 cmd 当成"再执行一条命令"拆开了。解决办法是在 & 前面加个 ^ 转义:
|
|
跑完还是静悄悄的,什么输出都没有。我还以为又失败了,后来去 Bing Webmaster Tools 看 IndexNow 报告——提交的 URL 数从 3 变成了 4。
成了。以后每次双击上传,Bing 自动收到通知,门铃彻底自动化。
经验总结
折腾完回头捋一捋,这几件事挺值得记的:
- 新站收录慢是常态。Bing 对新站通常 1~4 周才收录,“已发现但未爬网"不是被拒,就是排队中,别焦虑。
- IndexNow 提交成功 = 空白页。不是失败,是规范如此。想看证据,去 Webmaster Tools 的报告页。
- 没有 robots.txt 不是坏事。它只是路标,补一个把 sitemap 指过去就行。
&在 Windows 命令行里是分隔符。URL 里有&必须写成^&,这个坑踩一次就记住了。- 内容才是王道。门铃按得再勤,站里就两篇文章,爬虫来了也没什么可抓的。收录慢,很多时候不是技术问题,是内容太少。
写到这,我的站还是"已发现但未爬网”。不过没关系,门铃装了、路标立了、内容也在补了——剩下的就是等。
等 Bing 来敲门的那天,我再写一篇《收录成功记》。