正在准备人机验证...
请稍后,正在请求blog-turnstile接口
Featured image of post 我的 Bing 收录折腾记

我的 Bing 收录折腾记

新博客上线,等 Bing 收录等到怀疑人生。这篇记录我怎么从'已发现但未爬网'一路折腾到 IndexNow 自动提交的。

建站的时候满心欢喜:域名有了、主题换了、文章写了两篇,感觉自己马上就是个"有博客的人"了。结果打开 Bing 一搜,site:yrqspace.github.io,啥也没有。

一开始我是不慌的,毕竟新站嘛,等就是了。等到第 5、6 天还是零结果,去 Bing Webmaster Tools 一看,状态写着——“已发现但未爬网”。

好家伙,意思就是:Bing 知道你在这,但就是不来你家看看。发现时间是 10 月 4 日,到 10 月 15 日已经 11 天了,连门都没敲一下。

于是我的折腾开始了。

第一回合:老老实实按门铃

最先做的,是把站点地图通过 IndexNow 提交上去。IndexNow 是啥?你可以理解成"门铃"——按一下,告诉 Bing"这有新内容了,来抓我"。

提交方式简单到离谱:浏览器打开一个链接就行,像这样:

1
https://api.indexnow.org/indexnow?url=你的网站&key=你的key

页面返回空白,一开始我还以为失败了,后来才知道——成功就是空白。对,IndexNow 提交成功时响应体是空的,什么都没写。看着像个 bug,其实是规范。

第二回合:robots.txt 居然是 404

顺手去检查 robots.txt,结果一打开——404。

当时心想完了,是不是挡着搜索引擎了?查了一圈才明白:没有 robots.txt 不等于禁止访问,它只是"路标"而不是"通行证"。没有它,爬虫默认就是放行的,所以 404 根本不是收录慢的原因。

不过既然没有,那就补一个,顺便把 sitemap 指给搜索引擎:

1
2
3
4
User-agent: *
Allow: /

Sitemap: https://yrqspace.github.io/sitemap.xml

第三回合:让"门铃"自动化

手动提交了几次之后,我寻思:我每次更新博客都要手动开链接按门铃,太蠢了。我的部署是双击一个 上传.bat 脚本完成的,那能不能让它推送完自动提交 IndexNow?

说干就干,在脚本末尾加了行 curl。结果一跑,报错:

1
'url' 不是内部或外部命令,也不是可运行的程序

排查半天,真相是:Windows 命令行的 & 是"命令分隔符"。我的链接里 sitemap.xml 和 key= 之间那个 &,被 cmd 当成"再执行一条命令"拆开了。解决办法是在 & 前面加个 ^ 转义:

1
curl "https://api.indexnow.org/indexnow?url=https://yrqspace.github.io/sitemap.xml^&key=你的key"

跑完还是静悄悄的,什么输出都没有。我还以为又失败了,后来去 Bing Webmaster Tools 看 IndexNow 报告——提交的 URL 数从 3 变成了 4。

成了。以后每次双击上传,Bing 自动收到通知,门铃彻底自动化。

经验总结

折腾完回头捋一捋,这几件事挺值得记的:

  1. 新站收录慢是常态。Bing 对新站通常 1~4 周才收录,“已发现但未爬网"不是被拒,就是排队中,别焦虑。
  2. IndexNow 提交成功 = 空白页。不是失败,是规范如此。想看证据,去 Webmaster Tools 的报告页。
  3. 没有 robots.txt 不是坏事。它只是路标,补一个把 sitemap 指过去就行。
  4. & 在 Windows 命令行里是分隔符。URL 里有 & 必须写成 ^&,这个坑踩一次就记住了。
  5. 内容才是王道。门铃按得再勤,站里就两篇文章,爬虫来了也没什么可抓的。收录慢,很多时候不是技术问题,是内容太少。

写到这,我的站还是"已发现但未爬网”。不过没关系,门铃装了、路标立了、内容也在补了——剩下的就是等。

等 Bing 来敲门的那天,我再写一篇《收录成功记》。

共 3 篇文章 · 约 0.2 万字 · 运行 33 天
Build using Hugo