我们先需要把未抓取的URL列表提取出来，然后我们可以把这些URL在首页展示，以增加被搜索引擎抓取的机会，许多网站之所以在首页有新文章版块、随机展示版块，其实也大都是为了增加被搜索引擎抓取的机会从而增加网站页面的收录，首页的权重是一个网站中较高的URL页面，往往也是蜘蛛最活跃的页面，所以在首页展示往往可以增加收录。