发布需求
百度蜘蛛是百度搜索引擎的一个自动程序，它的作用是访问互联网上的网页，建立索引数据库，使用户能在百度搜索引擎中搜索到客户网站上的网页。
百度蜘蛛程序包含很多种，例如：普通爬虫、增量式爬虫、聚焦式爬虫、deepweb爬虫，广告蜘蛛、图片蜘蛛、推广蜘蛛、视频蜘蛛等。每种蜘蛛执行的任务也仅限于其相应的领域，并且采用分工的方式来爬取网站资源。
而各种蜘蛛的工作原理都是大致相同的，可以分为以下四个步骤：
抓取网页
蜘蛛程序首先从索引区域开始获取网络上的网页链接。初步蜘蛛抓取的是全网的链接，没有任何针对性或者说目的性。
筛选过滤（收录）
蜘蛛将抓取到的网页放入索引库，并进行筛选和过滤，对符合算法和规则的内容进行索引，将内容不符合的剔除，还有一部分存放进行二次的筛选过滤，如此循环。
进行索引
有些人认为收录等于索引，其实不然，相信很多站长发现自己网站的收录量和索引量是不一致的。一般而言，收录是大于索引的，因为只有收录的文章才有资格被索引，被搜索引擎抓取到的符合推荐的文章，才会进入索引。
排名展现
这是蜘蛛抓取网页流程的最后一步，也是SEO的最终目的。在索引区的文章，搜索引擎会统一的来进行分类，归档，排序，然后将内容反馈给搜索的用户。而SEOER要做的就是将搜索引擎算法推荐给用户的文章索引排到相对较好的位置，从而来体现SEO的价值及实现流量的转化。
百度蜘蛛根据某些规则自行发布指令以在Internet上收集网页信息。每个搜索引擎都会有一个独立的蜘蛛程序，该程序会以评估和审核网站的方式模拟手动访问网站。如果是高质量的内容，就会被其收录并放置在索引库中，等待用户搜索时可以调用出来，最后根据某些规则进行排序。
