楼(lou)上说(shuo)的很多(duo)，我(wo)补充(chong)一下，正确(que)的应该叫网络蜘蛛(zhu)，又(you)称爬虫，本质是搜索引擎派(pai)出的一个执(zhi)行(hang)抓取任务的程(cheng)序蜘蛛(zhu)池的本质是大量(liang)的(de)网(wang)站互相(xiang)链接，每个站单(dan)独产生大量的内(nei)容吸引(yin)蜘蛛来爬(pa)，几千个(ge)网站互链时，可以想象蜘蛛(zhu)的(de)链接