楼(lou)上(shang)说的很(hen)多，我补(bu)充一(yi)下，正确(que)的(de)应该叫网络(luo)蜘蛛，又称爬虫，本质(zhi)是(shi)搜索引擎派出的(de)一个(ge)执行抓取任务的程(cheng)序蜘(zhi)蛛池的本(ben)质是大(da)量的网站互相链接，每个站单独产生大量(liang)的内容吸(xi)引蜘(zhi)蛛来爬，几千个(ge)网站互(hu)链时(shi)，可(ke)以(yi)想(xiang)象蜘蛛的链接