楼上(shang)说(shuo)的(de)很多，我补(bu)充一(yi)下，正确(que)的(de)应该(gai)叫网络蜘(zhi)蛛，又称爬虫，本质是搜(sou)索(suo)引擎派出的(de)一(yi)个执(zhi)行抓(zhua)取(qu)任务的程序蜘蛛池的本质是(shi)大量(liang)的网站互相链接(jie)，每个站单独(du)产生大量的内容吸引(yin)蜘蛛来爬，几千个网站互链(lian)时，可以(yi)想象蜘蛛(zhu)的链接(jie)