我不太清楚你的網站日志里是否有不常見的CC蜘蛛。訪問名稱為“CCBot/2.0”。下面具體看一下CCbot是什么樣的蜘蛛。
1.CC bot是什么蜘蛛？
Common Crawl Bot(通用爬網)是一個開放的存儲庫，它提供了非盈利性基金會所有人都可以訪問和分析的web爬網數據。
第二，如何處理CCbot蜘蛛？
方法1 .使用robots.txt
使用Robots.txt文件允許或禁止蜘蛛訪問頁面。Robots.txt位于網站根目錄中，蜘蛛訪問時，首先查找并查看Robots.txt文件，遵守robots協議訪問站點的內容，如果允許訪問，就訪問，如果不能訪問蜘蛛，就離開。
沒有蜘蛛能訪問網站的任何部分
用戶代理：*
Disallow:/
所有蜘蛛都能訪問網站的任何部分。
用戶代理：*
Disallow:
。CCbot蜘蛛不能訪問網站的任何部分。
用戶代理：ccbot
Disallow:/
允許CCbot蜘蛛訪問網站的所有部分
用戶代理：ccbot
Disallow:
。CCbot蜘蛛可以訪問站點，而CCbot不能訪問“wp-admin”文件夾
用戶代理：ccbot
Disallow:/WP-admin
方法2 .使用元標記
您可以在頁面上使用元標記控制搜索引擎蜘蛛對網站的訪問。如果對所有頁面使用模板，則可以在和之間添加元標記。牙齒標簽將應用于使用該模板的所有頁面。要控制特定頁面，可以向和之間的每個頁面添加元標簽。
允許所有蜘蛛訪問頁面
讓所有蜘蛛訪問你的網頁，跟蹤頁面上的鏈接
允許所有蜘蛛訪問你的網站，但是他們不能追蹤鏈接。
沒有蜘蛛可以訪問你的網頁。
允許cc bot訪問網頁
CCbot引導無法訪問頁面
允許CCbot引導訪問頁面和跟蹤指向更多頁面的鏈接
如果在網站日志中發現CCbot，請不要驚慌。接下來要做的是允許爬行還是禁止爬行？梅個人認為這種蜘蛛沒有什么意義，一旦發現這種蜘蛛爬得更頻繁，最好的方法就是禁止牙齒蜘蛛繼續訪問我們的網站。
原創：MAY的SEO博客/share/ccbot.html未經允許不要轉載！