中文/
中文/
中文/
中文/
中文/
中文/
中文/
中文/
中文/
中文/
软件Tags: [db:tag]
wordpress非插件代码方式实现记录蜘蛛爬虫,wordpress本身就比较臃肿,再多装几个插件,网站基本瘫痪。
把代码粘贴在主题目录function.php文件里:
//记录蜘蛛爬行 function get_naps_bot(){ $useragent = strtolower($_SERVER['HTTP_USER_AGENT']); if (strpos($useragent, 'googlebot') !== false){ return 'Googlebot'; } if (strpos($useragent, 'msnbot') !== false){ return 'MSNbot'; } if (strpos($useragent, 'slurp') !== false){ return 'Yahoobot'; } if (strpos($useragent, 'baiduspider') !== false){ return 'Baiduspider'; } if (strpos($useragent, 'sohu-search') !== false){ return 'Sohubot'; } if (strpos($useragent, 'lycos') !== false){ return 'Lycos'; } if (strpos($useragent, 'robozilla') !== false){ return 'Robozilla'; } return false; } function nowtime(){ date_default_timezone_set('Asia/Shanghai'); $date=date("Y-m-d.G:i:s"); return $date; } $searchbot = get_naps_bot(); if ($searchbot) { $tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']); $url=$_SERVER['HTTP_REFERER']; $file="cesafe.txt"; $time=nowtime(); $data=fopen($file,"a"); $PR="$_SERVER[REQUEST_URI]"; fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispage\n page:$PR\r\n"); fclose($data); }
在网站根目录新建一个cesafe.txt 打开网站 https://www.cesafe.com/cesafe.txt 就可以看到记录日志了。如果需要分析爬虫记录,可以百度搜索一下蜘蛛日志分析工具。