• 售前

  • 售后

热门帖子
入门百科

php记载搜刮引擎爬行记载的实当代码

[复制链接]
天主的爱 显示全部楼层 发表于 2021-10-25 18:46:16 |阅读模式 打印 上一主题 下一主题
下面是完备代码:
  1. //记录搜索引擎爬行记录 $searchbot = get_naps_bot();
  2. if ($searchbot)
  3. { $tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);
  4. $url = $_SERVER['HTTP_REFERER'];
  5. $file = WEB_PATH.'robotslogs.txt';
  6. $date = date('Y-m-d H:i:s');
  7. $data = fopen($file,'a');
  8. fwrite($data,"Time:$date robot:$searchbot URL:$tlc_thispage/r/n");
  9. fclose($data);
  10. }
复制代码
WEB_PATH为index.PHP下define的根目录路径,意思就是说robotslogs.txt文件是放在根目录下的。
通过
  1. get_naps_bot()
复制代码
获取蜘蛛爬行记录,然后在通过addslashes处置惩罚一下,将数据存储于变量$tlc_thispage中。
fopen打开robotslogs.txt文件,将数据通过函数fwrite写入,在通过函数fclose关闭就可以了。
由于我觉得没必要,以是把自己网站上的代码删除了,以是也没有效果示例了。
PS:php获取各搜索蜘蛛爬行记录的代码
支持如下的搜索引擎:Baidu,Google,Bing,Yahoo,Soso,Sogou,Yodao爬行网站的记录!
代码:
  1. <?php
  2. /**
  3. * 获取搜索引擎爬行记录
  4. * edit by www.jb51.net
  5. */
  6. function get_naps_bot()
  7. {
  8. $useragent = strtolower($_SERVER['HTTP_USER_AGENT']);
  9. if (strpos($useragent, 'googlebot') !== false){
  10. return 'Google';
  11. }
  12. if (strpos($useragent, 'baiduspider') !== false){
  13. return 'Baidu';
  14. }
  15. if (strpos($useragent, 'msnbot') !== false){
  16. return 'Bing';
  17. }
  18. if (strpos($useragent, 'slurp') !== false){
  19. return 'Yahoo';
  20. }
  21. if (strpos($useragent, 'sosospider') !== false){
  22. return 'Soso';
  23. }
  24. if (strpos($useragent, 'sogou spider') !== false){
  25. return 'Sogou';
  26. }
  27. if (strpos($useragent, 'yodaobot') !== false){
  28. return 'Yodao';
  29. }
  30. return false;
  31. }
  32. function nowtime(){
  33. $date=date("Y-m-d.G:i:s");
  34. return $date;
  35. }
  36. $searchbot = get_naps_bot();
  37. if ($searchbot) {
  38. $tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);
  39. $url=$_SERVER['HTTP_REFERER'];
  40. $file="www.jb51.net.txt";
  41. $time=nowtime();
  42. $data=fopen($file,"a");
  43. fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispage\n");
  44. fclose($data);
  45. }
  46. ?>
复制代码
总结
以上所述是小编给各人介绍的php记录搜索引擎爬行记录,希望对各人有所资助,假如各人有任何疑问请给我留言,小编会及时回复各人的。在此也非常感谢各人对草根技术分享网站的支持!

帖子地址: 

回复

使用道具 举报

分享
推广
火星云矿 | 预约S19Pro,享500抵1000!
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

草根技术分享(草根吧)是全球知名中文IT技术交流平台,创建于2021年,包含原创博客、精品问答、职业培训、技术社区、资源下载等产品服务,提供原创、优质、完整内容的专业IT技术开发社区。
  • 官方手机版

  • 微信公众号

  • 商务合作