• 售前

  • 售后

热门帖子
入门百科

Linux部署python爬虫脚本,并设置定时任务的方法

[复制链接]
同行866 显示全部楼层 发表于 2021-10-26 13:46:38 |阅读模式 打印 上一主题 下一主题
客岁因项目须要,用python写了个爬虫。因爬到的数据须要存到生产情况的PG数据库。以是须要将脚本摆设到CentOS服务器,并设置定时使命,自动启动脚本。
实验步骤如下:
1.安装pip(操纵体系自带了python2.6可以直接用,但是没有pip)
  1. # 下载pip安装包
  2. wget "https://pypi.python.org/packages/source/p/pip/pip-1.5.4.tar.gz#md5=834b2904f92d46aaa333267fb1c922bb" --no-check-certificate
  3. # 解压安装包并安装
  4. tar -xzvf pip-1.5.4.tar.gz
  5. cd pip-1.5.4
  6. python setup.py install
复制代码
2.用pip安装第三方库
  1. pip install PyGreSQL==5.0.3
  2. pip install requests==2.18.3
复制代码
3.设置定时使命
  1. # 开启定时任务服务
  2. service crond start
  3. # 查看定时任务服务状态
  4. service crond status
  5. # 打开定时任务编辑窗口
  6. crontab -e
  7. # 添加两条定时任务,即每天0点0分和12点20分各执行一次,并写入日志
  8. 0 0 * * * /usr/bin/python /home/longrise/psrd/collect.py > /home/longrise/psrd/collect.log 2>&1 &
  9. 20 12 * * * /usr/bin/python /home/longrise/psrd/collect.py > /home/longrise/psrd/collect.log 2>&1 &
  10. 定时任务语法如下:
  11. # For details see man 4 crontabs
  12. # Example of job definition:
  13. # .---------------- minute (0 - 59)
  14. # | .------------- hour (0 - 23)
  15. # | | .---------- day of month (1 - 31)
  16. # | | | .------- month (1 - 12) OR jan,feb,mar,apr ...
  17. # | | | | .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat
  18. # | | | | |
  19. # * * * * * user-name command to be executed
复制代码
以上这篇Linux摆设python爬虫脚本,并设置定时使命的方法就是小编分享给各人的全部内容了,希望能给各人一个参考,也希望各人多多支持脚本之家。

帖子地址: 

回复

使用道具 举报

分享
推广
火星云矿 | 预约S19Pro,享500抵1000!
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

草根技术分享(草根吧)是全球知名中文IT技术交流平台,创建于2021年,包含原创博客、精品问答、职业培训、技术社区、资源下载等产品服务,提供原创、优质、完整内容的专业IT技术开发社区。
  • 官方手机版

  • 微信公众号

  • 商务合作