• 售前

  • 售后

热门帖子
入门百科

Python实现多使命历程示例

[复制链接]
諾篱hy 显示全部楼层 发表于 2022-1-8 08:07:15 |阅读模式 打印 上一主题 下一主题
目次


  • 一、历程先容
  • 二、线程和历程之间的对比
  • 三、Python 实现多历程
  • 四、历程之间的通信
  • 五、历程池之间的通信
  • 六、案例:文件批量复制

一、历程先容

历程:正在实行的步伐,由步伐、数据和历程控制块构成,是正在实行的步伐,步伐的一次实行过程,是资源调理的根本单位。
步伐:没有实行的代码,是一个静态的。

二、线程和历程之间的对比


由图可知:此时电脑有 9 个应用历程,但是一个历程又会对应于多个线程,可以得出结论:
历程:可以大概完成多使命,一台电脑上可以同时运行多个 QQ
线程:可以大概完成多使命,一个 QQ 中的多个谈天窗口
根本区别:历程是操纵系统资源分配的根本单位,而线程是使命调理和实行的根本单位.
使用多历程的优势:
1、拥有独立GIL:
首先由于历程中 GIL 的存在,Python 中的多线程并不能很好地发挥多核优势,一个历程中的多个线程,在同 一时间只能有一个线程运行。而对于多历程来说,每个历程都有属于本身的 GIL,所以,在多核处理器下,多历程的运行是不会受 GIL的影响的。因此,多进 程能更好地发挥多核的优势。
2、效率高
当然,对于爬虫这种 IO 麋集型使命来说,多线程和多历程影响差别并不大。对于盘算麋集型使命来说,Python 的多历程相比多线 程,其多核运行效率会有成倍的提拔。


三、Python 实现多历程

我们先用一个实例来感受一下:
1、使用 process 类
  1. import multiprocessing
  2. def process(index):
  3. print(f'Process: {index}')
  4. if __name__ == '__main__':
  5. for i in range(5):
  6. p = multiprocessing.Process(target=process, args=(i,))p.start
复制代码
这是一个实现多历程最基础的方式:通过创建 Process 来新建一个子历程,其中 target 参数传入方法名,args 是方法的参数,是以 元组的形式传入,其和被调用的方法 process 的参数是逐一对应的。
  1. 注意:这里 args 必须要是一个元组,如果只有一个参数,那也要在元组第一个元素后面加一个逗号,如果没有逗号则 和单个元素本身没有区别,无法构成元组,导致参数传递出现问题。创建完进程之后,我们通过调用 start 方法即可启动进程了。
复制代码
运行结果如下:
  1. Process: 0
  2. Process: 1
  3. Process: 2
  4. Process: 3
  5. Process: 4
复制代码
可以看到,我们运行了 5 个子历程,每个历程都调用了 process 方法。process 方法的 index 参数通过 Process 的 args 传入,分别是 0~4 这 5 个序号,末了打印出来,5 个子历程运行竣事。
2、继续 process 类
  1. from multiprocessing import Process
  2. import timeclass MyProcess(Process):
  3. def __init__(self,loop):
  4. Process.__init__(self)
  5. self.loop = loop
  6. def run(self):
  7. for count in range(self.loop):
  8. time.sleep(1)
  9. print(f'Pid:{self.pid} LoopCount: {count}')
  10. if __name__ == '__main__':
  11. for i in range(2,5):
  12. p = MyProcess(i)
  13. p.start
复制代码
我们首先声明了一个构造方法,这个方法接收一个 loop 参数,代表循环次数,并将其设置为全局变量。在 run方法中,又使用这 个 loop 变量循环了 loop 次并打印了当前的历程号和循环次数。
在调用时,我们用 range 方法得到了 2、3、4 三个数字,并把它们分别初始化了 MyProcess 历程,然后调用 start 方法将历程启动起 来。
  1. 注意:这里进程的执行逻辑需要在 run 方法中实现,启动进程需要调用 start 方法,调用之后 run 方法便会执行。
复制代码
运行结果如下:
  1. Pid:12976 LoopCount: 0
  2. Pid:15012 LoopCount: 0
  3. Pid:11976 LoopCount: 0
  4. Pid:12976 LoopCount: 1
  5. Pid:15012 LoopCount: 1
  6. Pid:11976 LoopCount: 1
  7. Pid:15012 LoopCount: 2
  8. Pid:11976 LoopCount: 2
  9. Pid:11976 LoopCount: 3
复制代码
  1. 注意,这里的进程 pid 代表进程号,不同机器、不同时刻运行结果可能不同。
复制代码
四、历程之间的通信

1、Queue-队列 先辈先出
  1. from multiprocessing import Queue
  2. import multiprocessing
  3. def download(p): # 下载数据
  4. lst = [11,22,33,44]
  5. for item in lst:
  6. p.put(item)print('数据已经下载成功....')
  7. def savedata(p):
  8. lst =
  9. while True:
  10. data = p.getlst.append(data)if p.empty:
  11. breakprint(lst)def main:p1 = Queuet1 = multiprocessing.Process(target=download,args=(p1,))t2 = multiprocessing.Process(target=savedata,args=(p1,))t1.startt2.startif __name__ == '__main__':
  12. main
复制代码
  1. 数据已经下载成功....
  2. [11, 22, 33, 44]
复制代码
2、共享全局变量不实用于多历程编程
  1. import multiprocessing
  2. a = 1
  3. def demo1:
  4. global a
  5. a += 1
  6. def demo2:
  7. print(a)def main:
  8. t1 = multiprocessing.Process(target=demo1)t2 = multiprocessing.Process(target=demo2)t1.startt2.startif __name__ == '__main__':
  9. main
复制代码
运行结果:
  1. 1
复制代码
有结果可知:全局变量不共享;

五、历程池之间的通信

1、历程池引入
当需要创建的子历程数量不多时,可以直接利用 multiprocessing 中的 Process 动态生成多个历程,但是如果是上百甚至上千个目标,手动的去创建的历程的工作量巨大,此时就可以用到 multiprocessing 模块提供的 Pool 方法。
  1. from multiprocessing import Pool
  2. import os,time,random
  3. def worker(a):t_start = time.time
  4. print('%s开始执行,进程号为%d'%(a,os.getpid))
  5. time.sleep(random.random*2)
  6. t_stop = time.time
  7. print(a,"执行完成,耗时%0.2f"%(t_stop-t_start))
  8. if __name__ == '__main__':
  9. po = Pool(3) # 定义一个进程池
  10. for i in range(0,10):
  11. po.apply_async(worker,(i,)) # 向进程池中添加worker的任务print("--start--")
  12. po.closepo.joinprint("--end--")
复制代码
运行结果:
  1. --start--
  2. 0开始执行,进程号为6664
  3. 1开始执行,进程号为47722开始执行,进程号为132560 执行完成,耗时0.18
  4. 3开始执行,进程号为6664
  5. 2 执行完成,耗时0.16
  6. 4开始执行,进程号为13256
  7. 1 执行完成,耗时0.67
  8. 5开始执行,进程号为4772
  9. 4 执行完成,耗时0.87
  10. 6开始执行,进程号为13256
  11. 3 执行完成,耗时1.59
  12. 7开始执行,进程号为6664
  13. 5 执行完成,耗时1.15
  14. 8开始执行,进程号为4772
  15. 7 执行完成,耗时0.40
  16. 9开始执行,进程号为6664
  17. 6 执行完成,耗时1.80
  18. 8 执行完成,耗时1.49
  19. 9 执行完成,耗时1.36
  20. --end--
复制代码
一个历程池只能容纳 3 个历程,实行完成才气添加新的使命,在不断的打开与开释的过程中循环往复。



六、案例:文件批量复制

操纵思绪:
获取要复制文件夹的名字
创建一个新的文件夹
获取文件夹里面所有待复制的文件名
创建历程池
向历程池添加使命
代码如下:
导包
  1. import multiprocessing
  2. import osimport time
复制代码
定制文件复制函数
  1. def copy_file(Q,oldfolderName,newfolderName,file_name):
  2. # 文件复制,不需要返回time.sleep(0.5)
  3. # print('\r从%s文件夹复制到%s文件夹的%s文件'%(oldfolderName,newfolderName,file_name),end='')
  4. old_file = open(oldfolderName + '/' + file_name,'rb') # 待复制文件
  5. content = old_file.readold_file.closenew_file = open(newfolderName + '/' + file_name,'wb') # 复制出的新文件
  6. new_file.write(content)
  7. new_file.closeQ.put(file_name) # 向Q队列中添加文件
复制代码
定义主函数
  1. def main:
  2. oldfolderName = input('请输入要复制的文件夹名字:') # 步骤1获取要复制文件夹的名字(可以手动创建,也可以通过代码创建,这里我们手动创建)
  3. newfolderName = oldfolderName + '复件'
  4. # 步骤二 创建一个新的文件夹if not os.path.exists(newfolderName):
  5. os.mkdir(newfolderName)
  6. filenames = os.listdir(oldfolderName) # 3.获取文件夹里面所有待复制的文件名
  7. # print(filenames)
  8. pool = multiprocessing.Pool(5) # 4.创建进程池
  9. Q = multiprocessing.Manager.Queue # 创建队列,进行通信for file_name in filenames:
  10. pool.apply_async(copy_file,args=(Q,oldfolderName,newfolderName,file_name)) # 5.向进程池添加任务
  11. po.closecopy_file_num = 0
  12. file_count = len(filenames)
  13. # 不知道什么时候完成,所以定义一个死循环while True:
  14. file_name = Q.getcopy_file_num += 1
  15. time.sleep(0.2)
  16. print('\r拷贝进度%.2f %%'%(copy_file_num * 100/file_count),end='') # 做一个拷贝进度条
  17. if copy_file_num >= file_count:
  18. break
复制代码
步伐运行
  1. if __name__ == '__main__':
  2. main
复制代码
运行结果如下图所示:

运行前后文件目次结构对比
运行前

运行后

到此这篇关于Python实现多使命历程示例的文章就先容到这了,更多相干Python多使命历程内容请搜索脚本之家从前的文章或继续欣赏下面的相干文章希望各人以后多多支持脚本之家!

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x

帖子地址: 

回复

使用道具 举报

分享
推广
火星云矿 | 预约S19Pro,享500抵1000!
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

草根技术分享(草根吧)是全球知名中文IT技术交流平台,创建于2021年,包含原创博客、精品问答、职业培训、技术社区、资源下载等产品服务,提供原创、优质、完整内容的专业IT技术开发社区。
  • 官方手机版

  • 微信公众号

  • 商务合作