• 售前

  • 售后

热门帖子
入门百科

Python多历程共享numpy 数组的方法

[复制链接]
宇宙无限 显示全部楼层 发表于 2021-8-14 08:50:02 |阅读模式 打印 上一主题 下一主题
为什么要用numpy

    Python中提供了list容器,可以看成数组使用。但列表中的元素可以是任何对象,因此列表中生存的是对象的指针,如许一来,为了生存一个简单的列表[1,2,3]。就必要三个指针和三个整数对象。对于数值运算来说,这种布局显然不敷高效。
    Python固然也提供了array模块,但其只支持一维数组,不支持多维数组(在TensorFlow内里偏向于矩阵明白),也没有各种运算函数。因而不适合数值运算。
    NumPy的出现补充了这些不足。
引用:https://zhuanlan.zhihu.com/p/32513483
共享 numpy 数组

必要用到 numpy 时往往是数据量较大的场景,假如直接复制会造成大量内存浪费。共享 numpy 数组则是通过上面一节的 Array 实现,再用 numpy.frombuffer 以及 reshape 对共享的内存封装成 numpy 数组,代码如下:
  1. # encoding:utf8
  2. import ctypes
  3. import os
  4. import multiprocessing
  5. import numpy as np
  6. NUM_PROCESS = multiprocessing.cpu_count()
  7. def worker(index):
  8.     main_nparray = np.frombuffer(shared_array_base, dtype=ctypes.c_double)
  9.     main_nparray = main_nparray.reshape(NUM_PROCESS, 10)
  10.     pid = os.getpid()
  11.     main_nparray[index, :] = pid
  12.     return pid
  13. if __name__ == "__main__":
  14.     shared_array_base = multiprocessing.Array(
  15.         ctypes.c_double, NUM_PROCESS * 10, lock=False)
  16.     pool = multiprocessing.Pool(processes=NUM_PROCESS)
  17.     result = pool.map(worker, range(NUM_PROCESS))
  18.     main_nparray = np.frombuffer(shared_array_base, dtype=ctypes.c_double)
  19.     main_nparray = main_nparray.reshape(NUM_PROCESS, 10)
  20.     print( main_nparray )
复制代码
运行效果:

到此这篇关于Python多历程共享numpy 数组的方法的文章就先容到这了,更多相关Python多历程共享numpy 数组内容请搜刮脚本之家从前的文章或继续欣赏下面的相关文章渴望大家以后多多支持脚本之家!

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x

帖子地址: 

回复

使用道具 举报

分享
推广
火星云矿 | 预约S19Pro,享500抵1000!
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

草根技术分享(草根吧)是全球知名中文IT技术交流平台,创建于2021年,包含原创博客、精品问答、职业培训、技术社区、资源下载等产品服务,提供原创、优质、完整内容的专业IT技术开发社区。
  • 官方手机版

  • 微信公众号

  • 商务合作