• 售前

  • 售后

热门帖子
入门百科

使用Postgresql 实现快速插入测试数据

[复制链接]
囘憶若曦囘t 显示全部楼层 发表于 2021-10-26 13:55:56 |阅读模式 打印 上一主题 下一主题
1.创建通例的企业信息表
  1. create table t_centerprises(
  2. objectid bigint not null, /*唯一编号(6位行政区号+6位sn)*/
  3. divid uuid not null, /*行政区唯一代码*/
  4. name text not null, /*企业名称*/
  5. address text not null, /*企业地址*/
  6. post text, /*企业邮编*/
  7. contacts text, /*联系人*/
  8. tel text, /*联系电话*/
  9. fax text, /*传真*/
  10. describe text, /*企业备注*/
  11. date timestamp default now() not null, /*创建日期*/
  12. constraint pk_centerprisess_objectid primary key (objectid),
  13. constraint fk_centerprises_divid foreign key(divid) references ts_divisions(objectid) on delete cascade
  14. );
  15. create index idx_centerprises_divid on t_centerprises(divid);
复制代码
2.需要使用的函数
  1. /*转换16进制到字符*/
  2. drop function if exists hex_to_string(text);
  3. create or replace function hex_to_string( text)
  4. returns text as
  5. $$
  6. declare
  7. result text;
  8. begin
  9. execute 'select U&''\' || $1 || '''' INTO result;
  10. return result;
  11. end;
  12. $$ language plpgsql;
  13. /*随机生成汉字
  14. 汉字范围U+4E00..U+9FA5
  15. */
  16. drop function if exists gen_random_zh(int,int);
  17. create or replace function gen_random_zh(imin int,imax int)
  18. returns text as
  19. $$
  20. declare
  21. vlen integer;
  22. result text;
  23. begin
  24. result := '';
  25. vlen = floor(random()*(imax-imin)+imin);
  26. for i in 1..vlen loop
  27.   result := result || hex_to_string(to_hex(floor(random()*(42191-19968)+19968)::integer));
  28. end loop;
  29. return result;
  30. end;
  31. $$ language plpgsql;
复制代码
3.通例测试数据插入(5000000条)
  1. insert into t_centerprises(objectid,divid,name,address,post,contacts,tel,fax,describe)
  2.   select (vdivid|| lpad(id::text,6,'0'))::bigint as objectid,'110101',
  3.   gen_random_zh(5,25) as name,gen_random_zh(10,50) as address,
  4.   floor(random()*(699999-600000)+600000) as post,gen_random_zh(2,8) as contacts,
  5.   floor(random()*(69999999-60000000)+60000000) as tel,floor(random()*(69999999-60000000)+60000000) as fax,
  6.   gen_random_zh(32,128) as describe
  7. from generate_series(1,5000000) as id;
复制代码
在平常pc机上插入,大概完成时间约8小时,过程不可监控,而且cpu/内存占用率高,磁盘基本满负荷动作,读写率基本上都是100%.
4.改进后的方法, 插入(10000000条)
  1. do $$
  2. declare vStart bigint;
  3. declare vEnd bigint;
  4. declare MAXVALE bigint;
  5. declare INTERVAL bigint;
  6. declare vprovince integer;
  7. declare vprefecture integer;
  8. declare vcounty integer;
  9. declare vdivid text;
  10. declare vdividex uuid;
  11. begin
  12. vprovince := 10;vprefecture := 1;vcounty := 1;
  13. MAXVALE := 1000000;
  14. INTERVAL := 1000; vStart := 1 ;vEnd := INTERVAL;
  15. vdivid := (lpad(vprovince::text,2,'0') || lpad(vprefecture::text,2,'0') || lpad(vcounty::text,2,'0'))::text;
  16. vdividex := (select objectid from ts_divisions where province=vprovince and prefecture=vprefecture and county=vcounty);
  17. loop
  18. insert into t_centerprises(objectid,divid,name,address,post,contacts,tel,fax,describe)
  19.   select (vdivid|| lpad(id::text,6,'0'))::bigint as objectid,vdividex as divid,
  20.   gen_random_zh(5,25) as name,gen_random_zh(10,50) as address,
  21.   floor(random()*(699999-600000)+600000) as post,gen_random_zh(2,8) as contacts,
  22.   floor(random()*(69999999-60000000)+60000000) as tel,floor(random()*(69999999-60000000)+60000000) as fax,
  23.   gen_random_zh(32,128) as describe
  24. from generate_series(vStart,vEnd) as id;
  25. raise notice '%', vEnd;
  26. vStart := vEnd + 1; vEnd := vEnd + INTERVAL;
  27. if( vEnd > MAXVALE ) then
  28.   return;
  29. elsif(vEnd = MAXVALE) then
  30.   vEnd := vEnd - 1;
  31. end if;
  32. end loop;
  33. end$$;
复制代码
因为运算原因, cpu/内存占用率仍旧很高, 硬盘负荷较小,读写率也比较低,大概完成时间约1.5小时.
补充:postgreSQL数据库 向表中快速插入1000000条数据
不用创建函数,直接向表中快速插入1000000条数据
  1. create table tbl_test (id int, info text, c_time timestamp);
  2. insert into tbl_test select generate_series(1,100000),md5(random()::text),clock_timestamp();
  3. select count(id) from tbl_test; --查看个数据条数
复制代码
以上为个人履历,希望能给各人一个参考,也希望各人多多支持脚本之家。如有错误或未思量完全的地方,望不吝见教。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x

帖子地址: 

回复

使用道具 举报

分享
推广
火星云矿 | 预约S19Pro,享500抵1000!
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

草根技术分享(草根吧)是全球知名中文IT技术交流平台,创建于2021年,包含原创博客、精品问答、职业培训、技术社区、资源下载等产品服务,提供原创、优质、完整内容的专业IT技术开发社区。
  • 官方手机版

  • 微信公众号

  • 商务合作