• 售前

  • 售后

热门帖子
入门百科

内网同步数据库(mysql)DATAX

[复制链接]
嘉熙莫多多ir 显示全部楼层 发表于 2022-1-12 15:15:25 |阅读模式 打印 上一主题 下一主题
1. DataX 是阿里巴巴开源的一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle 等)、HDFS、Hive、ODPS、HBase、FTP 等各种异构数据源之间稳定高效的数据同步功能。

2.在源数据库和目标数据库不能同时连接时,可使用DataX 将需要同步的数据提取出来成CSV格式的数据文件,在到目标数据库,使用DataX将CSV文件数据导入数据库。

步骤1:

创建datax job json文件:
  1. {
  2.     "job": {
  3.         "setting": {
  4.             "speed": {
  5.                 "channel": 1
  6.             }
  7.         },
  8.         "content": [
  9.             {
  10.                 "reader": {
  11.                     "name": "mysqlreader",
  12.                     "parameter": {
  13.                         "username": "数据库用户名",
  14.                         "password": "密码",
  15.                         "connection": [
  16.                             {
  17.                                 "querySql": [
  18.                                     "select * from table;"
  19.                                 ],
  20.                                 "jdbcUrl": [
  21.                                     "jdbc:mysql://127.0.0.1/数据库"
  22.                                 ]
  23.                             }
  24.                         ]
  25.                     }
  26.                 },
  27.                 "writer": {
  28.                     "name": "txtfilewriter",
  29.                     "parameter": {
  30.                         "print": true,
  31.                         "encoding": "UTF-8",
  32.                         "path": "csv文件存放位置",
  33.                         "fileName": "csv文件名",
  34.                         "writeMode": "truncate",
  35.                         "dateFormat": "YYYY-MM-dd hh:mm:ss",
  36.                         "header": [
  37.                             "id",
  38.                             "**",
  39.                             "**",
  40.                             "**(需要保存的字段)"
  41.                         ]
  42.                     }
  43.                 }
  44.             }
  45.         ]
  46.     }
  47. }
复制代码
执行完后,得到csv数据文件。
2.将csv文件数据导入数据库
  1. {
  2.   "job": {
  3.     "setting": {
  4.       "speed": {
  5.         "channel": 2
  6.       }
  7.     },
  8.     "content": [
  9.       {
  10.         "reader": {
  11.           "name": "txtfilereader",
  12.           "parameter": {
  13.             "path": [
  14.               "G:/result/result.csv"
  15.             ],
  16.             "encoding": "UTF-8",
  17.             "column": [
  18.               {
  19.                 "index": 0,
  20.                 "name": "id",
  21.                 "type": "long"
  22.               },
  23.               {
  24.                 "index": 1,
  25.                 "name": "**",
  26.                 "type": "string"
  27.               },
  28.               {
  29.                       "index": "字段索引",
  30.                 "name": "字段名",
  31.                 "type": "字段类型"
  32.               },
  33.               ********
  34.             ],
  35.             "skipHeader": "true"
  36.           }
  37.         },
  38.         "writer": {
  39.           "name": "mysqlwriter",
  40.           "parameter": {
  41.             "writeMode": "update",/*update 增量更新*/
  42.             "username": "root",
  43.             "password": "密码",
  44.             "column": [
  45.               "id",
  46.               "code",
  47.                                 *****
  48.             ],
  49.             "connection": [
  50.               {
  51.                 "jdbcUrl": "jdbc:mysql://127.0.0.1:3306/数据库",
  52.                 "table": [
  53.                   "table表"
  54.                 ]
  55.               }
  56.             ]
  57.           }
  58.         }
  59.       }
  60.     ]
  61.   }
  62. }
复制代码
3.执行成功数据同步完成

来源:https://blog.caogenba.net/weixin_42286330/article/details/122406163
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!

帖子地址: 

回复

使用道具 举报

分享
推广
火星云矿 | 预约S19Pro,享500抵1000!
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

草根技术分享(草根吧)是全球知名中文IT技术交流平台,创建于2021年,包含原创博客、精品问答、职业培训、技术社区、资源下载等产品服务,提供原创、优质、完整内容的专业IT技术开发社区。
  • 官方手机版

  • 微信公众号

  • 商务合作