在线精品99_中国九九盗摄偷拍偷看_91免费版在线观看_91.app_91高清视频在线_99热最新网站

数据库中怎么使用batch

150次阅读
没有评论

共计 1879 个字符,预计需要花费 5 分钟才能阅读完成。

行业资讯    
数据库    
数据库中怎么使用 batch-import 工具向 neo4j 中导入海量数据

这篇文章给大家分享的是有关数据库中怎么使用 batch-import 工具向 neo4j 中导入海量数据的内容。丸趣 TV 小编觉得挺实用的,因此分享给大家做个参考,一起跟随丸趣 TV 小编过来看看吧。

1、batch-import 原始项目地址:https://github.com/jexp/batch-import

这个工具是 neo4j 的作者之一 Michael  Hunger 所编写,是在 neo4j 自带批量导入工具基础之上做的进一步优化,但是它在导入.gz 压缩文件时,会出现关系无法导入的情况,所以如果要使用.gz 压缩包进行导入,请使用我修改过的版本:https://github.com/mo9527/batch-import

2、环境准备

jdk:7 以上

内存:8G 以上,导入数据多的话会非常消耗内存,我自己导入的是将近 1.5 亿节点,3 亿关系,用的是 32G 内存

3、导入步骤

a)从 github 上 clone 下代码,并使用 maven 进行打包,打完包后的 jar 文件,与项目本身的依赖 jar 一起放到 lib 文件夹下,batch.properties 文件和执行导入的脚本放在 lib 同级目录下,*** 的目录结构如下图:

ps:file 文件夹是我自己将要导入的 csv 文件和.gz 压缩包。

b)组装 csv 文件

说起这一步,可能需要你们根据自己的实际业务需求,手动写代码导 csv 文件了,这里我只讲一下 csv 文件格式一些要点:

1)、节点 csv 文件

节点 csv 文件的 *** 列是固定的,列值为此节点的 label 名称,第二列是 index,它的列头是 id:string:indexName   这种格式,解释一下,id 是这一列的 property 名字,可以根据需要自己命名,string 为字段的数据类型,indexName 是 neo4j 数据库中将要导入的索引名称,我自己的文件格式如下:

然后,后面的列就是节点的 property 了,没什么特别的要求

2)、关系 csv 文件

先看下我的关系 csv 文件:

关系的 csv 文件前两列要特别注意,*** 列是关系的起始节点,第二列是关系的结束节点,第三列是关系类型,后面的列是关系的 property,可以随意了。他 github 上的说明没有说出一些注意点,这里要特别标明:

*** 列的起始节点的列头,也就是 id:string:buyerId 这个东西,这个玩意一定要和节点 csv 文件 (上图) 中定义的一模一样,第二列也是如此,要和结束节点的 csv 文件里的一样,不然他会找不到对应的关系。

3)、修改 batch.properties 文件

主要修改两个地方,

如果是在现有的 neo4j 数据库中进行导入,请设置:

batch_import.keep_db=true

将节点 csv 文件中所有的索引名称加入到文件中,例如上面这个节点 csv 文件中的索引名称是 buyerId,那就在文件中加入 batch_import.node_index.buyerId=exact

以下是我本人的配置文件:

4、导入

linux 和 win 环境的导入都差不多,只不过执行的脚本不一样,这里以 win 环境为例。

文件都准备好了,现在开始导入了。

打开 cmd,cd 到导入脚本的目录,也就是 import.bat 所在目录,执行命令:

import.bat test.db node.csv rel.csv

解释一下命令的几个参数:*** 个参数是数据库的目录,可以绝对路径指定到任意位置,第二个参数是节点 csv 文件,多个 csv 文件用逗号分隔,如果是压缩包,一定要注意,这里有个坑,不能把所有类型的 node 都放到一个压缩包中,一定要每个类型的 node 分开压缩,不然它只会导入 *** 个类型的 node 节点,同理,关系的压缩包也要分开压缩,然后导入时用逗号分隔.gz 文件。

好了,如果你的 csv 文件没有问题,内存足够用的话,现在就开始等待吧。

如果想修改导入工具的 Heap 大小,可以修改脚本文件中的 set HEAP=4G

温馨提示:如果节点文件中有中文的话,导入会非常慢的,除非你内存有 128G,我有一个节点文件,里面只有一列是中文,而且中文最长不超过 4 个汉字,2000 多万记录导了 2 个小时,注意我是 32G 内存,其他 4000 多万的节点,没有汉字的,基本上不超过 2 分钟。

感谢各位的阅读!关于“数据库中怎么使用 batch-import 工具向 neo4j 中导入海量数据”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,让大家可以学到更多知识,如果觉得文章不错,可以把它分享出去让更多的人看到吧!

正文完
 
丸趣
版权声明:本站原创文章,由 丸趣 2023-07-26发表,共计1879字。
转载说明:除特殊说明外本站除技术相关以外文章皆由网络搜集发布,转载请注明出处。
评论(没有评论)
主站蜘蛛池模板: 18禁无遮挡羞羞污污污污网站 | 免费观看激色视频网站 | 日韩一区在线播放 | 伊人婷婷色香五月综合缴缴情 | 成人久久18免费软件 | 国产欧美性成人精品午夜 | 日韩成人精品视频 | 亚洲精品久久久口爆吞精 | 玩弄放荡人妻一区二区三区 | 偷拍自拍成人 | 开心午夜婷婷色婷在线 | 亚洲国产欧美目韩成人综合 | 亚洲av永久中文无码精品 | 亚洲中文字幕无码一区 | 射精专区一区二区朝鲜 | 国产精品白丝av网站 | 日韩精品另类天天更新影院 | av在线观看地址 | 99久久无码私人网站 | 久久人人爽人人爽a大片 | 色婷婷婷丁香亚洲综合不卡 | 亚洲国产99999在线精品一区 | 一级特黄高清完整大片 | 天天成人 | 精品国偷自产在线视频99 | 亚洲精品v欧洲精品v日韩精品 | 久久国产视频网站 | 中文幕无线码中文字蜜桃 | 欧美午夜视频在线观看 | 麻豆精品人妻一区二区三区蜜桃 | 波多野结衣中文字幕一区二区三区 | 亚洲精品国产福利一区二区三区 | 国产在线麻豆自在拍91精品 | 成年网站在线在免费播放 | 在线观看国产亚洲 | 精品综合久久久久久蜜月 | 熟妇的味道hd中文字幕 | 欧美福利在线观看 | 猫咪av成人永久网站在线观看 | 亚洲欧美成人影院 | 老汉影视永久免费视频 |