共计 1879 个字符，预计需要花费 5 分钟才能阅读完成。
行业资讯
数据库
数据库中怎么使用 batch-import 工具向 neo4j 中导入海量数据
这篇文章给大家分享的是有关数据库中怎么使用 batch-import 工具向 neo4j 中导入海量数据的内容。丸趣 TV 小编觉得挺实用的，因此分享给大家做个参考，一起跟随丸趣 TV 小编过来看看吧。
1、batch-import 原始项目地址：https://github.com/jexp/batch-import
这个工具是 neo4j 的作者之一 Michael Hunger 所编写，是在 neo4j 自带批量导入工具基础之上做的进一步优化，但是它在导入.gz 压缩文件时，会出现关系无法导入的情况，所以如果要使用.gz 压缩包进行导入，请使用我修改过的版本：https://github.com/mo9527/batch-import
2、环境准备
jdk：7 以上
内存：8G 以上，导入数据多的话会非常消耗内存，我自己导入的是将近 1.5 亿节点，3 亿关系，用的是 32G 内存
3、导入步骤
a)从 github 上 clone 下代码，并使用 maven 进行打包，打完包后的 jar 文件，与项目本身的依赖 jar 一起放到 lib 文件夹下，batch.properties 文件和执行导入的脚本放在 lib 同级目录下，*** 的目录结构如下图：
ps：file 文件夹是我自己将要导入的 csv 文件和.gz 压缩包。
b)组装 csv 文件
说起这一步，可能需要你们根据自己的实际业务需求，手动写代码导 csv 文件了，这里我只讲一下 csv 文件格式一些要点：
1)、节点 csv 文件
节点 csv 文件的 *** 列是固定的，列值为此节点的 label 名称，第二列是 index，它的列头是 id:string:indexName 这种格式，解释一下，id 是这一列的 property 名字，可以根据需要自己命名，string 为字段的数据类型，indexName 是 neo4j 数据库中将要导入的索引名称，我自己的文件格式如下：
然后，后面的列就是节点的 property 了，没什么特别的要求
2)、关系 csv 文件
先看下我的关系 csv 文件：
关系的 csv 文件前两列要特别注意，*** 列是关系的起始节点，第二列是关系的结束节点，第三列是关系类型，后面的列是关系的 property，可以随意了。他 github 上的说明没有说出一些注意点，这里要特别标明：
*** 列的起始节点的列头，也就是 id:string:buyerId 这个东西，这个玩意一定要和节点 csv 文件 (上图) 中定义的一模一样，第二列也是如此，要和结束节点的 csv 文件里的一样，不然他会找不到对应的关系。
3)、修改 batch.properties 文件
主要修改两个地方，
如果是在现有的 neo4j 数据库中进行导入，请设置：
batch_import.keep_db=true
将节点 csv 文件中所有的索引名称加入到文件中，例如上面这个节点 csv 文件中的索引名称是 buyerId，那就在文件中加入 batch_import.node_index.buyerId=exact
以下是我本人的配置文件：
4、导入
linux 和 win 环境的导入都差不多，只不过执行的脚本不一样，这里以 win 环境为例。
文件都准备好了，现在开始导入了。
打开 cmd，cd 到导入脚本的目录，也就是 import.bat 所在目录，执行命令：
import.bat test.db node.csv rel.csv解释一下命令的几个参数：*** 个参数是数据库的目录，可以绝对路径指定到任意位置，第二个参数是节点 csv 文件，多个 csv 文件用逗号分隔，如果是压缩包，一定要注意，这里有个坑，不能把所有类型的 node 都放到一个压缩包中，一定要每个类型的 node 分开压缩，不然它只会导入 *** 个类型的 node 节点，同理，关系的压缩包也要分开压缩，然后导入时用逗号分隔.gz 文件。
好了，如果你的 csv 文件没有问题，内存足够用的话，现在就开始等待吧。
如果想修改导入工具的 Heap 大小，可以修改脚本文件中的 set HEAP=4G
温馨提示：如果节点文件中有中文的话，导入会非常慢的，除非你内存有 128G，我有一个节点文件，里面只有一列是中文，而且中文最长不超过 4 个汉字，2000 多万记录导了 2 个小时，注意我是 32G 内存，其他 4000 多万的节点，没有汉字的，基本上不超过 2 分钟。
感谢各位的阅读！关于“数据库中怎么使用 batch-import 工具向 neo4j 中导入海量数据”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，让大家可以学到更多知识，如果觉得文章不错，可以把它分享出去让更多的人看到吧！
