在线精品99_中国九九盗摄偷拍偷看_91免费版在线观看_91.app_91高清视频在线_99热最新网站

数据库中怎么使用batch

150次阅读
没有评论

共计 1879 个字符,预计需要花费 5 分钟才能阅读完成。

行业资讯    
数据库    
数据库中怎么使用 batch-import 工具向 neo4j 中导入海量数据

这篇文章给大家分享的是有关数据库中怎么使用 batch-import 工具向 neo4j 中导入海量数据的内容。丸趣 TV 小编觉得挺实用的,因此分享给大家做个参考,一起跟随丸趣 TV 小编过来看看吧。

1、batch-import 原始项目地址:https://github.com/jexp/batch-import

这个工具是 neo4j 的作者之一 Michael  Hunger 所编写,是在 neo4j 自带批量导入工具基础之上做的进一步优化,但是它在导入.gz 压缩文件时,会出现关系无法导入的情况,所以如果要使用.gz 压缩包进行导入,请使用我修改过的版本:https://github.com/mo9527/batch-import

2、环境准备

jdk:7 以上

内存:8G 以上,导入数据多的话会非常消耗内存,我自己导入的是将近 1.5 亿节点,3 亿关系,用的是 32G 内存

3、导入步骤

a)从 github 上 clone 下代码,并使用 maven 进行打包,打完包后的 jar 文件,与项目本身的依赖 jar 一起放到 lib 文件夹下,batch.properties 文件和执行导入的脚本放在 lib 同级目录下,*** 的目录结构如下图:

ps:file 文件夹是我自己将要导入的 csv 文件和.gz 压缩包。

b)组装 csv 文件

说起这一步,可能需要你们根据自己的实际业务需求,手动写代码导 csv 文件了,这里我只讲一下 csv 文件格式一些要点:

1)、节点 csv 文件

节点 csv 文件的 *** 列是固定的,列值为此节点的 label 名称,第二列是 index,它的列头是 id:string:indexName   这种格式,解释一下,id 是这一列的 property 名字,可以根据需要自己命名,string 为字段的数据类型,indexName 是 neo4j 数据库中将要导入的索引名称,我自己的文件格式如下:

然后,后面的列就是节点的 property 了,没什么特别的要求

2)、关系 csv 文件

先看下我的关系 csv 文件:

关系的 csv 文件前两列要特别注意,*** 列是关系的起始节点,第二列是关系的结束节点,第三列是关系类型,后面的列是关系的 property,可以随意了。他 github 上的说明没有说出一些注意点,这里要特别标明:

*** 列的起始节点的列头,也就是 id:string:buyerId 这个东西,这个玩意一定要和节点 csv 文件 (上图) 中定义的一模一样,第二列也是如此,要和结束节点的 csv 文件里的一样,不然他会找不到对应的关系。

3)、修改 batch.properties 文件

主要修改两个地方,

如果是在现有的 neo4j 数据库中进行导入,请设置:

batch_import.keep_db=true

将节点 csv 文件中所有的索引名称加入到文件中,例如上面这个节点 csv 文件中的索引名称是 buyerId,那就在文件中加入 batch_import.node_index.buyerId=exact

以下是我本人的配置文件:

4、导入

linux 和 win 环境的导入都差不多,只不过执行的脚本不一样,这里以 win 环境为例。

文件都准备好了,现在开始导入了。

打开 cmd,cd 到导入脚本的目录,也就是 import.bat 所在目录,执行命令:

import.bat test.db node.csv rel.csv

解释一下命令的几个参数:*** 个参数是数据库的目录,可以绝对路径指定到任意位置,第二个参数是节点 csv 文件,多个 csv 文件用逗号分隔,如果是压缩包,一定要注意,这里有个坑,不能把所有类型的 node 都放到一个压缩包中,一定要每个类型的 node 分开压缩,不然它只会导入 *** 个类型的 node 节点,同理,关系的压缩包也要分开压缩,然后导入时用逗号分隔.gz 文件。

好了,如果你的 csv 文件没有问题,内存足够用的话,现在就开始等待吧。

如果想修改导入工具的 Heap 大小,可以修改脚本文件中的 set HEAP=4G

温馨提示:如果节点文件中有中文的话,导入会非常慢的,除非你内存有 128G,我有一个节点文件,里面只有一列是中文,而且中文最长不超过 4 个汉字,2000 多万记录导了 2 个小时,注意我是 32G 内存,其他 4000 多万的节点,没有汉字的,基本上不超过 2 分钟。

感谢各位的阅读!关于“数据库中怎么使用 batch-import 工具向 neo4j 中导入海量数据”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,让大家可以学到更多知识,如果觉得文章不错,可以把它分享出去让更多的人看到吧!

正文完
 
丸趣
版权声明:本站原创文章,由 丸趣 2023-07-26发表,共计1879字。
转载说明:除特殊说明外本站除技术相关以外文章皆由网络搜集发布,转载请注明出处。
评论(没有评论)
主站蜘蛛池模板: 国产成人一区二区三区在线播放 | 国产亚洲情侣一区二区无 | 天天干天天拍天天射 | 久久乐国产精品亚洲综合m3u8 | 国产成人久久精品激情 | 国产在线aaa片一区二区99 | 国产午夜毛片一区二区三区 | 亚洲精品欧洲精品 | 狠狠综合久久综合88亚洲日本 | 久草视频这里只有精品 | 久久爱青青草 | 亚洲一级片| 国产精品永久在线 | 久久午夜无码鲁丝片直播午夜精品 | 欧洲成人一区二区三区 | 国产精品无码一区二区在线观一 | 国产女人一区二区 | 日本美女一区二区三区 | 免费观看黄视频网站 | 免费观看日本特色做爰视频在线 | 亚洲福利午夜 | 亚洲国产午夜精品理论片 | 欧美男生射精高潮视频网站 | 国产毛片在线视频 | 九九久久精品国产 | 免费观看黄a一级视频日本 免费观看黄的小视频 | 欧美a级毛欧美1级a大片 | 日韩视频网 | 亚洲国产成人资源在线软件 | 成人a级视频在线播放 | 日韩成人无码 | 国产精品久久久久久久久99热 | 毛片入口 | 精品日韩欧美一区二区在线播放 | 国产三级精品三级男人的天堂 | 欧美曰批人成在线观看 | 亚洲最新网站 | 亚洲成人一区在线 | 国产精品二区高清在线 | 亚洲性无码av中文字幕 | 精品国产免费一区二区三区香蕉 |