图数据库neo4j进阶(一):csv文件导入节点及关系

一、load csv

在neo4j Browser中使用Cypher语句LOAD CSV,对于数据量比较大的情况,建议先运行create constraint语句来生成约束

create constraint for (s:Student) require s.student_id is unique;

该代码为学生的student_id生成了唯一性约束,可将该属性视为主键。添加约束后,不论是生成还是查询,效率都会显著提升
生成学生节点的代码示例如下

:auto
LOAD CSV with HEADERS from 'file:///student.csv' AS row
call {with rowmerge (s:Student{student_id:row.student_id,name:row.name,age:row.age})
} in transactions of 100000 rows;

• LOAD CSV from '.csv’表示从csv文件中导入数据
• 若csv文件包含表头则加入with headers
• 单引号内写csv文件的路径,若csv文件已在当前数据库的Import文件夹内(可在桌面版主页点击数据库右侧三点键–Open folder --Import打开import文件夹),则直接写’file:///…csv’;若不在,则写绝对路径
• as row表示给数据表赋别名row,这时数据表相当于一个变量,后续用row.[字段]即可取得数据表的某列
• with row表示在此处接收变量row并将其传递至后续语句
• merge用于生成数据点,类似于match(查询)和create(创建)的结合
• {name:row.name}表示将row的name列赋值给节点的属性name
• call {} in transactions of 100000 rows表示批量处理数据,每批100000行。在处理大量数据时,建议使用该语句,不然易出现内存溢出错误

下述代码生成班级数据点

:auto
LOAD CSV with HEADERS from 'file:///class_id.csv' AS row
call {with rowmerge (s:Student{class_id:row.class_id,math_teacher:row.math_teacher,english_teacher:row.english_teacher,chinese_teacher:row.chinese_teacher})
} in transactions of 100000 rows;

接着生成关系(边)

:auto
LOAD CSV with HEADERS from 'file:///student.csv' AS row
call {with rowmatch (s:student {student_id:row.student_id})match (c:class {class_id:row.class_id})merge (s)-[:BELONG] -> (c)
} in transactions of 100000 rows;

二、neo4j-admin import

<一>、导入入口

• neo4j-admin针对的是数据量比较大,千万级数据,用LOAD CSV方法会报内存溢出错误
• 这一方法需在终端中使用(桌面版neo4j-desctop主页点击数据库右侧三点键–Terminal即可打开终端)

进入终端以后就可以执行导入命令了

<二>、文件准备

1、节点文件

• 顶点数据表头:“[…]:ID”,“[…]:LABEL”,“[…]:IGNORE”,"[…]:double"等

对于顶点数据表头

• “[…]:ID"是必需项,比如将"CLASS_ID"改为"CLASS_ID:ID”
• 若整张表都是同一标签,则不需"[…]:LABEL"列,而是在命令行,见命令详解,–nodes=Class="…csv"表示这些节点都带Class标签
• "[…]:IGNORE"表示导入时忽略该列
• "[…]:double"表示导入时将该列的值转为double型,默认是string

eg:

class_id:ID	math_teacher	english_teacher	chinese_teacher
1	祖冲之	狄更斯	李白
2	张苍	莎士比亚	杜甫

导入到图数据库时,class_id,match_teacher,english_teacher,chinese_teacher都是节点的属性,Class为节点的标签

2、关系文件

• 边数据表头:“[…]:START_ID”,“[…]:END_ID”,“[…]:TYPE”,“[…]:IGNORE”,"[…]:double"等

对于边数据表头

• “[…]:START_ID”、“[…]:END_ID"为必需项,比如"student_id:start_id"和"class_id:end_id”
• “[…]:TYPE"类似于顶点数据表头的”[…]:LABEL",如"belong:TYPE",也可在命令行中指定,如–relationships=BELONG=“…csv”
• 其它项同理

eg:

student_id:START_ID	class_id:END_ID	“belong”:type	name	age
300	1	belong	李世民	18
301	2	belong	朱元璋	20

导入到图数据库时,会生成两条关系:如300 -[belong]->1,301 -[belong]->2,name、age为student的属性

注意:文件需放在当前数据库的import文件夹下

<三>、命令详解

neo4j-admin database import full 
--overwrite-destination 
--multiline-fields=true 
--skip-bad-relationships 
--nodes=Class="import\class.csv"
--relationships="import\student.csv" 
--input-encoding=UTF-8 
neo4j

• –overwrite-destination:指定在导入数据时是否覆盖目标数据库中的现有数据,如果目标数据库中已经存在数据，导入操作会覆盖这些数据
• multiline-fields:用于指定是否允许导入的字段包含多行数据。当设置为 true 时，该参数允许字段中的数据跨越多行，这对于处理包含换行符的文本数据非常有用
• –skip-bad-relationships:用于指定是否跳过那些引用了不存在节点ID的关系。如果设置为 true，则在导入过程中，如果遇到引用了不存在的起始节点或结束节点的关系，这些关系将被跳过，而不会中断整个导入过程。这个参数的默认值是 false
• –nodes:导入节点
• –relationships：导入关系
• neo4j:表示导入到哪个数据库,这里指的是默认的neo4j,如想更改,只需改成想导入的数据库即可