Differences between revisions 7 and 46 (spanning 39 versions)

Triple Stores

We tested the performance of two triple stores: Virtuoso and RDF-3X. We compare them to our own triple score on a couple of benchmarks.

Software Installation

Installation von Virtuoso Open-Source Edition:

Runterladen
Anweisungen in README-Datei folgen.

Installation von rdf3x:

Runterladen
Kompilieren

Installation von SparqlEngineDraft:

Klonen
Anweisungen befolgen.

Data Import

Um den Datensatz in die Triple-Stores laden zu können, musste dieser Satz in einen für RDF-Speicherung gängigen Format umgewandelt werden. Ausgewählt wurde "*.nt"-Format. Der ursprünglicher Satz enthielt Values und Enteties. Values waren schon nt-konform, die Enteties mussten umgewandelt werden. Dafür wurden die Enteties in die eckigen Klammer gesetzt und die unzulässige Zeichen durch die entsprechende Prozent-Kodierungen oder auch von uns definierten Ersatzzeichen ersetzt.

Ersetzungstabelle:

space

%25

%3C

%3E

%5C

%5E

%60

Z.B.: Mikel Jackson --> <Mikel_Jackson>

Data Import Virtuoso:

Datenladen in den Virtuoso wurde mit Bulk loading process durchgefuhrt. Bei diesem Prozess muss der Name des RDF-Graphen als graph_iri eingegeben werden. Unter dieser Namen ist der RDF-Satz bei Virtuoso erreichbar und man benutzt graph_iri als prefix bei jeder Entety, wenn man eine Spqrql-Anfrage an den Store erstellt.

Z.B.: Mikel Jackson --> '<http://foo/Mikel_Jackson>'

* Für die bessere Ladeperformance empfiehlt sich die Variablen NumberOfBuffers und MaxDirtyBuffers auf einen höheren Wert in der virtuoso.ini Datei zu setzten (Genauere ist in virtuoso.ini beschrieben). Die Datei liegt unter <Installationsordner von virtuoso>/var/lib/virtuoso/db/virtuoso.ini

Data Import Rdf3x:

Das Datenladen in den Rdf3x-Store erfolgt durch einen Skript <Installationsordner von Rdf3x>/bin/rdf3xload <DB-Name> <RDF-Satz-Pfad>. Kein zusätzlicher Präfix ist bei der Anfragegenerierung erforderlich.

Z.B.: Mikel Jackson --> '<Mikel_Jackson>'

Data Import SparqlEngineDraft:

Anweisungen befolgen. Kein zusätzlicher Präfix ist bei der Anfragegenerierung erforderlich.

Z.B.: Mikel Jackson --> '<Mikel_Jackson>'

Indexerstellung:

Die Größe des Input-RDF-Sets in der NT-Format beträgt 17 GB.

RDF-Store	Ladezeit	Indexgroße auf der Festplatte	Indexgroße in der Arbeitspeicher (unmittelbar nach dem Serverstart)
Virtuoso	23 min	7.9 GB	5.8 GB
Rdf3x	76 min	12 GB	?
SparqlEngineDraft	26 min	14.2 GB	3.5 GB

Tests

Zeilenformat: <time> (number of lines in result)

Query \ RDF Store	rdf3x	SparqlEngineDraft	Virtuoso
Query 1	0.730ms(1)	36.819ms(1)	2433.000ms(1)
Query 2	16.472ms(5162)	4.587ms(5162)	121.000ms(5164)
Query 3	98.460ms(1579)	57.766ms(1579)	530.000ms(1579)
Query 4	24.536ms(9767)	6.898ms(9767)	38.000ms(9767)
Query 5	5.164ms(4)	109.617ms(4)	1229.000ms(4)
Query 6	75.784ms(0)	41.713ms(0)	138.000ms(0)
Query 7	31.728ms(3697)	17.634ms(3697)	101.000ms(3697)
Query 8	9.443ms(164)	19.144ms(164)	163.000ms(164)
Query 9	0.513ms(128)	2.586ms(128)	883.000ms(128)
Query 10	466.715ms(1528)	208.694ms(1528)	801.000ms(1528)

Queries

Query 1

SELECT ?x WHERE { ?x <is-a> <Book> . ?x <Author> <Anthony_Newman_(Author)> }

Query 2

SELECT ?x WHERE { ?x <Genre> <Comedy> . ?x <is-a> <Award-Nominated_Work> . ?x <is-a> <Film> . }

Query 3

SELECT ?x WHERE { ?x <is-a> <Politician> . ?x <Film_performance> ?y . ?y <Genre> <Comedy> . }

Query 4

SELECT ?x WHERE { ?x <is-a> <Olympic_athlete> . ?x <is-a> <Deceased_Person> }

Query 5

SELECT ?x WHERE { ?x <Release> <Technodrome,_Volume_2_(Consumer_product)> . ?x <is-a> <Canonical_Version> . ?x <is-a> <Musical_Recording> . }

Query 6

SELECT ?x ?y WHERE { ?x <is-a> <Person> . ?x <Country_of_nationality> <Germany> . ?x <Author> ?y . ?y <is-a> <Award-Nominated_Work> }

Query 7

SELECT ?x WHERE { ?x <is-a> <Politician> . ?x <Parent> ?y . ?x <Parent> ?z . ?y <is-a> <Politician> . ?z <is-a> <Politician> . }

Query 8

SELECT ?x ?y WHERE{ ?x <is-a> <Monarch> . ?x <is-a> <Deceased_Person> .?x <Cause_of_death> <Assassination> . ?x <Place_of_birth> ?y }

Query 9

SELECT ?x WHERE{ ?x <is-a> <Lake> . ?x <Contained_by> <Russia> }

Query 10

SELECT ?x ?y ?z WHERE{ ?x <is-a> <Musical_Recording> . ?x <Recorded_by> ?y . ?y <Award_Won> <Bollywood_Movie_Humanitarian_Award> . ?y <Celebrity_friend> ?z . ?z <Profession> <Prophet> }

-  ⇤ ← Revision 7 as of 2014-12-10 19:28:46 → 
  Size: 2569
  Editor: kg-0-177
  Comment:
+   ← Revision 46 as of 2015-04-15 18:28:27 → ⇥
  Size: 5788
  Editor: stromboli
  Comment:
-Deletions are marked like this.
+Additions are marked like this.
 Line 7:
-TODO: Specify the dataset and the benchmark.
-Line 11:
+Line 10:
-'''Installation von Virtuoso Open-Source Edition:'''
+=== Installation von Virtuoso Open-Source Edition: ===
-Line 14:
+Line 13:
-'''Installation von rdf3x:'''
+=== Installation von rdf3x: ===
-Line 17:
+Line 16:
+=== Installation von SparqlEngineDraft: ===
 1. [[https://code.google.com/p/rdf3x/downloads/list|Klonen]]
 2. [[https://github.com/Buchhold/SparqlEngineDraft#1-build|Anweisungen]] befolgen.
-Line 18:
+Line 20:
-Um den Datensatz in die beide Stores laden zu können, musste dieser Satz in einen für RDF-Speicherung gängigen Format umgewandelt werden. Ausgewählt wurde "*.nt"-Format.
Der ursprünglicher Satz enthielt Values und Enteties. Values waren schon nt-conform, die dagegen Eneteties mussten umgewandelt werden. Dafür wurde ein kleiner Research gemacht, dessen Ergebnisse [[https://docs.google.com/document/d/1n3p-lpQdCB-2dCIqqAJUC6s5RG01e_y6Fp1xLRbY5HU/edit?usp=sharing|hier]] zusammengefasst wurden. Schlussendlich wurde entschieden aus den Enteties [[http://www.w3.org/TeamSubmission/turtle/#sec-uris|UriRefs]] zu machen. Dafür wurden die Enteties in die eckigen Klammer gesetzt und die unzulässige Zeichen durch die entsprechende Prozent-Kodierungen ersetzt. Die Ersetzungsregeln entsprechen denen von [[http://wiki.dbpedia.org/URIencoding|DBpedia 3.7]]. Als nächstes musste der konvertierter Datensatz in die beiden RDF-Stores geladen werden.
+Um den Datensatz in die Triple-Stores laden zu können, musste dieser Satz in einen für RDF-Speicherung gängigen Format umgewandelt werden. Ausgewählt wurde "*.nt"-Format.
Der ursprünglicher Satz enthielt Values und Enteties. Values waren schon nt-konform, die Enteties mussten umgewandelt werden. Dafür wurden die Enteties in die eckigen Klammer gesetzt und die unzulässige Zeichen durch die entsprechende Prozent-Kodierungen oder auch von uns definierten Ersatzzeichen ersetzt.
-Line 21:
+Line 23:
-'''Data Import Virtuoso:'''
Datenladen in den Virtuoso wurde mit [[http://virtuoso.openlinksw.com/dataspace/doc/dav/wiki/Main/VirtBulkRDFLoader|Bulk loading process]] gemacht. Bei diesem Prozess muss der Name des RDF-Graphen als graph_iri eingegeben werden. Unter dieser Namen ist der RDF-Satz bei Virtuoso erreichbar und man benutzt graph_iri als prefix bei jeder Entety, wenn man eine Spqrql-Anfrage an den Store erstellt.
Z.B.: '' 'Mikel%20Jackson' --> '<http://foo/Mikel%20Jackson>' ''
-Line 25:
+Line 24:
-'''Data Import Rdf3x:'''
Das Datenladen in den Rdf3x-Store erfolgt durch einen Skript ''<Installationsordner von Rdf3x>/bin/rdf3xload <DB-Name> <RDF-Satz-Pfad>''
TODO: Describe the data import process and any particularities / problems encountered.
+=== Ersetzungstabelle: ===
|| % |||| < |||| > |||| \ |||| ^ |||| ` |||| space ||
|| %25 |||| %3C |||| %3E |||| %5C |||| %5E |||| %60 |||| _ ||
-Line 29:
+Line 28:
-TODO: Put a table with the import times for each software.
+Z.B.: '' Mikel Jackson --> <Mikel_Jackson> ''
-Line 31:
+Line 30:
-== Queries ==
+=== Data Import Virtuoso: ===
Datenladen in den Virtuoso wurde mit [[http://virtuoso.openlinksw.com/dataspace/doc/dav/wiki/Main/VirtBulkRDFLoader|Bulk loading process]] durchgefuhrt. Bei diesem Prozess muss der Name des RDF-Graphen als graph_iri eingegeben werden. Unter dieser Namen ist der RDF-Satz bei Virtuoso erreichbar und man benutzt graph_iri als prefix bei jeder Entety, wenn man eine Spqrql-Anfrage an den Store erstellt.
 Line 33:
-TODO: Describe the data import process and any particularities / problems encountered.
+Z.B.: '' Mikel Jackson --> '<http://foo/Mikel_Jackson>' ''
 Line 35:
-TODO: Put a table with the query times for each software.
+''*'' Für die bessere Ladeperformance empfiehlt sich die Variablen ''NumberOfBuffers'' und  ''MaxDirtyBuffers'' auf einen höheren Wert in der virtuoso.ini Datei zu setzten (Genauere ist in virtuoso.ini beschrieben). Die Datei liegt unter ''<Installationsordner von virtuoso>/var/lib/virtuoso/db/virtuoso.ini''

=== Data Import Rdf3x: ===
Das Datenladen in den Rdf3x-Store erfolgt durch einen Skript ''<Installationsordner von Rdf3x>/bin/rdf3xload <DB-Name> <RDF-Satz-Pfad>''. Kein zusätzlicher Präfix ist bei der Anfragegenerierung erforderlich.

Z.B.: '' Mikel Jackson --> '<Mikel_Jackson>' ''

=== Data Import SparqlEngineDraft: ===
[[https://github.com/Buchhold/SparqlEngineDraft#2-creating-an-index|Anweisungen]] befolgen. Kein zusätzlicher Präfix ist bei der Anfragegenerierung erforderlich.

Z.B.: '' Mikel Jackson --> '<Mikel_Jackson>' ''

=== Indexerstellung: ===

Die Größe des Input-RDF-Sets in der NT-Format beträgt 17 GB.

|| '''RDF-Store''' |||| '''Ladezeit''' |||| '''Indexgroße auf der Festplatte''' ||  '''Indexgroße in der Arbeitspeicher (unmittelbar nach dem Serverstart)''' ||
|| Virtuoso |||| 23 min |||| 7.9 GB |||| 5.8 GB ||
|| Rdf3x |||| 76 min |||| 12 GB |||| ? ||
|| SparqlEngineDraft |||| 26 min |||| 14.2 GB |||| 3.5 GB ||

=== Tests ===

'''Zeilenformat:''' ''<time> (number of lines in result)''

|| '''Query \ RDF Store''' |||| '''rdf3x''' |||| '''SparqlEngineDraft''' |||| '''Virtuoso''' ||
|| '''Query 1''' |||| 0.730ms(1) |||| 36.819ms(1) |||| 2433.000ms(1) ||
|| '''Query 2''' |||| 16.472ms(5162) |||| 4.587ms(5162) |||| 121.000ms(5164) ||
|| '''Query 3''' |||| 98.460ms(1579) |||| 57.766ms(1579) |||| 530.000ms(1579) ||
|| '''Query 4''' |||| 24.536ms(9767) |||| 6.898ms(9767) |||| 38.000ms(9767) ||
|| '''Query 5''' |||| 5.164ms(4) |||| 109.617ms(4) |||| 1229.000ms(4) ||
|| '''Query 6''' |||| 75.784ms(0) |||| 41.713ms(0) |||| 138.000ms(0) ||
|| '''Query 7''' |||| 31.728ms(3697) |||| 17.634ms(3697) |||| 101.000ms(3697) ||
|| '''Query 8''' |||| 9.443ms(164) |||| 19.144ms(164) |||| 163.000ms(164) ||
|| '''Query 9''' |||| 0.513ms(128) |||| 2.586ms(128) |||| 883.000ms(128) ||
|| '''Query 10''' |||| 466.715ms(1528) |||| 208.694ms(1528) |||| 801.000ms(1528) ||

''' Queries '''

''' Query 1 '''

'' SELECT ?x WHERE { ''
'' ?x <is-a> <Book> .  ''
'' ?x <Author> <Anthony_Newman_(Author)>  ''
'' } ''

''' Query 2 '''

'' SELECT ?x WHERE { ''
''       ?x <Genre> <Comedy>  . ?x <is-a> <Award-Nominated_Work> . ?x <is-a> <Film> . ''
'' } ''

''' Query 3 '''

'' SELECT ?x WHERE { ''
'' ?x <is-a> <Politician> .  ?x <Film_performance> ?y . ?y <Genre> <Comedy>  . ''
'' } ''

''' Query 4 '''

'' SELECT ?x WHERE { ''
'' ?x  <is-a> <Olympic_athlete> . ?x  <is-a> <Deceased_Person> ''
'' } ''

''' Query 5 '''

'' SELECT ?x WHERE { ''
'' ?x <Release> <Technodrome,_Volume_2_(Consumer_product)> . ''
'' ?x <is-a> <Canonical_Version> . ''
'' ?x <is-a> <Musical_Recording> . ''
'' } ''

''' Query 6 '''

'' SELECT ?x ?y WHERE { ''
''  ?x <is-a> <Person> . ?x <Country_of_nationality> <Germany> . ?x <Author> ?y . ?y <is-a> <Award-Nominated_Work> ''
'' } ''

''' Query 7 '''

'' SELECT ?x WHERE { ''
'' ?x <is-a> <Politician> . ?x <Parent> ?y . ?x <Parent> ?z . ?y <is-a> <Politician> . ?z <is-a> <Politician> . ''
'' } ''

''' Query 8 '''

'' SELECT ?x ?y WHERE{ ?x <is-a> <Monarch> . ?x <is-a> <Deceased_Person> .?x <Cause_of_death> <Assassination> . ?x <Place_of_birth> ?y } ''

''' Query 9 '''

'' SELECT ?x WHERE{ ?x <is-a> <Lake> . ?x <Contained_by> <Russia> } ''

''' Query 10 '''

'' SELECT ?x ?y ?z WHERE{ ?x <is-a> <Musical_Recording> . ?x <Recorded_by> ?y . ?y <Award_Won> <Bollywood_Movie_Humanitarian_Award> . ?y <Celebrity_friend> ?z . ?z <Profession> <Prophet> } ''