Manually annotated corpora/nl

Handmatige corpora zijn verzamelingen van teksten die manueel geverifieerde of manueel aangebrachte taalkundige informatie bevatten, zoals morfosyntactische tags, lemma's, syntactische parseringen, named entities etc. Deze corpora kunnen worden gebruikt bij het trainen van nieuwe taalannotatietools, alsook bij het testen van de nauwkeurigheid van bestaande annotatietools.

Corpus Gesproken Nederlands

Het Corpus Gesproken Nederlands (CGN) is een verzameling van 900 uur (bijna 9 miljoen woorden) hedendaagse Nederlandse spraak, afkomstig van Vlamingen en Nederlanders. De spraakfragmenten (spontaan en voorbereid) zijn opgelijnd met diverse transcripties (o.a. orthografisch, fonetisch) en annotaties (syntactisch, POS-tags). Metadata, lexica, frequentielijsten en de corpusexploratiesoftware Corex behoren ook tot het CGN.

• Corpuspagina

Eindhoven Corpus

Het Eindhovencorpus is de eerste verzameling van Nederlandstalige geschreven en (getranscribeerde) gesproken teksten die voor onderzoeksdoeleinden is gemaakt. Het corpus dateert uit de periode 1960-1973 en bevat ongeveer 768.000 tekens.

• versie 2.0.1 (2014)
• 3 MB
• Downloadlink

Lassy Klein

Het Lassy Klein-corpus is een corpus van ongeveer 1 miljoen woorden met manueel geverifieerde syntactische annotaties. Lemma’s en POS-tags werden automatisch toegevoegd aan het corpus m.b.v. Tadpole (nu: Frog). De syntactische dependentiestructuren werden toegevoegd m.b.v. Alpino. De lemma’s, POS-tags en syntactische boomstructuren werden geverifieerd en gecorrigeerd.

• Versie 7.0
• Download
• Online treebank search

SoNaR Klein-corpus

Het SoNaR Klein-corpus Commercieel is een tekstcorpus dat ongeveer 825.000 woorden tekst bevat die voorzien werden van verschillende soorten semantische annotaties, nl. named entity labelling, coreferentieannotatie, sematische rollen en de annotatie van spatiële en temporele relaties. Alle annotaties werden manueel geverifieerd.

• Verscheidene versies van het SoNaR-corpus
• Downloadpagina

ACTER: Annotated Corpora for Term Extraction Research

ACTER is een handmatig geannoteerde dataset voor termextractie, die drie talen bevat (Engels, Frans en Nederlands), en vier domeinen (corruptie, dressuur, hartfalen en windenergie).

• CLARIN-pagina
• Github-pagina
• Rigouts Terryn, Ayla, 2019, ACTER (Annotated Corpora for Term Extraction Research) v1.3, Eurac Research CLARIN Centre

Dutch Archaeology NER Training Dataset

Een handmatig geannoteerde NER-dataset (Named Entity Recognition), bestaande uit Nederlandse archeologische opgravingsverslagen. De volgende entiteittypes zijn gelabeld: Artefacten, Tijdperiodes, Materialen, Plaatsen (geografische locaties), Archeologische contexten en Soorten. De dataset wordt geleverd in het BIO-formaat, met elk token op 1 lijn en lege regels die zinsgrenzen aanduiden. Op elke regel staat een token, een POS-tag, de morfologische segmentatie en ten slotte het label, gescheiden door spaties. De POS-tag en morfologische segmentatie zijn toegewezen door Frog.

• Versie 1.0 (2019)
• Downloadpagina

StylesNMT

Deze datacollectie bevat een Engels-Nederlandse machinevertaling van de detectiveroman "The Mysterious Affair at Styles" van Agatha Christie. De vertaling werd in mei 2019 gegenereerd door het neurale MT-systeem van Google. De complete roman (5.276 zinsparen) is handmatig geannoteerd met vertaalfouten, met behulp van een aangepaste versie van de SCATE MT-foutentaxonomie (Tezcan et al. 2017).

• Downloadpagina
• Tezcan, A., Hoste, V., & Macken, L. (2017). SCATE taxonomy and corpus of machine translation errors. In G. C. Pastor & I. Durán-Muñoz (Eds.), Trends in E-tools and resources for translators and interpreters (Vol. 45, pp. 219–244). Brill | Rodopi.

Pilot Annotation Corpus PLATOS NL-EN

Dit geannoteerde corpus bestaat uit 100 commentaren van Facebookgebruikers in de zomer van 2020, op de Facebookpagina van een populaire Vlaamse krant (Het Laatste Nieuws, https://www.facebook.com/hln.be). Dit corpus bevat zowel de originele Nederlandse commentaren, als een parallelle Engelse vertaling (de Google Vertalen-output is ietwat aangepast voor correctheid door een moedertaalspreker). De annotatie omvat labels van onderwerpen, aspecten, en standpunten, maar ook argumentativeness detection en claim identification.

• Downloadlink
• Bauwelinck, N., & Lefever, E. (2020, December). Annotating Topics, Stance, Argumentativeness and Claims in Dutch Social Media Comments: A Pilot Study. In Proceedings of the 7th Workshop on Argument Mining (pp. 8-18).

EventDNA

Het EventDNA-corpus is een Nederlandstalig corpus bestaande uit 1.773 nieuwsdocumenten waarin nieuwsgebeurtenissen, entiteiten, IPTC Media Topic-codes en coreferentielinks handmatig zijn geannoteerd.

• EventDNA: Annotation Guidelines forEntities and Events in Dutch News Texts (v1.0) Camiel Colruyt, Orphée De Clercq and Véronique Hoste
• Code voor de gebeurtenisextractie-experimenten en IAA-onderzoek
• Infopagina (onder andere betreffende de toegang tot de corpusdata)

EmotioNL

Het EmotioNL-corpus is een emotiegeannoteerd corpus van Nederlandse teksten. Het bestaat uit 1.000 Nederlandse tweets en 1.000 citaten uit reality TV-shows. De teksten zijn geannoteerd met de categorieën woede, angst, vreugde, liefde, verdriet en neutraal, en scores (reëel gewaardeerd, tussen 0 en 1) voor de emotionele dimensies valentie, opwinding en dominantie.

• De Bruyne, L., De Clercq, O., & Hoste, V. (2021). Prospects for Dutch emotion detection: Insights from the new EmotioNL dataset. Computational Linguistics in the Netherlands Journal, 11, 231-255.
• Infopagina (onder andere betreffende de toegang tot de corpusdata)

EEmoWOZ-CS EN-NL

Het EmoWOZ-corpus is een tekstgebaseerd conversatiecorpus in het domein van de klantenservice, verzameld met behulp van de Wizard of Oz-techniek. In het Wizard of Oz-experiment dachten deelnemers dat zij in interactie waren met verschillende versies van een autonome Chatbot genaamd Chatty. In werkelijkheid werd het systeem volledig bestuurd door een menselijke operator (voortaan: wizard). Elke dialoog was gebaseerd op de beschrijving van een gebeurtenis die gepaard ging met een beginsentiment (neutraal of negatief), en wizards kregen de opdracht om het gesprek te sturen naar een vooraf gedefinieerd eindsentiment (positief, neutraal of negatief). Elke deelnemer had 12 gesprekken die vervolgens werden geannoteerd voor emoties met emotiecategorieën en dimensionale valentie-opwinding-dominantiescores. In totaal bevat het corpus 2.148 tekstuele dialogen tussen 179 deelnemers en wizards. Hoewel de originele versie van het corpus in het Nederlands werd verzameld is er ook een naar het Engels vertaalde versie beschikbaar.

• Projectpagina
• Labat, S., Ackaert, N., Demeester, T., & Hoste, V. (2022). Variation in the Expression and Annotation of Emotions: a Wizard of Oz Pilot Study. In G. Abercrombie, V. Basile, S. Tonelli, V. Rieser, & A. Uma (Eds.), Proceedings of the 1st Workshop on Perspectivist Approaches to NLP @LREC2022 (pp. 66–72). Marseille, France: European Language Resources Association (ELRA)

EmoTwiCS

EmoTwiCS is een corpus van 9.489 Nederlandse klantenservicedialogen die zijn verzameld via Twitter.

Labat, S., Demeester, T., & Hoste, V. (2023). EmoTwiCS : a corpus for modelling emotion trajectories in Dutch customer service dialogues on Twitter. Labat, S., Hadifar, A., Demeester, T., & Hoste, V. (2022). An emotional journey : detecting emotion trajectories in Dutch customer service dialogues Vraag om toegang