Other corpora/nl: Difference between revisions
(Created page with "*[https://data.statmt.org/cc-100/ Corpus website met downloadlinks per taal] *[https://www.aclweb.org/anthology/2020.acl-main.747 Paper webpagina] *[https://aclanthology.org/2020.lrec-1.494/ Paper webpagina]") |
(Created page with "* [http://gigacorpus.nl/ Project website] *") |
||
| Line 121: | Line 121: | ||
*[https://aclanthology.org/2020.lrec-1.494/ Paper webpagina] | *[https://aclanthology.org/2020.lrec-1.494/ Paper webpagina] | ||
== Dutch Gigacorpus == | == Dutch Gigacorpus == | ||
Met 234GB aan gevarieerde platte tekst, maarliefst 40 miljard tokens, is dit in ieder geval het grootste Nederlandse corpus. Maar daarnaast is dit corpus ook vrij beschikbaar en de kwaliteit is relatief hoog voor zijn omvang, zorg is gedragen voor het zo schoon mogelijk krijgen van de data. Ook bevat het corpus 400 miljoen forumposts in 10 miljoen threads met hun timestamp intact voor taalkundig onderzoek. | |||
* [http://gigacorpus.nl/ Project website] | * [http://gigacorpus.nl/ Project website] | ||
Revision as of 13:37, 21 March 2024
BasiLex-corpus
Het BasiLex-corpus is een geannoteerde verzameling van teksten geschreven voor kinderen in de basisschoolleeftijd. Het corpus bevat 13,5 miljoen tokens, waarvan 11,5 miljoen woorden. De tokens komen voor ongeveer 40% uit educatieve materialen, 40% uit kinderliteratuur en 20% uit media.
- versie 1.0 (2015)
- Tellings, A., Hulsbosch, M., Vermeer, A. & van den Bosch, A. (2015). BasiLex: an 11.5-million words corpus of Dutch texts written for children. Computational Linguistics in the Netherlands Journal 4, 191-208
- Download pagina
BasiScript-corpus
BasiScript is een corpus met 9 miljoen woorden geschreven tekst geproduceerd door leerlingen van de Nederlandse basisschool.
- versie 1.0 (2015)
- Project pagina
- Download pagina
CLiPS Stylometry Investigation (CSI) Corpus
Het CSI-corpus is een jaarlijks uitgebreid corpus van studententeksten in twee genres: essays en reviews. Het doel van dit corpus bevindt zich met name in onderzoek naar stylometrie, maar andere toepassingen zijn ook mogelijk. Er is een uitgebreide hoeveelheid metadata beschikbaar, zowel over de auteur (gender, leeftijd, seksuele oriëntatie, regio van oorsprong, persoonlijkheidsprofiel), als ook over het document (tijdsvermelding, genre, echtheid, sentiment, cijfer). De huidige versie van het corpus is samengesteld in februari 2016. Eerdere versies van het corpus zijn verkrijgbaar bij de auteurs via emailaanvraag.
CONDIV-corpus
Het CONDIV-corpus is een elektronisch toegankelijke, regionaal, stilistisch en diachroon gecontroleerde materiaalverzameling van ongeveer 47.000.000 woorden geschreven Nederlands, die speciaal ten behoeve van het CONDIV-project ontwikkeld werd. Om toegang te krijgen tot de data, dient u contact op te nemen met Dirk Speelman van de KU Leuven
COREA-coreferentiecorpus
Het COREA-coreferentiecorpus (circa 150.000 woorden) bestaat uit Nederlandse teksten waarin coreferentierelaties systematisch gemarkeerd zijn. De teksten bestaan uit krantenartikelen (D-Coi), getranscribeerde spraak (CGN) en lemma's uit de Spectrum (Winkler Prins) Medische Encyclopedie.
- versie 1.0.1 (2014)
- Paper
- Demo
- Download pagina
D-Tuna-corpus
Het D-TUNA-corpus bestaat uit 2400 geschreven en (getranscribeerde) gesproken referentiële expressies. De semantische annotatie van alle expressies (xml-formaat) maakt het corpus bruikbaar als input voor taalgeneratiesystemen. De samenstelling van het D-TUNA-corpus is geïnspireerd op het Engelse TUNA Corpus.
- versie 1.0 (2009)
- Paper
- Download pagina
DBRD
De DBRD (uitgesproken als 'dee-bird') dataset bevat meer dan 110.000 boekreviews, waarvan 22.000 met bijbehorende binaire sentiment polariteitslabels. Het is bedoeld als een benchmark voor sentimentclassificatie in het Nederlands. De dataset kan worden gebruikt om een model te trainen voor sequentiemodellering, in het specifiek taalmodellering. Daarnaast kan het worden gebruikt om een model te trainen voor tekstclassificatie, in het specifiek sentimentclassificatie, met gebruik van de aangeboden positieve/negatieve sentiment polariteitslabels.
Dutch Audio Description Corpus
Het Dutch Audio Description-corpus bevat de getranscribeerde teksten van 39 audio-beschreven Nederlandse films en tv-series. In totaal bevat het corpus 154.570 woorden en 3.074 minuten aan video. Dit Dutch AD corpus is gebruikt om een reeks kwantitatieve data betreffende de taal van AD te extraheren, nl. frequentietellingen van delen van spraak, woorden, lemma, collocaties en de berekening van andere relevante tekststatistieken zoals leessnelheid, woord-en zinlengte, leesbaarheid en type token ratio (een statistische meting die de lexicale verscheidenheid weergeeft).
deLearyous
De deLearyous dataset is een Nederlands (Vlaamse) dataset voor emotieclassificatie volgens het framework van Leary's Rose, beter bekend als het Interpersonal Circumplex. De dataset bestaat uit 11 gesprekken die zijn geannoteerd op zinsniveau met hun positie op Leary's Rose, in functie van de twee kenmerkende dimensies: 'dominantie', en 'affiniteit'.
Dutch Idiom Database: Native Speakers (DID-NS)
Een database met beoordelingen van 390 moedertaalsprekers van 374 Nederlandse uitdrukkingen. In een online onderzoek hebben de deelnemers de idiomatsche uitdrukkingen beoordeeld op een aantal aspecten: frequentie, gebruik, bekendheid, voorstelbaarheid en transparantie. Ook is onderzocht of ze de juiste betekenis van de uitdrukkingen kenden.
- Versie 1.0 (2018)
- Methodologie
- Download pagina
NAMES Corpus
Het NAMES Corpus bevat een verzameling van 189.707 voornamen (61,9 miljoen tokens) en 562.676 achternamen (54,6 miljoen tokens) zoals gevonden in 19de-eeuwse geboorte-, huwelijks- en overlijdensakten (toegankelijk via wiewaswie.nl in de versie van 2011). Het is een resultaat van het CLARIAH-project 'NAMES' dat als doel had naamstandaarden te ontwikkelen voor het beheersen van variaties in persoonsnamen. De clustering van namen onder een standaard is gebaseerd op bestaande kennis van varianten en op spellingsovereenkomst. Er is gebruikgemaakt van zowel automatische als handmatige gegevensverwerking. Praktische bruikbaarheid van een standaard (met verschillende kwaliteitsniveaus) had de voorkeur boven een etymologisch verantwoorde afleiding die vaak niet te maken is.
- Versie 1.1 (2020)
- Download pagina
- Documentatie
Personae Corpus
Het Personae-corpus is verzameld voor experimenten in 'Authorship Attribution and Personality Prediction'. Het bestaat uit 145 Nederlandstalige essays, geschreven door 145 verschillende studenten (BA in taalkunde en literatuur aan de Universiteit van Antwerpen, België). Elke student deed ook een online MBTI-persoonlijkheidstest, wat persoonlijkheidsvoorspellingsexperimenten mogelijk maakt. Het corpus is gecontroleerd op onderwerp, register, genre, leeftijd, en opleidingsniveau. De originele teksten, een syntactisch geannoteerde versie van de teksten en de metadata zijn beschikbaar.
JASMIN-BLISS-Negation
Een corpusvoorbeeld van Nederlandse mens-machinedialogen, geannoteerde met ontkenningssignalen.
Multimodal ABEA
Multimodale dataset die kan worden gebruikt binnen de context van aspect-based sentiment-en emotieherkenning. Het bestaat uit 4.900 opmerkingen op 175 afbeeldingen op de Adidas Instagram-pagina en is geannoteerd met zowel aspect als emotielabels.
MFAQ (Multilingual corpus of Frequently Asked Questions)
Geparseerd van de Common Crawl. Het corpus bevat zes miljoen paren van vragen en antwoorden in 21 verschillende talen.
VaccinChatNL
Een Belgisch-Nederlandse FAQ-dataset op het gebied van COVID-19-vaccinaties in Vlaanderen. Het bestaat uit 12.833 gebruikersvragen, verdeeld over 181 antwoord-labels, waarmee het grote groepen semantisch gelijkwaardige parafrases aanbiedt. VaccinChatNL is de eerste Nederlandse Dutch FAQ dataset van deze grootte.
MQA (Multilingual corpus of Questions and Answers)
Geparseerd van de Common Crawl. Het corpus bestaat uit 234 miljoen paren van vragen en antwoorden in 39 verschillende talen.
Dutch Audio Description Corpus
Het Dutch Audio Description-corpus bevat de getranscribeerde teksten van 39 audio-beschreven Nederlandse films en tv-series. In totaal bevat het corpus 154.570 woorden en 3.074 minuten aan video. De data bestaat uit de corpusbestanden (XML-bestanden) van de getranscribeerde audiobeschrijvingen, de multimodale concordantie die is ontwikkeld voor het project en de rauwe data die is geëxtraheerd uit het corpus als onderdeel van het promotieonderzoek dat tijdens het corpus is ontwikkeld.
Named Entity Recognition CoNLL2002
Spaanse en Nederlandse data met named entity labels. De Nederlandse data bestaat uit vier edities van de Belgische krant 'De Morgen' uit 2000 (2 juni, 1 juli, 1 augustus en 1 september). Voor de Nederlandse data heeft de annotator zo goed als mogelijk de MITRE en SAIC-richtlijnen voor named entity recognition (Chinchor et al.,1999) gevolgd.
CC-100 Corpus
Dit corpus is een poging om de dataset die wordt gebruikt voor het trainen van XLM-R opnieuw te creëren. Dit corpus bestaat uit eentalige data voor 100+ talen en bevat daarnaast data voor geromaniseerde talen (aangegeven door *_rom)
Dutch Gigacorpus
Met 234GB aan gevarieerde platte tekst, maarliefst 40 miljard tokens, is dit in ieder geval het grootste Nederlandse corpus. Maar daarnaast is dit corpus ook vrij beschikbaar en de kwaliteit is relatief hoog voor zijn omvang, zorg is gedragen voor het zo schoon mogelijk krijgen van de data. Ook bevat het corpus 400 miljoen forumposts in 10 miljoen threads met hun timestamp intact voor taalkundig onderzoek.