Parallel Monolingual Corpora/nl: Difference between revisions

From Clarin K-Centre
Jump to navigation Jump to search
(Created page with "* [https://huggingface.co/datasets/BramVanroy/chatgpt-dutch-simplification Downloadpagina (CSV-bestanden)]")
(Created page with "2) De tweede dataset is gemaakt door UWV Nederland als onderdeel van het “Leesplank”-project, een poging om datasets te genereren die ethisch en juridisch verantwoord zijn. De dataset bestaat uit 2,87 miljoen alinea's en de bijbehorende vereenvoudigde tekst. De paragrafen zijn gebaseerd op het Nederlandse Wikipedia-extract uit [http://gigacorpus.nl/ Gigacorpus]. De tekst is gefilterd en opgeschoond door [https://learn.microsoft.com/en-us/azure/ai-services/openai/conc...")
Line 37: Line 37:
* [https://huggingface.co/datasets/BramVanroy/chatgpt-dutch-simplification Download page (CSV files)]  
* [https://huggingface.co/datasets/BramVanroy/chatgpt-dutch-simplification Download page (CSV files)]  


<div lang="en" dir="ltr" class="mw-content-ltr">
2) De tweede dataset is gemaakt door UWV Nederland als onderdeel van het “Leesplank”-project, een poging om datasets te genereren die ethisch en juridisch verantwoord zijn. De dataset bestaat uit 2,87 miljoen alinea's en de bijbehorende vereenvoudigde tekst. De paragrafen zijn gebaseerd op het Nederlandse Wikipedia-extract uit [http://gigacorpus.nl/ Gigacorpus]. De tekst is gefilterd en opgeschoond door [https://learn.microsoft.com/en-us/azure/ai-services/openai/concepts/content-filter?tabs=warning%2Cpython-new GPT-4 1106 preview te gebruiken].
2) The second dataset is created by UWV Nederland as part of the "Leesplank" project to ensure ethical and legal soundness. It comprises 2.87 million paragraphs and its simplified text as corresponding result. The paragraphs are based on the Dutch Wikipedia extract from [http://gigacorpus.nl/ Gigacorpus]. The text was filtered and cleaned by [https://learn.microsoft.com/en-us/azure/ai-services/openai/concepts/content-filter?tabs=warning%2Cpython-new using GPT-4 1106 preview].
</div>


<div lang="en" dir="ltr" class="mw-content-ltr">
* 3.02 MB
* 3.02 MB
* [https://huggingface.co/datasets/UWV/Leesplank_NL_wikipedia_simplifications Download page]
* [https://huggingface.co/datasets/UWV/Leesplank_NL_wikipedia_simplifications Downloadpagina]
</div>


<div lang="en" dir="ltr" class="mw-content-ltr">
Een uitgebreidere versie van deze dataset is gemaakt door Michiel Buisman en Bram Vanroy. Deze dataset bevat een eerste, kleine set variaties van Wikipediaparagrafen in verschillende stijlen (jargon, officieel, archaïsche taal, technisch, academisch en poëtisch).
A more extended version of this dataset was made by Michiel Buisman and Bram Vanroy. This datasets contains a first, small set of variations of Wikipedia paragraphs in different styles (jargon, official, archaïsche_taal, technical, academic, and poetic).
</div>


<div lang="en" dir="ltr" class="mw-content-ltr">
* 3.02 MB
* 3.02 MB
* [https://huggingface.co/datasets/UWV/veringewikkelderingen Download page]
* [https://huggingface.co/datasets/UWV/veringewikkelderingen Downloadpagina]  
</div>


<div lang="en" dir="ltr" class="mw-content-ltr">
<div lang="en" dir="ltr" class="mw-content-ltr">

Revision as of 15:02, 11 June 2024

Other languages:

DAESO-corpus

Het DAESO Corpus is een parallelle monolinguale treebank van Nederlandse teksten. Het corpus bevat ruim 2,1 miljoen woorden parallelle en vergelijkbare tekst. Ongeveer 678.000 woorden werden handmatig gealigneerd en ongeveer 1,5 miljoen woorden werden automatisch gealigneerd. Er is een semantische relatie toegevoegd aan de gealigneerde woorden/zinnen.

Bijbelcorpus

Een diachroon en synchroon parallel corpus van bijbelvertalingen in het Nederlands, Engels, Duits en Zweeds, met teksten van de 14e eeuw tot nu.

Simplificatiedata

Manueel gecreëerde datasets

Het Nederlandse gemeentelijke corpus is een parallel monolinguaal corpus voor de evaluatie van zinsvereenvoudiging in het Nederlandse gemeentelijke domein. Het corpus is gemaakt door Amsterdam Intelligence. Het bevat 1.311 vertaalde parallelle zinsparen die automatisch gealigneerd werden. De zinsparen zijn afkomstig uit 50 documenten van de communicatieafdeling van de gemeente Amsterdam die handmatig werden vereenvoudigd om de vereenvoudiging voor het Nederlands te evalueren.

Automatisch gecreëerde datasets

1) De eerste dataset is door Bram Vanroy gemaakt voor het vereenvoudigen van Nederlandse tekst met behulp van text-to-text transfer transformers en bestaat uit Nederlandse bronzinnen samen met hun corresponderende vereenvoudigde zinnen, gegenereerd met ChatGPT.

  1. Training = 1013 zinnen (262 KB)
  2. Validatie = 126 zinnen (32.6 KB)
  3. Test = 128 zinnen (33 KB)

2) De tweede dataset is gemaakt door UWV Nederland als onderdeel van het “Leesplank”-project, een poging om datasets te genereren die ethisch en juridisch verantwoord zijn. De dataset bestaat uit 2,87 miljoen alinea's en de bijbehorende vereenvoudigde tekst. De paragrafen zijn gebaseerd op het Nederlandse Wikipedia-extract uit Gigacorpus. De tekst is gefilterd en opgeschoond door GPT-4 1106 preview te gebruiken.

Een uitgebreidere versie van deze dataset is gemaakt door Michiel Buisman en Bram Vanroy. Deze dataset bevat een eerste, kleine set variaties van Wikipediaparagrafen in verschillende stijlen (jargon, officieel, archaïsche taal, technisch, academisch en poëtisch).

3) The third dataset is the comparable corpus created by Nick Vanackere. It contains a comparable corpus of 12,687 Wablieft articles between 2012-2017 from 206,466 De Standaard articles from 2013-2017. To ensure comparability, only articles from 08/01/2013 till 16/11/2017 were considered, resulting in 8,744 Wablieft articles and 202,284 De Standaard articles. The difference in the number of articles is due to the publication frequency, with Wablieft being weekly and De Standaard daily.

  • 17.5 MB

Translated datasets

1 The first translated dataset is created by Netherlands Forensic Institute using Meta's No Language Left Behind model. It comprises 167,000 aligned sentence pairs and serves as a Dutch translation of the SimpleWiki dataset.

2 The second translated dataset is created by Theresa Seidl in the context of Controllable sentence simplification in Dutch. This is a synthetic dataset which is a combination of the first 10,000 rows of the parallel WikiLarge dataset, and ASSET (Abstractive Sentence Simplification Evaluation and Tuning) dataset. By combining these two datasets, Theresa translated them to Dutch using Google Neural Machine Translation.