|
|
| Line 19: |
Line 19: |
| <span id="Simplification_Data"></span> | | <span id="Simplification_Data"></span> |
| ==[[Simplification_Data/nl|Simplificatiedata]]== | | ==[[Simplification_Data/nl|Simplificatiedata]]== |
|
| |
| '''Manueel gecreëerde datasets'''
| |
|
| |
| Het Nederlandse gemeentelijke corpus is een parallel monolinguaal corpus voor de evaluatie van zinsvereenvoudiging in het Nederlandse gemeentelijke domein. Het corpus is gemaakt door Amsterdam Intelligence. Het bevat 1.311 vertaalde parallelle zinsparen die automatisch gealigneerd werden. De zinsparen zijn afkomstig uit 50 documenten van de communicatieafdeling van de gemeente Amsterdam die handmatig werden vereenvoudigd om de vereenvoudiging voor het Nederlands te evalueren.
| |
|
| |
| * 265 KB
| |
| * [https://github.com/Amsterdam-AI-Team/dutch-municipal-text-simplification/tree/master/complex-simple-sentences Download dataset (CSV-bestand)]
| |
|
| |
| '''Automatisch gecreëerde datasets'''
| |
|
| |
| 1) De eerste dataset is door Bram Vanroy gemaakt voor het vereenvoudigen van Nederlandse tekst met behulp van text-to-text transfer transformers en bestaat uit Nederlandse bronzinnen samen met hun corresponderende vereenvoudigde zinnen, gegenereerd met ChatGPT.
| |
|
| |
| # Training = 1013 zinnen (262 KB)
| |
| # Validatie = 126 zinnen (32.6 KB)
| |
| # Test = 128 zinnen (33 KB)
| |
|
| |
| * [https://huggingface.co/datasets/BramVanroy/chatgpt-dutch-simplification Downloadpagina (CSV-bestanden)]
| |
|
| |
| 2) De tweede dataset is gemaakt door UWV Nederland als onderdeel van het “Leesplank”-project, een poging om datasets te genereren die ethisch en juridisch verantwoord zijn. De dataset bestaat uit 2,87 miljoen alinea's en de bijbehorende vereenvoudigde tekst. De paragrafen zijn gebaseerd op het Nederlandse Wikipedia-extract uit [http://gigacorpus.nl/ Gigacorpus]. De tekst is gefilterd en opgeschoond door [https://learn.microsoft.com/en-us/azure/ai-services/openai/concepts/content-filter?tabs=warning%2Cpython-new GPT-4 1106 preview te gebruiken].
| |
|
| |
| * 3.02 MB
| |
| * [https://huggingface.co/datasets/UWV/Leesplank_NL_wikipedia_simplifications Downloadpagina]
| |
|
| |
| Een uitgebreidere versie van deze dataset werd gemaakt door Michiel Buisman en Bram Vanroy. Deze dataset bevat een eerste, kleine set variaties van Wikipediaparagrafen in verschillende stijlen (jargon, officieel, archaïsche taal, technisch, academisch en poëtisch).
| |
|
| |
| * 3.02 MB
| |
| * [https://huggingface.co/datasets/UWV/veringewikkelderingen Downloadpagina]
| |
|
| |
| 3) De derde dataset is het vergelijkbare corpus gemaakt door Nick Vanackere. Het bevat 12.687 Wablieft-artikelen uit de periode 2012-2017 en 206.466 De Standaard-artikelen uit de periode 2013-2017. Om de vergelijkbaarheid te garanderen, werden alleen artikels van 08/01/2013 tot 16/11/2017 bekeken, wat resulteerde in 8.744 Wablieft-artikels en 202.284 De Standaard-artikels. Het verschil in het aantal artikelen is te wijten aan de verschijningsfrequentie: Wablieft verschijnt wekelijks en De Standaard dagelijks.
| |
|
| |
| * 17.5 MB
| |
|
| |
| * [https://github.com/nivack/comparable_corpus_Wablieft_deStandaard/blob/main/comparable_corpus_Wablieft_DeStandaard.txt Downloadpagina]
| |
|
| |
| '''Vertaalde datasets'''
| |
|
| |
| 1 De eerste vertaalde dataset is gemaakt door het Nederlands Forensisch Instituut met behulp van Meta's [https://ai.meta.com/research/no-language-left-behind/ No Language Left Behind-model]. De dataset bestaat uit 167.000 uitgelijnde zinsparen en dient als Nederlandse vertaling van de [https://cs.pomona.edu/~dkauchak/simplification/ SimpleWiki-dataset]
| |
|
| |
| * 8.67 MB
| |
| * [https://huggingface.co/datasets/NetherlandsForensicInstitute/simplewiki-translated-nl Download dataset]
| |
|
| |
| 2 De tweede vertaalde dataset is gemaakt door Theresa Seidl in het kader van Controllable sentence simplification in het Nederlands. Dit is een synthetische dataset die een combinatie is van de eerste 10.000 rijen van de parallelle [https://github.com/XingxingZhang/dress WikiLarge-dataset], en [https://github.com/facebookresearch ASSET-dataset (Abstractive Sentence Simplification Evaluation and Tuning)]. Door deze twee datasets te combineren, vertaalde Theresa ze naar het Nederlands met behulp van [https://arxiv.org/pdf/1609.08144 Google Neural Machine Translation].
| |
|
| |
| * [https://github.com/tsei902/simplify_dutch/tree/main/resources/datasets Downloadpagina]
| |
DAESO-corpus
Het DAESO-corpus is een parallelle monolinguale treebank van Nederlandse teksten. Het corpus bevat ruim 2,1 miljoen woorden parallelle en vergelijkbare tekst. Ongeveer 678.000 woorden werden handmatig gealigneerd en ongeveer 1,5 miljoen woorden werden automatisch gealigneerd. Er is een semantische relatie toegevoegd aan de gealigneerde woorden/zinnen.
Bijbelcorpus
Een diachroon en synchroon parallel corpus van bijbelvertalingen in het Nederlands, Engels, Duits en Zweeds, met teksten van de 14e eeuw tot nu.