Simplification Data/nl: Difference between revisions

From Clarin K-Centre
Jump to navigation Jump to search
VisualWikitext
(Created page with "Simplificatiedata")
 
No edit summary
 
(2 intermediate revisions by one other user not shown)
Line 6: Line 6:
===ASSET Simplificatiecorpus===
===ASSET Simplificatiecorpus===


<div lang="en" dir="ltr" class="mw-content-ltr">
De Abstractive Sentence Simplification Evaluation and Tuning (ASSET) Dataset (Alva-Manchego et al, 2020) is automatisch vertaald naar het Nederlands (Seidl et al., 2023), en is vrij beschikbaar.
The ASSET simplification corpus (Alva-Manchego et al, 2020) was automatically translated to Dutch (Seidl et al., 2023), and is freely available.
</div>


<div lang="en" dir="ltr" class="mw-content-ltr">
*[https://github.com/tsei902/simplify_dutch/tree/main/resources/datasets/asset Github download]
*[https://github.com/tsei902/simplify_dutch/tree/main/resources/datasets/asset Github download]
* <small>Alva-Manchego, F., Martin, L., Bordes, A., Scarton, C., Sagot, B., & Specia, L. (2020). ASSET: A dataset for tuning and evaluation of sentence simplification models with multiple rewriting transformations. arXiv preprint arXiv:2005.00481.</small>
* <small>Alva-Manchego, F., Martin, L., Bordes, A., Scarton, C., Sagot, B., & Specia, L. (2020). ASSET: A dataset for tuning and evaluation of sentence simplification models with multiple rewriting transformations. arXiv preprint arXiv:2005.00481.</small>
* <small>Seidl, T., Vandeghinste, V., & Van de Cruys, T. (2023). [https://kuleuven.limo.libis.be/discovery/fulldisplay?docid=alma9993527112601488&context=L&vid=32KUL_KUL:KULeuven&lang=en&search_scope=All_Content&adaptor=Local%20Search%20Engine&tab=all_content_tab&query=any,contains,seidl%20theresa&offset=0 Controllable Sentence Simplification in Dutch]. KU Leuven. Faculteit Ingenieurswetenschappen.</small>
* <small>Seidl, T., Vandeghinste, V., & Van de Cruys, T. (2023). [https://kuleuven.limo.libis.be/discovery/fulldisplay?docid=alma9993527112601488&context=L&vid=32KUL_KUL:KULeuven&lang=en&search_scope=All_Content&adaptor=Local%20Search%20Engine&tab=all_content_tab&query=any,contains,seidl%20theresa&offset=0 Controllable Sentence Simplification in Dutch]. KU Leuven. Faculteit Ingenieurswetenschappen.</small>
</div>


<div lang="en" dir="ltr" class="mw-content-ltr">
===Wikilarge Dataset===
===Wikilarge Dataset===
</div>


<div lang="en" dir="ltr" class="mw-content-ltr">
Automatische vertaling van de Wikilarge dataset, nuttig voor automatische vereenvoudiging (Seidl et al., 2023). Vrij beschikbaar. Originele dataset van Zhang & Lapata
Automatic translation of the Wikilarge dataset, useful for automatic simplification (Seidl et al., 2023), freely available. Original dataset from Zhang & Lapata
</div>


<div lang="en" dir="ltr" class="mw-content-ltr">
*[https://github.com/tsei902/simplify_dutch/tree/main/resources/datasets/wikilarge Github download]
*[https://github.com/tsei902/simplify_dutch/tree/main/resources/datasets/wikilarge Github download]
* <small>Seidl, T., Vandeghinste, V., & Van de Cruys, T. (2023). [https://kuleuven.limo.libis.be/discovery/fulldisplay?docid=alma9993527112601488&context=L&vid=32KUL_KUL:KULeuven&lang=en&search_scope=All_Content&adaptor=Local%20Search%20Engine&tab=all_content_tab&query=any,contains,seidl%20theresa&offset=0 Controllable Sentence Simplification in Dutch]. KU Leuven. Faculteit Ingenieurswetenschappen.</small>
* <small>Seidl, T., Vandeghinste, V., & Van de Cruys, T. (2023). [https://kuleuven.limo.libis.be/discovery/fulldisplay?docid=alma9993527112601488&context=L&vid=32KUL_KUL:KULeuven&lang=en&search_scope=All_Content&adaptor=Local%20Search%20Engine&tab=all_content_tab&query=any,contains,seidl%20theresa&offset=0 Controllable Sentence Simplification in Dutch]. KU Leuven. Faculteit Ingenieurswetenschappen.</small>
* <small>Zhang, X. & Lapata, M. (2017). Sentence Simplification with Deep Reinforcement Learning. In ''Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing'', pages 584–594, Copenhagen, Denmark. Association for Computational Linguistics.</small>
* <small>Zhang, X. & Lapata, M. (2017). Sentence Simplification with Deep Reinforcement Learning. In ''Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing'', pages 584–594, Copenhagen, Denmark. Association for Computational Linguistics.</small>
</div>


<div lang="en" dir="ltr" class="mw-content-ltr">
===NFI SimpleWiki dataset===
===NFI SimpleWiki dataset===
</div>


<div lang="en" dir="ltr" class="mw-content-ltr">
Vertaalde dataset gecreëerd door het Nederlands Forensisch Instituut met Meta's [https://ai.meta.com/research/no-language-left-behind/ No Language Left Behind model]. Het bevat 167000 gealigneerde zinsparen en doet dienst als de Nederlandse vertaling van de SimpleWiki [https://cs.pomona.edu/~dkauchak/simplification/ dataset].  
Translated dataset created by Netherlands Forensic Institute using Meta's [https://ai.meta.com/research/no-language-left-behind/ No Language Left Behind model]. It comprises 167,000 aligned sentence pairs and serves as a Dutch translation of the SimpleWiki [https://cs.pomona.edu/~dkauchak/simplification/ dataset].
</div>


<div lang="en" dir="ltr" class="mw-content-ltr">
* 8.67 MB
* 8.67 MB
* [https://huggingface.co/datasets/NetherlandsForensicInstitute/simplewiki-translated-nl Download dataset]
* [https://huggingface.co/datasets/NetherlandsForensicInstitute/simplewiki-translated-nl Download dataset]  
</div>


<div lang="en" dir="ltr" class="mw-content-ltr">
<span id="Comparable_Corpus_Wablieft_De_Standaard"></span>
==Comparable Corpus Wablieft De Standaard==
==Vergelijkbaar Corpus Wablieft De Standaard==
</div>


<div lang="en" dir="ltr" class="mw-content-ltr">
Corpus gecreëerd door Nick Vanackere. Het  bevat 12.687 Wablieft-artikelen uit de periode 2012-2017 en 206.466 De Standaard-artikelen uit de periode 2013-2017. Om de vergelijkbaarheid te garanderen, werden alleen artikels van 08/01/2013 tot 16/11/2017 bekeken, wat resulteerde in 8.744 Wablieft-artikels en 202.284 De Standaard-artikels. Het verschil in het aantal artikelen is te wijten aan de verschijningsfrequentie: Wablieft verschijnt wekelijks en De Standaard dagelijks.  
Corpus created by Nick Vanackere. It contains a comparable corpus of 12,687 Wablieft articles between 2012-2017 from 206,466 De Standaard articles from 2013-2017. To ensure comparability, only articles from 08/01/2013 till 16/11/2017 were considered, resulting in 8,744 Wablieft articles and 202,284 De Standaard articles. The difference in the number of articles is due to the publication frequency, with Wablieft being weekly and De Standaard daily.
</div>


<div lang="en" dir="ltr" class="mw-content-ltr">
*[https://github.com/nivack/comparable_corpus_Wablieft_deStandaard Github]
*[https://github.com/nivack/comparable_corpus_Wablieft_deStandaard Github]
*[https://kuleuven.limo.libis.be/discovery/fulldisplay?docid=alma9993153812401488&context=L&vid=32KUL_KUL:KULeuven&lang=en&search_scope=All_Content&adaptor=Local%20Search%20Engine&tab=all_content_tab&query=any,contains,nick%20vanackere&offset=0 Vanackere, N., & Vandeghinste, V. (2022). Building a comparable corpus between easy-to-read Dutch Wablieft and De Standaard. KU Leuven. Faculteit Ingenieurswetenschappen.]
*[https://kuleuven.limo.libis.be/discovery/fulldisplay?docid=alma9993153812401488&context=L&vid=32KUL_KUL:KULeuven&lang=en&search_scope=All_Content&adaptor=Local%20Search%20Engine&tab=all_content_tab&query=any,contains,nick%20vanackere&offset=0 Vanackere, N., & Vandeghinste, V. (2022). Building a comparable corpus between easy-to-read Dutch Wablieft and De Standaard. KU Leuven. Faculteit Ingenieurswetenschappen.]
</div>


<div lang="en" dir="ltr" class="mw-content-ltr">
<span id="Synthetic_datasets"></span>
==Synthetic datasets==
==Synthetische datasets==
</div>


<div lang="en" dir="ltr" class="mw-content-ltr">
===UWV Leesplank NL wikipedia===
===UWV Leesplank NL wikipedia===
</div>


<div lang="en" dir="ltr" class="mw-content-ltr">
Data bevat 2,391,206 pragrafen van prompt/resultaat-combinatiess, waar het prompt een paragraaf uit de Nederlandse Wikipedia is en het resultaat een vereenvoudigde tekst is, die een of meer paragrafen kan bevatten. Deze dataset werd gecreëerd door UWV, als onderdeel van project "Leesplank", een inspanning om datasets te genereren die ethisch en wettelijk in orde zijn.
The set contains 2,391,206 pragraphs of prompt/result combinations, where the prompt is a paragraph from Dutch Wikipedia and the result is a simplified text, which could include more than one paragraph. This dataset was created by UWV, as a part of project "Leesplank", an effort to generate datasets that are ethically and legally sound.
</div>


<div lang="en" dir="ltr" class="mw-content-ltr">
* [https://huggingface.co/datasets/UWV/Leesplank_NL_wikipedia_simplifications/blob/main/README.md HuggingFace ReadMe file]
* [https://huggingface.co/datasets/UWV/Leesplank_NL_wikipedia_simplifications/blob/main/README.md HuggingFace ReadMe file]
</div>


<div lang="en" dir="ltr" class="mw-content-ltr">
* [https://huggingface.co/datasets/UWV/Leesplank_NL_wikipedia_simplifications Downloadpagina]
*[https://huggingface.co/datasets/UWV/Leesplank_NL_wikipedia_simplifications Dataset]
</div>


<div lang="en" dir="ltr" class="mw-content-ltr">
Een uitgebreidere versie van deze dataset werd gemaakt door Michiel Buisman en Bram Vanroy. Deze dataset bevat een eerste, kleine set variaties van Wikipediaparagrafen in verschillende stijlen (jargon, officieel, archaïsche taal, technisch, academisch en poëtisch).
A more extended version of this dataset was made by Michiel Buisman and Bram Vanroy. This datasets contains a first, small set of variations of Wikipedia paragraphs in different styles (jargon, official, archaïc language, technical, academic, and poetic).
</div>


<div lang="en" dir="ltr" class="mw-content-ltr">
* 3.02 MB
* 3.02 MB
* [https://huggingface.co/datasets/UWV/veringewikkelderingen Download page]
* [https://huggingface.co/datasets/UWV/veringewikkelderingen Downloadpagina]  
</div>


<div lang="en" dir="ltr" class="mw-content-ltr">
<span id="ChatGPT_generated_dataset_by_Van_de_Velde"></span>
===ChatGPT generated dataset by Van de Velde===
===Door ChatGPT gegenereerde dataset (Van de Velde)===
</div>


<div lang="en" dir="ltr" class="mw-content-ltr">
Gecreëerd in het kader van de masterthesis van Charlotte Van de Velde. De dataset bevat Nederlandse bronzinnen gealigneerd met vereenvoudigde zinnen, beide gegenereerd door ChatGPT. Alles gecombineerd bestaat de dataset uit 1267 ingangen.
Created in light of a master thesis by Charlotte Van de Velde. The dataset contains Dutch source sentences and aligned simplified sentences, generated with ChatGPT. All splits combined, the dataset consists of 1267 entries.
</div>


<div lang="en" dir="ltr" class="mw-content-ltr">
# Training = 1013 zinnen (262 KB)
# Training = 1013 sentences (262 KB)
# Validatie = 126 zinnen (32.6 KB)
# Validation = 126 sentences (32.6 KB)
# Test = 128 zinnen (33 KB)
# Test = 128 sentences (33 KB)
</div>


<div lang="en" dir="ltr" class="mw-content-ltr">
* [https://huggingface.co/datasets/BramVanroy/chatgpt-dutch-simplification Downloadpagina (CSV-bestanden)]  
* [https://huggingface.co/datasets/BramVanroy/chatgpt-dutch-simplification Download page (CSV files)]
</div>




<div lang="en" dir="ltr" class="mw-content-ltr">
<span id="Manually_simplified"></span>
==Manually simplified==
==Manueel vereenvoudigd==
</div>


<div lang="en" dir="ltr" class="mw-content-ltr">
<span id="Dutch_municipal_data"></span>
===Dutch municipal data===
===Nederlandse gemeentelijke data===
</div>


<div lang="en" dir="ltr" class="mw-content-ltr">
Het Nederlandse gemeentelijke corpus is een parallel monolinguaal corpus voor de evaluatie van zinsvereenvoudiging in het Nederlandse gemeentelijke domein. Het corpus is gemaakt door Amsterdam Intelligence. Het bevat 1.311 vertaalde parallelle zinsparen die automatisch gealigneerd werden. De zinsparen zijn afkomstig uit 50 documenten van de communicatieafdeling van de gemeente Amsterdam die handmatig werden vereenvoudigd om de vereenvoudiging voor het Nederlands te evalueren.   
The Dutch municipal corpus is a parallel monolingual corpus for the evaluation of sentence-level simplification in the Dutch municipal domain. The corpus was created by Amsterdam Intelligence. It contains 1,311 translated parallel sentence pairs that were automatically aligned. The sentence pairs originate from 50 documents from the Communications Department of the City of Amsterdam that were manually simplified to evaluate simplification for Dutch.
</div>  


<div lang="en" dir="ltr" class="mw-content-ltr">
*265 KB
*265 KB
*[https://github.com/Amsterdam-AI-Team/dutch-municipal-text-simplification Github]
*[https://github.com/Amsterdam-AI-Team/dutch-municipal-text-simplification Github]
</div>

Latest revision as of 12:08, 6 August 2024

Automatisch vertaalde datasets

ASSET Simplificatiecorpus

De Abstractive Sentence Simplification Evaluation and Tuning (ASSET) Dataset (Alva-Manchego et al, 2020) is automatisch vertaald naar het Nederlands (Seidl et al., 2023), en is vrij beschikbaar.

  • Github download
  • Alva-Manchego, F., Martin, L., Bordes, A., Scarton, C., Sagot, B., & Specia, L. (2020). ASSET: A dataset for tuning and evaluation of sentence simplification models with multiple rewriting transformations. arXiv preprint arXiv:2005.00481.
  • Seidl, T., Vandeghinste, V., & Van de Cruys, T. (2023). Controllable Sentence Simplification in Dutch. KU Leuven. Faculteit Ingenieurswetenschappen.

Wikilarge Dataset

Automatische vertaling van de Wikilarge dataset, nuttig voor automatische vereenvoudiging (Seidl et al., 2023). Vrij beschikbaar. Originele dataset van Zhang & Lapata

  • Github download
  • Seidl, T., Vandeghinste, V., & Van de Cruys, T. (2023). Controllable Sentence Simplification in Dutch. KU Leuven. Faculteit Ingenieurswetenschappen.
  • Zhang, X. & Lapata, M. (2017). Sentence Simplification with Deep Reinforcement Learning. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pages 584–594, Copenhagen, Denmark. Association for Computational Linguistics.

NFI SimpleWiki dataset

Vertaalde dataset gecreëerd door het Nederlands Forensisch Instituut met Meta's No Language Left Behind model. Het bevat 167000 gealigneerde zinsparen en doet dienst als de Nederlandse vertaling van de SimpleWiki dataset.

Vergelijkbaar Corpus Wablieft De Standaard

Corpus gecreëerd door Nick Vanackere. Het bevat 12.687 Wablieft-artikelen uit de periode 2012-2017 en 206.466 De Standaard-artikelen uit de periode 2013-2017. Om de vergelijkbaarheid te garanderen, werden alleen artikels van 08/01/2013 tot 16/11/2017 bekeken, wat resulteerde in 8.744 Wablieft-artikels en 202.284 De Standaard-artikels. Het verschil in het aantal artikelen is te wijten aan de verschijningsfrequentie: Wablieft verschijnt wekelijks en De Standaard dagelijks.

Synthetische datasets

UWV Leesplank NL wikipedia

Data bevat 2,391,206 pragrafen van prompt/resultaat-combinatiess, waar het prompt een paragraaf uit de Nederlandse Wikipedia is en het resultaat een vereenvoudigde tekst is, die een of meer paragrafen kan bevatten. Deze dataset werd gecreëerd door UWV, als onderdeel van project "Leesplank", een inspanning om datasets te genereren die ethisch en wettelijk in orde zijn.

Een uitgebreidere versie van deze dataset werd gemaakt door Michiel Buisman en Bram Vanroy. Deze dataset bevat een eerste, kleine set variaties van Wikipediaparagrafen in verschillende stijlen (jargon, officieel, archaïsche taal, technisch, academisch en poëtisch).

Door ChatGPT gegenereerde dataset (Van de Velde)

Gecreëerd in het kader van de masterthesis van Charlotte Van de Velde. De dataset bevat Nederlandse bronzinnen gealigneerd met vereenvoudigde zinnen, beide gegenereerd door ChatGPT. Alles gecombineerd bestaat de dataset uit 1267 ingangen.

  1. Training = 1013 zinnen (262 KB)
  2. Validatie = 126 zinnen (32.6 KB)
  3. Test = 128 zinnen (33 KB)


Manueel vereenvoudigd

Nederlandse gemeentelijke data

Het Nederlandse gemeentelijke corpus is een parallel monolinguaal corpus voor de evaluatie van zinsvereenvoudiging in het Nederlandse gemeentelijke domein. Het corpus is gemaakt door Amsterdam Intelligence. Het bevat 1.311 vertaalde parallelle zinsparen die automatisch gealigneerd werden. De zinsparen zijn afkomstig uit 50 documenten van de communicatieafdeling van de gemeente Amsterdam die handmatig werden vereenvoudigd om de vereenvoudiging voor het Nederlands te evalueren.

Retrieved from "https://kdutch.ivdnt.org/mediawiki/index.php?title=Simplification_Data/nl&oldid=10644"