Simplification Data/nl: Difference between revisions
No edit summary |
(Updating to match new version of source page) |
||
| Line 1: | Line 1: | ||
<languages/> | |||
<span id="Automatically_translated_datasets"></span> | <span id="Automatically_translated_datasets"></span> | ||
| Line 6: | Line 7: | ||
===ASSET Simplificatiecorpus=== | ===ASSET Simplificatiecorpus=== | ||
<div class="mw-translate-fuzzy"> | |||
De Abstractive Sentence Simplification Evaluation and Tuning (ASSET) Dataset (Alva-Manchego et al, 2020) is automatisch vertaald naar het Nederlands (Seidl et al., 2023), en is vrij beschikbaar. | De Abstractive Sentence Simplification Evaluation and Tuning (ASSET) Dataset (Alva-Manchego et al, 2020) is automatisch vertaald naar het Nederlands (Seidl et al., 2023), en is vrij beschikbaar. | ||
</div> | |||
<div class="mw-translate-fuzzy"> | |||
*[https://github.com/tsei902/simplify_dutch/tree/main/resources/datasets/asset Github download] | *[https://github.com/tsei902/simplify_dutch/tree/main/resources/datasets/asset Github download] | ||
* <small>Alva-Manchego, F., Martin, L., Bordes, A., Scarton, C., Sagot, B., & Specia, L. (2020). ASSET: A dataset for tuning and evaluation of sentence simplification models with multiple rewriting transformations. arXiv preprint arXiv:2005.00481.</small> | * <small>Alva-Manchego, F., Martin, L., Bordes, A., Scarton, C., Sagot, B., & Specia, L. (2020). ASSET: A dataset for tuning and evaluation of sentence simplification models with multiple rewriting transformations. arXiv preprint arXiv:2005.00481.</small> | ||
* <small>Seidl, T., Vandeghinste, V., & Van de Cruys, T. (2023). [https://kuleuven.limo.libis.be/discovery/fulldisplay?docid=alma9993527112601488&context=L&vid=32KUL_KUL:KULeuven&lang=en&search_scope=All_Content&adaptor=Local%20Search%20Engine&tab=all_content_tab&query=any,contains,seidl%20theresa&offset=0 Controllable Sentence Simplification in Dutch]. KU Leuven. Faculteit Ingenieurswetenschappen.</small> | * <small>Seidl, T., Vandeghinste, V., & Van de Cruys, T. (2023). [https://kuleuven.limo.libis.be/discovery/fulldisplay?docid=alma9993527112601488&context=L&vid=32KUL_KUL:KULeuven&lang=en&search_scope=All_Content&adaptor=Local%20Search%20Engine&tab=all_content_tab&query=any,contains,seidl%20theresa&offset=0 Controllable Sentence Simplification in Dutch]. KU Leuven. Faculteit Ingenieurswetenschappen.</small> | ||
</div> | |||
===Wikilarge Dataset=== | ===Wikilarge Dataset=== | ||
| Line 16: | Line 21: | ||
Automatische vertaling van de Wikilarge dataset, nuttig voor automatische vereenvoudiging (Seidl et al., 2023). Vrij beschikbaar. Originele dataset van Zhang & Lapata | Automatische vertaling van de Wikilarge dataset, nuttig voor automatische vereenvoudiging (Seidl et al., 2023). Vrij beschikbaar. Originele dataset van Zhang & Lapata | ||
<div class="mw-translate-fuzzy"> | |||
*[https://github.com/tsei902/simplify_dutch/tree/main/resources/datasets/wikilarge Github download] | *[https://github.com/tsei902/simplify_dutch/tree/main/resources/datasets/wikilarge Github download] | ||
* <small>Seidl, T., Vandeghinste, V., & Van de Cruys, T. (2023). [https://kuleuven.limo.libis.be/discovery/fulldisplay?docid=alma9993527112601488&context=L&vid=32KUL_KUL:KULeuven&lang=en&search_scope=All_Content&adaptor=Local%20Search%20Engine&tab=all_content_tab&query=any,contains,seidl%20theresa&offset=0 Controllable Sentence Simplification in Dutch]. KU Leuven. Faculteit Ingenieurswetenschappen.</small> | * <small>Seidl, T., Vandeghinste, V., & Van de Cruys, T. (2023). [https://kuleuven.limo.libis.be/discovery/fulldisplay?docid=alma9993527112601488&context=L&vid=32KUL_KUL:KULeuven&lang=en&search_scope=All_Content&adaptor=Local%20Search%20Engine&tab=all_content_tab&query=any,contains,seidl%20theresa&offset=0 Controllable Sentence Simplification in Dutch]. KU Leuven. Faculteit Ingenieurswetenschappen.</small> | ||
* <small>Zhang, X. & Lapata, M. (2017). Sentence Simplification with Deep Reinforcement Learning. In ''Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing'', pages 584–594, Copenhagen, Denmark. Association for Computational Linguistics.</small> | * <small>Zhang, X. & Lapata, M. (2017). Sentence Simplification with Deep Reinforcement Learning. In ''Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing'', pages 584–594, Copenhagen, Denmark. Association for Computational Linguistics.</small> | ||
</div> | |||
===NFI SimpleWiki dataset=== | ===NFI SimpleWiki dataset=== | ||
| Line 25: | Line 32: | ||
* 8.67 MB | * 8.67 MB | ||
* [https://huggingface.co/datasets/NetherlandsForensicInstitute/simplewiki-translated-nl Download dataset] | * [https://huggingface.co/datasets/NetherlandsForensicInstitute/simplewiki-translated-nl Download dataset] | ||
<span id="Comparable_Corpus_Wablieft_De_Standaard"></span> | <span id="Comparable_Corpus_Wablieft_De_Standaard"></span> | ||
| Line 32: | Line 39: | ||
Corpus gecreëerd door Nick Vanackere. Het bevat 12.687 Wablieft-artikelen uit de periode 2012-2017 en 206.466 De Standaard-artikelen uit de periode 2013-2017. Om de vergelijkbaarheid te garanderen, werden alleen artikels van 08/01/2013 tot 16/11/2017 bekeken, wat resulteerde in 8.744 Wablieft-artikels en 202.284 De Standaard-artikels. Het verschil in het aantal artikelen is te wijten aan de verschijningsfrequentie: Wablieft verschijnt wekelijks en De Standaard dagelijks. | Corpus gecreëerd door Nick Vanackere. Het bevat 12.687 Wablieft-artikelen uit de periode 2012-2017 en 206.466 De Standaard-artikelen uit de periode 2013-2017. Om de vergelijkbaarheid te garanderen, werden alleen artikels van 08/01/2013 tot 16/11/2017 bekeken, wat resulteerde in 8.744 Wablieft-artikels en 202.284 De Standaard-artikels. Het verschil in het aantal artikelen is te wijten aan de verschijningsfrequentie: Wablieft verschijnt wekelijks en De Standaard dagelijks. | ||
<div class="mw-translate-fuzzy"> | |||
*[https://github.com/nivack/comparable_corpus_Wablieft_deStandaard Github] | *[https://github.com/nivack/comparable_corpus_Wablieft_deStandaard Github] | ||
*[https://kuleuven.limo.libis.be/discovery/fulldisplay?docid=alma9993153812401488&context=L&vid=32KUL_KUL:KULeuven&lang=en&search_scope=All_Content&adaptor=Local%20Search%20Engine&tab=all_content_tab&query=any,contains,nick%20vanackere&offset=0 Vanackere, N., & Vandeghinste, V. (2022). Building a comparable corpus between easy-to-read Dutch Wablieft and De Standaard. KU Leuven. Faculteit Ingenieurswetenschappen.] | *[https://kuleuven.limo.libis.be/discovery/fulldisplay?docid=alma9993153812401488&context=L&vid=32KUL_KUL:KULeuven&lang=en&search_scope=All_Content&adaptor=Local%20Search%20Engine&tab=all_content_tab&query=any,contains,nick%20vanackere&offset=0 Vanackere, N., & Vandeghinste, V. (2022). Building a comparable corpus between easy-to-read Dutch Wablieft and De Standaard. KU Leuven. Faculteit Ingenieurswetenschappen.] | ||
</div> | |||
<span id="Synthetic_datasets"></span> | <span id="Synthetic_datasets"></span> | ||
==Synthetische datasets== | ==Synthetische datasets== | ||
<div lang="en" dir="ltr" class="mw-content-ltr"> | |||
===SONAR WRPEI Simplification Dataset=== | |||
</div> | |||
<div lang="en" dir="ltr" class="mw-content-ltr"> | |||
The Synthetic Simplification Dataset was compiled within the Duidelijke Taal project and is based on the WR-P-E-I component (websites) of the SoNaR corpus. The dataset consists of three parts: 6,986 sentences from the SoNaR corpus, a synthetic simplification of the SoNaR sentences created by GPT-4 and sentence pairs consisting of one SoNaR sentence and its simplified version each. | |||
</div> | |||
<div lang="en" dir="ltr" class="mw-content-ltr"> | |||
*[https://hdl.handle.net/10032/tm-a2-y7 Weblink] | |||
</div> | |||
<div lang="en" dir="ltr" class="mw-content-ltr"> | |||
====Human evaluation of automated text simplification: crowdsourcing results==== | |||
</div> | |||
<div lang="en" dir="ltr" class="mw-content-ltr"> | |||
The language material ‘Human evaluation of automated text simplification: crowdsourcing results’ was compiled as part of the Duidelijke Taal project. The dataset consists of sentences from the SoNaR corpus, a version simplified by GPT-4 and the human evaluations of those simplifications with respect to simplicity, accuracy and fluency. The sentence pairs are a subset of the SONAR WRPEI Simplification Dataset | |||
</div> | |||
<div lang="en" dir="ltr" class="mw-content-ltr"> | |||
*[https://hdl.handle.net/10032/tm-a2-y8 Weblink] | |||
</div> | |||
===UWV Leesplank NL wikipedia=== | ===UWV Leesplank NL wikipedia=== | ||
| Line 60: | Line 93: | ||
# Test = 128 zinnen (33 KB) | # Test = 128 zinnen (33 KB) | ||
* [https://huggingface.co/datasets/BramVanroy/chatgpt-dutch-simplification Downloadpagina (CSV-bestanden)] | * [https://huggingface.co/datasets/BramVanroy/chatgpt-dutch-simplification Downloadpagina (CSV-bestanden)] | ||
<span id="Manually_simplified"></span> | <span id="Manually_simplified"></span> | ||
Revision as of 10:29, 3 December 2024
Automatisch vertaalde datasets
ASSET Simplificatiecorpus
De Abstractive Sentence Simplification Evaluation and Tuning (ASSET) Dataset (Alva-Manchego et al, 2020) is automatisch vertaald naar het Nederlands (Seidl et al., 2023), en is vrij beschikbaar.
- Github download
- Alva-Manchego, F., Martin, L., Bordes, A., Scarton, C., Sagot, B., & Specia, L. (2020). ASSET: A dataset for tuning and evaluation of sentence simplification models with multiple rewriting transformations. arXiv preprint arXiv:2005.00481.
- Seidl, T., Vandeghinste, V., & Van de Cruys, T. (2023). Controllable Sentence Simplification in Dutch. KU Leuven. Faculteit Ingenieurswetenschappen.
Wikilarge Dataset
Automatische vertaling van de Wikilarge dataset, nuttig voor automatische vereenvoudiging (Seidl et al., 2023). Vrij beschikbaar. Originele dataset van Zhang & Lapata
- Github download
- Seidl, T., Vandeghinste, V., & Van de Cruys, T. (2023). Controllable Sentence Simplification in Dutch. KU Leuven. Faculteit Ingenieurswetenschappen.
- Zhang, X. & Lapata, M. (2017). Sentence Simplification with Deep Reinforcement Learning. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pages 584–594, Copenhagen, Denmark. Association for Computational Linguistics.
NFI SimpleWiki dataset
Vertaalde dataset gecreëerd door het Nederlands Forensisch Instituut met Meta's No Language Left Behind model. Het bevat 167000 gealigneerde zinsparen en doet dienst als de Nederlandse vertaling van de SimpleWiki dataset.
- 8.67 MB
- Download dataset
Vergelijkbaar Corpus Wablieft De Standaard
Corpus gecreëerd door Nick Vanackere. Het bevat 12.687 Wablieft-artikelen uit de periode 2012-2017 en 206.466 De Standaard-artikelen uit de periode 2013-2017. Om de vergelijkbaarheid te garanderen, werden alleen artikels van 08/01/2013 tot 16/11/2017 bekeken, wat resulteerde in 8.744 Wablieft-artikels en 202.284 De Standaard-artikels. Het verschil in het aantal artikelen is te wijten aan de verschijningsfrequentie: Wablieft verschijnt wekelijks en De Standaard dagelijks.
Synthetische datasets
SONAR WRPEI Simplification Dataset
The Synthetic Simplification Dataset was compiled within the Duidelijke Taal project and is based on the WR-P-E-I component (websites) of the SoNaR corpus. The dataset consists of three parts: 6,986 sentences from the SoNaR corpus, a synthetic simplification of the SoNaR sentences created by GPT-4 and sentence pairs consisting of one SoNaR sentence and its simplified version each.
Human evaluation of automated text simplification: crowdsourcing results
The language material ‘Human evaluation of automated text simplification: crowdsourcing results’ was compiled as part of the Duidelijke Taal project. The dataset consists of sentences from the SoNaR corpus, a version simplified by GPT-4 and the human evaluations of those simplifications with respect to simplicity, accuracy and fluency. The sentence pairs are a subset of the SONAR WRPEI Simplification Dataset
UWV Leesplank NL wikipedia
Data bevat 2,391,206 pragrafen van prompt/resultaat-combinatiess, waar het prompt een paragraaf uit de Nederlandse Wikipedia is en het resultaat een vereenvoudigde tekst is, die een of meer paragrafen kan bevatten. Deze dataset werd gecreëerd door UWV, als onderdeel van project "Leesplank", een inspanning om datasets te genereren die ethisch en wettelijk in orde zijn.
Een uitgebreidere versie van deze dataset werd gemaakt door Michiel Buisman en Bram Vanroy. Deze dataset bevat een eerste, kleine set variaties van Wikipediaparagrafen in verschillende stijlen (jargon, officieel, archaïsche taal, technisch, academisch en poëtisch).
- 3.02 MB
- Downloadpagina
Door ChatGPT gegenereerde dataset (Van de Velde)
Gecreëerd in het kader van de masterthesis van Charlotte Van de Velde. De dataset bevat Nederlandse bronzinnen gealigneerd met vereenvoudigde zinnen, beide gegenereerd door ChatGPT. Alles gecombineerd bestaat de dataset uit 1267 ingangen.
- Training = 1013 zinnen (262 KB)
- Validatie = 126 zinnen (32.6 KB)
- Test = 128 zinnen (33 KB)
Manueel vereenvoudigd
Nederlandse gemeentelijke data
Het Nederlandse gemeentelijke corpus is een parallel monolinguaal corpus voor de evaluatie van zinsvereenvoudiging in het Nederlandse gemeentelijke domein. Het corpus is gemaakt door Amsterdam Intelligence. Het bevat 1.311 vertaalde parallelle zinsparen die automatisch gealigneerd werden. De zinsparen zijn afkomstig uit 50 documenten van de communicatieafdeling van de gemeente Amsterdam die handmatig werden vereenvoudigd om de vereenvoudiging voor het Nederlands te evalueren.
- 265 KB
- Github