Language modeling/nl: Difference between revisions
No edit summary |
Updating to match new version of source page |
||
| (6 intermediate revisions by 2 users not shown) | |||
| Line 1: | Line 1: | ||
== | <languages/> | ||
<span id="Dutch_Language_Models"></span> | |||
<div class="mw-translate-fuzzy"> | |||
==Grote Taalmodellen== | |||
</div> | |||
<div class="mw-translate-fuzzy"> | |||
* [https://huggingface.co/models?search=dutch Hugging Face Dutch Models] | * [https://huggingface.co/models?search=dutch Hugging Face Dutch Models] | ||
* [https://people.cs.kuleuven.be/~pieter.delobelle/robbert/ RobBERT]: Een Nederlands RoBERTa-taalmodel | * [https://people.cs.kuleuven.be/~pieter.delobelle/robbert/ RobBERT]: Een Nederlands RoBERTa-taalmodel | ||
* [https://github.com/wietsedv/bertje BERTje]: Een Nederlands BERT-model | * [https://github.com/wietsedv/bertje BERTje]: Een Nederlands BERT-model | ||
* [https://github.com/Rijgersberg/GEITje GEITje]: Een groot open taalmodel | * [https://github.com/Rijgersberg/GEITje GEITje]: Een groot open taalmodel | ||
* [https://huggingface.co/Tweeties/tweety-7b-dutch-v24a Tweety] | |||
</div> | |||
<span id="Multilingual_Language_Models_including_Dutch"></span> | |||
==Meertalige Taalmodellen inclusief het Nederlands== | ==Meertalige Taalmodellen inclusief het Nederlands== | ||
* [https:// | |||
* [https://huggingface.co/docs/transformers/model_doc/ | <div class="mw-translate-fuzzy"> | ||
* [https://huggingface.co/docs/transformers/model_doc/mbart MBart]: Multilingual Denoising Pre-training for Neural Machine Translation | |||
* [https://huggingface.co/docs/transformers/v4.14.1/model_doc/mt5 mT5:] mT5: A massively multilingual pre-trained text-to-text transformer | |||
</div> | |||
<div lang="en" dir="ltr" class="mw-content-ltr"> | |||
* [https://huggingface.co/docs/transformers/model_doc/nllb NLLB]: No Language Left Behind | |||
</div> | |||
==SpaCy== | ==SpaCy== | ||
spaCy is een gratis opensourcebibliotheek voor natuurlijketaalverwerking in Python. | spaCy is een gratis opensourcebibliotheek voor natuurlijketaalverwerking in Python. | ||
* [https://spacy.io/models/nl Nederlandse modellen] | * [https://spacy.io/models/nl Nederlandse modellen] | ||
<span id="Language_Modeling_Benchmarks"></span> | |||
== Taalmodelleringsbenchmarks == | == Taalmodelleringsbenchmarks == | ||
===DUMB=== | ===DUMB=== | ||
<div class="mw-translate-fuzzy"> | |||
DUMB is een benchmark voor het evalueren van de kwaliteit van taalmodellen voor Nederlandse natuurlijketaalverwerkingstaken. De set met taken is ontworpen om divers en uitdagend te zijn en de limieten van de bestaande taalmodellen te testen. De specifieke datasets en formaten zijn met name geschikt voor het finetunen van encodermodellen en toepasbaarheid voor grote generatieve modellen moet nog worden vastgesteld. Meer details zijn te lezen in het paper dat via onderstaande link te vinden is. | DUMB is een benchmark voor het evalueren van de kwaliteit van taalmodellen voor Nederlandse natuurlijketaalverwerkingstaken. De set met taken is ontworpen om divers en uitdagend te zijn en de limieten van de bestaande taalmodellen te testen. De specifieke datasets en formaten zijn met name geschikt voor het finetunen van encodermodellen en toepasbaarheid voor grote generatieve modellen moet nog worden vastgesteld. Meer details zijn te lezen in het paper dat via onderstaande link te vinden is. | ||
</div> | |||
* [https://dumbench.nl/ DuMB] | * [https://dumbench.nl/ DuMB] | ||
<span id="European_LLM_Leaderboard"></span> | |||
<div class="mw-translate-fuzzy"> | |||
===LLM Scorebord=== | ===LLM Scorebord=== | ||
</div> | |||
<div class="mw-translate-fuzzy"> | |||
Dit is een scorebord voor Nederlandse benchmarks voor grote taalmodellen. | Dit is een scorebord voor Nederlandse benchmarks voor grote taalmodellen. | ||
</div> | |||
<div class="mw-translate-fuzzy"> | |||
* [https://huggingface.co/spaces/BramVanroy/open_dutch_llm_leaderboard Open Nederlands LLM Scorebord] | * [https://huggingface.co/spaces/BramVanroy/open_dutch_llm_leaderboard Open Nederlands LLM Scorebord] | ||
</div> | |||
<span id="Euroeval_monolingual_Dutch_and_multilingual_Germanic"></span> | |||
<div class="mw-translate-fuzzy"> | |||
===Scandeval Nederlandse NLG === | |||
</div> | |||
<div class="mw-translate-fuzzy"> | |||
*[https://scandeval.com/dutch-nlg/ Scandeval Nederlandse NLG] | |||
</div> | |||
<span id="n-gram_modeling"></span> | |||
==N-gram-modellering== | |||
'Colibri core' is een natuurlijketaalverwerkingstool alsook een C++- en Python-bibliotheek voor het werken met standaard taalkundige constructies zoals n-grams en skipgrams (d.w.z. patronen met een of meerdere gaten van ofwel vaststaande, ofwel dynamische grootte) op een snelle en geheugenefficiënte manier. In de kern bevindt zich de colibri-patroonmodelleerder die het mogelijk maakt om querypatternmodellen te bouwen, bekijken en bewerken. | |||
*[http://proycon.github.io/colibri-core/ Githubpagina] | |||
Latest revision as of 14:59, 13 November 2025
Grote Taalmodellen
- Hugging Face Dutch Models
- RobBERT: Een Nederlands RoBERTa-taalmodel
- BERTje: Een Nederlands BERT-model
- GEITje: Een groot open taalmodel
- Tweety
Meertalige Taalmodellen inclusief het Nederlands
- NLLB: No Language Left Behind
SpaCy
spaCy is een gratis opensourcebibliotheek voor natuurlijketaalverwerking in Python.
Taalmodelleringsbenchmarks
DUMB
DUMB is een benchmark voor het evalueren van de kwaliteit van taalmodellen voor Nederlandse natuurlijketaalverwerkingstaken. De set met taken is ontworpen om divers en uitdagend te zijn en de limieten van de bestaande taalmodellen te testen. De specifieke datasets en formaten zijn met name geschikt voor het finetunen van encodermodellen en toepasbaarheid voor grote generatieve modellen moet nog worden vastgesteld. Meer details zijn te lezen in het paper dat via onderstaande link te vinden is.
LLM Scorebord
Dit is een scorebord voor Nederlandse benchmarks voor grote taalmodellen.
Scandeval Nederlandse NLG
N-gram-modellering
'Colibri core' is een natuurlijketaalverwerkingstool alsook een C++- en Python-bibliotheek voor het werken met standaard taalkundige constructies zoals n-grams en skipgrams (d.w.z. patronen met een of meerdere gaten van ofwel vaststaande, ofwel dynamische grootte) op een snelle en geheugenefficiënte manier. In de kern bevindt zich de colibri-patroonmodelleerder die het mogelijk maakt om querypatternmodellen te bouwen, bekijken en bewerken.