Language modeling/nl: Difference between revisions

← Older edit

VisualWikitext

Latest revision as of 14:59, 13 November 2025

Grote Taalmodellen

Hugging Face Dutch Models
RobBERT: Een Nederlands RoBERTa-taalmodel
BERTje: Een Nederlands BERT-model
GEITje: Een groot open taalmodel
Tweety

Meertalige Taalmodellen inclusief het Nederlands

MBart: Multilingual Denoising Pre-training for Neural Machine Translation
mT5: mT5: A massively multilingual pre-trained text-to-text transformer

NLLB: No Language Left Behind

SpaCy

spaCy is een gratis opensourcebibliotheek voor natuurlijketaalverwerking in Python.

Nederlandse modellen

Taalmodelleringsbenchmarks

DUMB

DUMB is een benchmark voor het evalueren van de kwaliteit van taalmodellen voor Nederlandse natuurlijketaalverwerkingstaken. De set met taken is ontworpen om divers en uitdagend te zijn en de limieten van de bestaande taalmodellen te testen. De specifieke datasets en formaten zijn met name geschikt voor het finetunen van encodermodellen en toepasbaarheid voor grote generatieve modellen moet nog worden vastgesteld. Meer details zijn te lezen in het paper dat via onderstaande link te vinden is.

DuMB

LLM Scorebord

Dit is een scorebord voor Nederlandse benchmarks voor grote taalmodellen.

Open Nederlands LLM Scorebord

Scandeval Nederlandse NLG

Scandeval Nederlandse NLG

N-gram-modellering

'Colibri core' is een natuurlijketaalverwerkingstool alsook een C++- en Python-bibliotheek voor het werken met standaard taalkundige constructies zoals n-grams en skipgrams (d.w.z. patronen met een of meerdere gaten van ofwel vaststaande, ofwel dynamische grootte) op een snelle en geheugenefficiënte manier. In de kern bevindt zich de colibri-patroonmodelleerder die het mogelijk maakt om querypatternmodellen te bouwen, bekijken en bewerken.

Githubpagina

@@ Line 1: / Line 1: @@
 <languages/>
-<span id="n-gram_modeling"></span>
+<span id="Dutch_Language_Models"></span>
 <div class="mw-translate-fuzzy">
-==N-gram-modellering==
+==Grote Taalmodellen==
-'Colibri core' is een natuurlijketaalverwerkingstool alsook een C++- en Python-bibliotheek voor het werken met standaard taalkundige constructies zoals n-grams en skipgrams (d.w.z. patronen met een of meerdere gaten van ofwel vaststaande, ofwel dynamische grootte) op een snelle en geheugenefficiënte manier. In de kern bevindt zich de colibri-patroonmodelleerder die het mogelijk maakt om querypatternmodellen te bouwen, bekijken en bewerken.
-</div>
-<div lang="en" dir="ltr" class="mw-content-ltr">
-Colibri core is an NLP tool as well as a C++ and Python library for working with basic linguistic constructions such as n-grams and skipgrams (i.e. patterns with one or more gaps, either of fixed or dynamic size) in a quick and memory-efficient way. At the core is the tool colibri-patternmodeller which allows you to build, view, manipulate and query pattern models.
 </div>
-*[http://proycon.github.io/colibri-core/ Githubpagina]
-<span id="Large_Language_Models"></span>
 <div class="mw-translate-fuzzy">
-==Grote Taalmodellen==
 * [https://huggingface.co/models?search=dutch Hugging Face Dutch Models]
 * [https://people.cs.kuleuven.be/~pieter.delobelle/robbert/ RobBERT]: Een Nederlands RoBERTa-taalmodel
 * [https://github.com/wietsedv/bertje BERTje]: Een Nederlands BERT-model
 * [https://github.com/Rijgersberg/GEITje GEITje]: Een groot open taalmodel
+* [https://huggingface.co/Tweeties/tweety-7b-dutch-v24a Tweety]
 </div>
-<div lang="en" dir="ltr" class="mw-content-ltr">
-* [https://huggingface.co/models?search=dutch Hugging Face Dutch Models]
-* [https://people.cs.kuleuven.be/~pieter.delobelle/robbert/ RobBERT]: A Dutch RoBERTa-based Language Model
-* [https://github.com/wietsedv/bertje BERTje]: A Dutch BERT model
-* [https://github.com/Rijgersberg/GEITje GEITje]: A Large Open Language Model
-</div>
 <span id="Multilingual_Language_Models_including_Dutch"></span>
+==Meertalige Taalmodellen inclusief het Nederlands==
 <div class="mw-translate-fuzzy">
-==Meertalige Taalmodellen inclusief het Nederlands==
+* [https://huggingface.co/docs/transformers/model_doc/mbart MBart]:  Multilingual Denoising Pre-training for Neural Machine Translation
-* [https://openai.com/ GPT-3]
+* [https://huggingface.co/docs/transformers/v4.14.1/model_doc/mt5 mT5:]  mT5: A massively multilingual pre-trained text-to-text transformer
-* [https://huggingface.co/docs/transformers/model_doc/mbart MBart]
 </div>
 <div lang="en" dir="ltr" class="mw-content-ltr">
-* [https://openai.com/ GPT-3]
+* [https://huggingface.co/docs/transformers/model_doc/nllb NLLB]: No Language Left Behind
-* [https://huggingface.co/docs/transformers/model_doc/mbart MBart]
 </div>
-<span id="SpaCy"></span>
-<div class="mw-translate-fuzzy">
 ==SpaCy==
 spaCy is een gratis opensourcebibliotheek voor natuurlijketaalverwerking in Python.
-</div>
-<div lang="en" dir="ltr" class="mw-content-ltr">
-spaCy is a free open-source library for Natural Language Processing in Python.
-</div>
 * [https://spacy.io/models/nl Nederlandse modellen]
 <span id="Language_Modeling_Benchmarks"></span>
-<div class="mw-translate-fuzzy">
 == Taalmodelleringsbenchmarks ==
 ===DUMB===
+<div class="mw-translate-fuzzy">
 DUMB is een benchmark voor het evalueren van de kwaliteit van taalmodellen voor Nederlandse natuurlijketaalverwerkingstaken. De set met taken is ontworpen om divers en uitdagend te zijn en de limieten van de bestaande taalmodellen te testen. De specifieke datasets en formaten zijn met name geschikt voor het finetunen van encodermodellen en toepasbaarheid voor grote generatieve modellen moet nog worden vastgesteld. Meer details zijn te lezen in het paper dat via onderstaande link te vinden is.
 </div>
-<div lang="en" dir="ltr" class="mw-content-ltr">
+* [https://dumbench.nl/ DuMB]
-===DUMB===
+<span id="European_LLM_Leaderboard"></span>
+<div class="mw-translate-fuzzy">
+===LLM Scorebord===
 </div>
-<div lang="en" dir="ltr" class="mw-content-ltr">
+<div class="mw-translate-fuzzy">
-DUMB is a benchmark for evaluating the quality of language models for Dutch NLP tasks. The set of tasks is designed to be diverse and challenging, to test the limits of current language models. The specific datasets and formats are particularly suitable for fine-tuning encoder models, and applicability for large generative models is yet to be determined. Please read the paper for more details.
+Dit is een scorebord voor Nederlandse benchmarks voor grote taalmodellen.
 </div>
-* [https://dumbench.nl/ DuMB]
+<div class="mw-translate-fuzzy">
+* [https://huggingface.co/spaces/BramVanroy/open_dutch_llm_leaderboard Open Nederlands LLM Scorebord]
+</div>
-<span id="LLM_Leaderboard"></span>
+<span id="Euroeval_monolingual_Dutch_and_multilingual_Germanic"></span>
 <div class="mw-translate-fuzzy">
-===LLM Scorebord===
+===Scandeval Nederlandse NLG ===
-Dit is een scorebord voor Nederlandse benchmarks voor grote taalmodellen.
 </div>
-<div lang="en" dir="ltr" class="mw-content-ltr">
+<div class="mw-translate-fuzzy">
-This is a leaderboard for Dutch benchmarks for large language models.
+*[https://scandeval.com/dutch-nlg/ Scandeval Nederlandse NLG]
 </div>
-* [https://huggingface.co/spaces/BramVanroy/open_dutch_llm_leaderboard Open Nederlands LLM Scorebord]
+<span id="n-gram_modeling"></span>
+==N-gram-modellering==
+'Colibri core' is een natuurlijketaalverwerkingstool alsook een C++- en Python-bibliotheek voor het werken met standaard taalkundige constructies zoals n-grams en skipgrams (d.w.z. patronen met een of meerdere gaten van ofwel vaststaande, ofwel dynamische grootte) op een snelle en geheugenefficiënte manier. In de kern bevindt zich de colibri-patroonmodelleerder die het mogelijk maakt om querypatternmodellen te bouwen, bekijken en bewerken.
+*[http://proycon.github.io/colibri-core/ Githubpagina]