Language modeling/nl: Difference between revisions

From Clarin K-Centre
Jump to navigation Jump to search
(Created page with "==SpaCy== spaCy is een gratis open-source bibliotheek voor Natuurlijke Taalverwerking in Python.")
(Created page with "* [https://dumbench.nl/ DuMB]")
Line 19: Line 19:
* [https://spacy.io/models/nl Nederlandse modellen]
* [https://spacy.io/models/nl Nederlandse modellen]


<div lang="en" dir="ltr" class="mw-content-ltr">
== Taalmodelleringsbenchmarks ==
== Language Modeling Benchmarks ==
===DUMB===
===DUMB===
DUMB is a benchmark for evaluating the quality of language models for Dutch NLP tasks. The set of tasks is designed to be diverse and challenging, to test the limits of current language models. The specific datasets and formats are particularly suitable for fine-tuning encoder models, and applicability for large generative models is yet to be determined. Please read the paper for more details.
DUMB is een benchmark voor het evalueren van de kwaliteit van taalmodellen voor Nederlandse Natuurlijke Taalverwerkingstaken. De set met taken is ontworpen om divers en uitdagend te zijn en de limieten van de bestaande taalmodellen te testen. De specifieke datasets en formaten zijn met name geschikt voor het finetunen van encodermodellen en toepasbaarheid voor grote generatieve modellen moet nog worden vastgesteld. Meer details zijn te lezen in het paper dat via onderstaande link te vinden is.
</div>


<div lang="en" dir="ltr" class="mw-content-ltr">
* [https://dumbench.nl/ DuMB]
* [https://dumbench.nl/ DuMB]
</div>


<div lang="en" dir="ltr" class="mw-content-ltr">
<div lang="en" dir="ltr" class="mw-content-ltr">

Revision as of 14:21, 3 April 2024

n-gram modellering

'Colibri core' is een Natuurlijke Taalverwerkingshulpmiddel als ook een C++ en Python-bibliotheek voor het werken met standaard taalkundige constructies zoals n-grams en skipgrams (d.w.z. patronen met een of meerdere gaten van ofwel vaststaande, ofwel dynamische grootte) op een snelle en geheugenefficiënte manier. In de kern bevindt zich de colibri-patroonmodelleerder die het mogelijk maakt om doorzoekingspatroonmodellen te bouwen, bekijken en bewerken.

Grote Taalmodellen

Meertalige Taalmodellen inclusief het Nederlands

SpaCy

spaCy is een gratis open-source bibliotheek voor Natuurlijke Taalverwerking in Python.

Taalmodelleringsbenchmarks

DUMB

DUMB is een benchmark voor het evalueren van de kwaliteit van taalmodellen voor Nederlandse Natuurlijke Taalverwerkingstaken. De set met taken is ontworpen om divers en uitdagend te zijn en de limieten van de bestaande taalmodellen te testen. De specifieke datasets en formaten zijn met name geschikt voor het finetunen van encodermodellen en toepasbaarheid voor grote generatieve modellen moet nog worden vastgesteld. Meer details zijn te lezen in het paper dat via onderstaande link te vinden is.

LLM Leaderboard

This is a leaderboard for Dutch benchmarks for large language models.