Jump to content

Language modeling/nl: Difference between revisions

From Clarin K-Centre
← Older edit
Visual
Created page with "'Colibri core' is een natuurlijketaalverwerkingstool alsook een C++- en Python-bibliotheek voor het werken met standaard taalkundige constructies zoals n-grams en skipgrams (d.w.z. patronen met een of meerdere gaten van ofwel vaststaande, ofwel dynamische grootte) op een snelle en geheugenefficiënte manier. In de kern bevindt zich de colibri-patroonmodelleerder die het mogelijk maakt om querypatternmodellen te bouwen, bekijken en bewerken."
No edit summary
 
(2 intermediate revisions by 2 users not shown)
Line 1: Line 1:
<languages/>
<languages/>
<span id="n-gram_modeling"></span>
<div class="mw-translate-fuzzy">
==N-gram-modellering==
'Colibri core' is een natuurlijketaalverwerkingstool alsook een C++- en Python-bibliotheek voor het werken met standaard taalkundige constructies zoals n-grams en skipgrams (d.w.z. patronen met een of meerdere gaten van ofwel vaststaande, ofwel dynamische grootte) op een snelle en geheugenefficiënte manier. In de kern bevindt zich de colibri-patroonmodelleerder die het mogelijk maakt om querypatternmodellen te bouwen, bekijken en bewerken.
</div>
'Colibri core' is een natuurlijketaalverwerkingstool alsook een C++- en Python-bibliotheek voor het werken met standaard taalkundige constructies zoals n-grams en skipgrams (d.w.z. patronen met een of meerdere gaten van ofwel vaststaande, ofwel dynamische grootte) op een snelle en geheugenefficiënte manier. In de kern bevindt zich de colibri-patroonmodelleerder die het mogelijk maakt om querypatternmodellen te bouwen, bekijken en bewerken.
*[http://proycon.github.io/colibri-core/ Githubpagina]
<span id="Large_Language_Models"></span>
<span id="Large_Language_Models"></span>
==Grote Taalmodellen==
==Grote Taalmodellen==
Line 22: Line 12:
==Meertalige Taalmodellen inclusief het Nederlands==
==Meertalige Taalmodellen inclusief het Nederlands==


* [https://openai.com/ GPT-3]
* [https://huggingface.co/docs/transformers/model_doc/mbart MBart]:  Multilingual Denoising Pre-training for Neural Machine Translation
* [https://huggingface.co/docs/transformers/model_doc/mbart MBart]
* [https://huggingface.co/docs/transformers/v4.14.1/model_doc/mt5 mT5:] mT5: A massively multilingual pre-trained text-to-text transformer


<span id="SpaCy"></span>
<div class="mw-translate-fuzzy">
==SpaCy==
==SpaCy==
spaCy is een gratis opensourcebibliotheek voor natuurlijketaalverwerking in Python.
spaCy is een gratis opensourcebibliotheek voor natuurlijketaalverwerking in Python.
</div>
<div lang="en" dir="ltr" class="mw-content-ltr">
spaCy is a free open-source library for Natural Language Processing in Python.
</div>


* [https://spacy.io/models/nl Nederlandse modellen]
* [https://spacy.io/models/nl Nederlandse modellen]


<span id="Language_Modeling_Benchmarks"></span>
<span id="Language_Modeling_Benchmarks"></span>
<div class="mw-translate-fuzzy">
== Taalmodelleringsbenchmarks ==
== Taalmodelleringsbenchmarks ==
===DUMB===
DUMB is een benchmark voor het evalueren van de kwaliteit van taalmodellen voor Nederlandse natuurlijketaalverwerkingstaken. De set met taken is ontworpen om divers en uitdagend te zijn en de limieten van de bestaande taalmodellen te testen. De specifieke datasets en formaten zijn met name geschikt voor het finetunen van encodermodellen en toepasbaarheid voor grote generatieve modellen moet nog worden vastgesteld. Meer details zijn te lezen in het paper dat via onderstaande link te vinden is.
</div>


<div lang="en" dir="ltr" class="mw-content-ltr">
===DUMB===
===DUMB===
</div>


<div lang="en" dir="ltr" class="mw-content-ltr">
DUMB is een benchmark voor het evalueren van de kwaliteit van taalmodellen voor Nederlandse natuurlijketaalverwerkingstaken. De set met taken is ontworpen om divers en uitdagend te zijn en de limieten van de bestaande taalmodellen te testen. De specifieke datasets en formaten zijn met name geschikt voor het finetunen van encodermodellen en toepasbaarheid voor grote generatieve modellen moet nog worden vastgesteld. Meer details zijn te lezen in het paper dat via onderstaande link te vinden is.
DUMB is a benchmark for evaluating the quality of language models for Dutch NLP tasks. The set of tasks is designed to be diverse and challenging, to test the limits of current language models. The specific datasets and formats are particularly suitable for fine-tuning encoder models, and applicability for large generative models is yet to be determined. Please read the paper for more details.
</div>


* [https://dumbench.nl/ DuMB]
* [https://dumbench.nl/ DuMB]


<span id="LLM_Leaderboard"></span>
<span id="LLM_Leaderboard"></span>
<div class="mw-translate-fuzzy">
===LLM Scorebord===
===LLM Scorebord===
Dit is een scorebord voor Nederlandse benchmarks voor grote taalmodellen.
Dit is een scorebord voor Nederlandse benchmarks voor grote taalmodellen.
</div>


<div lang="en" dir="ltr" class="mw-content-ltr">
* [https://huggingface.co/spaces/BramVanroy/open_dutch_llm_leaderboard Open Nederlands LLM Scorebord]
This is a leaderboard for Dutch benchmarks for large language models.
 
</div>
<span id="Scandeval_Dutch_NLG"></span>
===Scandeval Nederlandse NLG ===


* [https://huggingface.co/spaces/BramVanroy/open_dutch_llm_leaderboard Open Nederlands LLM Scorebord]
*[https://scandeval.com/dutch-nlg/ Scandeval Nederlandse NLG]
 
<span id="n-gram_modeling"></span>
==N-gram-modellering==


<div lang="en" dir="ltr" class="mw-content-ltr">
'Colibri core' is een natuurlijketaalverwerkingstool alsook een C++- en Python-bibliotheek voor het werken met standaard taalkundige constructies zoals n-grams en skipgrams (d.w.z. patronen met een of meerdere gaten van ofwel vaststaande, ofwel dynamische grootte) op een snelle en geheugenefficiënte manier. In de kern bevindt zich de colibri-patroonmodelleerder die het mogelijk maakt om querypatternmodellen te bouwen, bekijken en bewerken.
=== Scandeval Dutch NLG ===
</div>


<div lang="en" dir="ltr" class="mw-content-ltr">
*[http://proycon.github.io/colibri-core/ Githubpagina]
*[https://scandeval.com/dutch-nlg/ Scandeval Dutch NLG]
</div>

Latest revision as of 11:53, 1 April 2025

Other languages:

Grote Taalmodellen

Meertalige Taalmodellen inclusief het Nederlands

  • MBart: Multilingual Denoising Pre-training for Neural Machine Translation
  • mT5: mT5: A massively multilingual pre-trained text-to-text transformer

SpaCy

spaCy is een gratis opensourcebibliotheek voor natuurlijketaalverwerking in Python.

Taalmodelleringsbenchmarks

DUMB

DUMB is een benchmark voor het evalueren van de kwaliteit van taalmodellen voor Nederlandse natuurlijketaalverwerkingstaken. De set met taken is ontworpen om divers en uitdagend te zijn en de limieten van de bestaande taalmodellen te testen. De specifieke datasets en formaten zijn met name geschikt voor het finetunen van encodermodellen en toepasbaarheid voor grote generatieve modellen moet nog worden vastgesteld. Meer details zijn te lezen in het paper dat via onderstaande link te vinden is.

LLM Scorebord

Dit is een scorebord voor Nederlandse benchmarks voor grote taalmodellen.

Scandeval Nederlandse NLG

N-gram-modellering

'Colibri core' is een natuurlijketaalverwerkingstool alsook een C++- en Python-bibliotheek voor het werken met standaard taalkundige constructies zoals n-grams en skipgrams (d.w.z. patronen met een of meerdere gaten van ofwel vaststaande, ofwel dynamische grootte) op een snelle en geheugenefficiënte manier. In de kern bevindt zich de colibri-patroonmodelleerder die het mogelijk maakt om querypatternmodellen te bouwen, bekijken en bewerken.

Retrieved from "https://kdutch.ivdnt.org/mediawiki/index.php?title=Language_modeling/nl&oldid=10870"