Jump to content

Language modeling/nl: Difference between revisions

From Clarin K-Centre
Replaced content with "==N-gram-modellering=="
FuzzyBot (talk | contribs)
Updating to match new version of source page
Line 1: Line 1:
<languages/>
<languages/>
<span id="n-gram_modeling"></span>
==N-gram-modellering==
'Colibri core' is een natuurlijketaalverwerkingstool alsook een C++- en Python-bibliotheek voor het werken met standaard taalkundige constructies zoals n-grams en skipgrams (d.w.z. patronen met een of meerdere gaten van ofwel vaststaande, ofwel dynamische grootte) op een snelle en geheugenefficiënte manier. In de kern bevindt zich de colibri-patroonmodelleerder die het mogelijk maakt om querypatternmodellen te bouwen, bekijken en bewerken.
*[http://proycon.github.io/colibri-core/ Githubpagina]
<span id="Large_Language_Models"></span>
<span id="Large_Language_Models"></span>
==Grote Taalmodellen==
==Grote Taalmodellen==
Line 19: Line 12:
==Meertalige Taalmodellen inclusief het Nederlands==
==Meertalige Taalmodellen inclusief het Nederlands==


<div class="mw-translate-fuzzy">
* [https://openai.com/ GPT-3]
* [https://openai.com/ GPT-3]
* [https://huggingface.co/docs/transformers/model_doc/mbart MBart]
* [https://huggingface.co/docs/transformers/model_doc/mbart MBart]
</div>


==SpaCy==
==SpaCy==
Line 48: Line 43:


*[https://scandeval.com/dutch-nlg/ Scandeval Nederlandse NLG]
*[https://scandeval.com/dutch-nlg/ Scandeval Nederlandse NLG]
<span id="n-gram_modeling"></span>
==N-gram-modellering==
'Colibri core' is een natuurlijketaalverwerkingstool alsook een C++- en Python-bibliotheek voor het werken met standaard taalkundige constructies zoals n-grams en skipgrams (d.w.z. patronen met een of meerdere gaten van ofwel vaststaande, ofwel dynamische grootte) op een snelle en geheugenefficiënte manier. In de kern bevindt zich de colibri-patroonmodelleerder die het mogelijk maakt om querypatternmodellen te bouwen, bekijken en bewerken.
*[http://proycon.github.io/colibri-core/ Githubpagina]

Revision as of 11:52, 1 April 2025

Grote Taalmodellen

Meertalige Taalmodellen inclusief het Nederlands

SpaCy

spaCy is een gratis opensourcebibliotheek voor natuurlijketaalverwerking in Python.

Taalmodelleringsbenchmarks

DUMB

DUMB is een benchmark voor het evalueren van de kwaliteit van taalmodellen voor Nederlandse natuurlijketaalverwerkingstaken. De set met taken is ontworpen om divers en uitdagend te zijn en de limieten van de bestaande taalmodellen te testen. De specifieke datasets en formaten zijn met name geschikt voor het finetunen van encodermodellen en toepasbaarheid voor grote generatieve modellen moet nog worden vastgesteld. Meer details zijn te lezen in het paper dat via onderstaande link te vinden is.

LLM Scorebord

Dit is een scorebord voor Nederlandse benchmarks voor grote taalmodellen.

Scandeval Nederlandse NLG

N-gram-modellering

'Colibri core' is een natuurlijketaalverwerkingstool alsook een C++- en Python-bibliotheek voor het werken met standaard taalkundige constructies zoals n-grams en skipgrams (d.w.z. patronen met een of meerdere gaten van ofwel vaststaande, ofwel dynamische grootte) op een snelle en geheugenefficiënte manier. In de kern bevindt zich de colibri-patroonmodelleerder die het mogelijk maakt om querypatternmodellen te bouwen, bekijken en bewerken.