Language modeling/nl: Difference between revisions

From Clarin K-Centre
Jump to navigation Jump to search
(Created page with "== Taalmodelleringsbenchmarks == ===DUMB=== DUMB is een benchmark voor het evalueren van de kwaliteit van taalmodellen voor Nederlandse Natuurlijke Taalverwerkingstaken. De set met taken is ontworpen om divers en uitdagend te zijn en de limieten van de bestaande taalmodellen te testen. De specifieke datasets en formaten zijn met name geschikt voor het finetunen van encodermodellen en toepasbaarheid voor grote generatieve modellen moet nog worden vastgesteld. Meer details...")
(Replaced content with "==N-gram-modellering==")
 
(4 intermediate revisions by 3 users not shown)
Line 1: Line 1:
==n-gram modellering==
<languages/>
'Colibri core' is een Natuurlijke Taalverwerkingshulpmiddel als ook een C++ en Python-bibliotheek voor het werken met standaard taalkundige constructies zoals n-grams en skipgrams (d.w.z. patronen met een of meerdere gaten van ofwel vaststaande, ofwel dynamische grootte) op een snelle en geheugenefficiënte manier. In de kern bevindt zich de colibri-patroonmodelleerder die het mogelijk maakt om doorzoekingspatroonmodellen te bouwen, bekijken en bewerken.
<span id="n-gram_modeling"></span>
==N-gram-modellering==


*[http://proycon.github.io/colibri-core/ Github opslag]
'Colibri core' is een natuurlijketaalverwerkingstool alsook een C++- en Python-bibliotheek voor het werken met standaard taalkundige constructies zoals n-grams en skipgrams (d.w.z. patronen met een of meerdere gaten van ofwel vaststaande, ofwel dynamische grootte) op een snelle en geheugenefficiënte manier. In de kern bevindt zich de colibri-patroonmodelleerder die het mogelijk maakt om querypatternmodellen te bouwen, bekijken en bewerken.


*[http://proycon.github.io/colibri-core/ Githubpagina]
<span id="Large_Language_Models"></span>
==Grote Taalmodellen==
==Grote Taalmodellen==
* [https://huggingface.co/models?search=dutch Hugging Face Dutch Models]
* [https://huggingface.co/models?search=dutch Hugging Face Dutch Models]
* [https://people.cs.kuleuven.be/~pieter.delobelle/robbert/ RobBERT]: Een Nederlands RoBERTa Taalmodel
* [https://people.cs.kuleuven.be/~pieter.delobelle/robbert/ RobBERT]: Een Nederlands RoBERTa-taalmodel
* [https://github.com/wietsedv/bertje BERTje]: Een Nederlands BERT model
* [https://github.com/wietsedv/bertje BERTje]: Een Nederlands BERT-model
* [https://github.com/Rijgersberg/GEITje GEITje]: Een groot open taalmodel
* [https://github.com/Rijgersberg/GEITje GEITje]: Een groot open taalmodel
* [https://huggingface.co/Tweeties/tweety-7b-dutch-v24a Tweety]


<span id="Multilingual_Language_Models_including_Dutch"></span>
==Meertalige Taalmodellen inclusief het Nederlands==
==Meertalige Taalmodellen inclusief het Nederlands==
* [https://openai.com/ GPT-3]
* [https://openai.com/ GPT-3]
* [https://huggingface.co/docs/transformers/model_doc/mbart MBart]
* [https://huggingface.co/docs/transformers/model_doc/mbart MBart]


==SpaCy==
==SpaCy==
spaCy is een gratis open-source bibliotheek voor Natuurlijke Taalverwerking in Python.
 
spaCy is een gratis opensourcebibliotheek voor natuurlijketaalverwerking in Python.


* [https://spacy.io/models/nl Nederlandse modellen]
* [https://spacy.io/models/nl Nederlandse modellen]


<span id="Language_Modeling_Benchmarks"></span>
== Taalmodelleringsbenchmarks ==
== Taalmodelleringsbenchmarks ==
===DUMB===
===DUMB===
DUMB is een benchmark voor het evalueren van de kwaliteit van taalmodellen voor Nederlandse Natuurlijke Taalverwerkingstaken. De set met taken is ontworpen om divers en uitdagend te zijn en de limieten van de bestaande taalmodellen te testen. De specifieke datasets en formaten zijn met name geschikt voor het finetunen van encodermodellen en toepasbaarheid voor grote generatieve modellen moet nog worden vastgesteld. Meer details zijn te lezen in het paper dat via onderstaande link te vinden is.
 
DUMB is een benchmark voor het evalueren van de kwaliteit van taalmodellen voor Nederlandse natuurlijketaalverwerkingstaken. De set met taken is ontworpen om divers en uitdagend te zijn en de limieten van de bestaande taalmodellen te testen. De specifieke datasets en formaten zijn met name geschikt voor het finetunen van encodermodellen en toepasbaarheid voor grote generatieve modellen moet nog worden vastgesteld. Meer details zijn te lezen in het paper dat via onderstaande link te vinden is.


* [https://dumbench.nl/ DuMB]
* [https://dumbench.nl/ DuMB]


<span id="LLM_Leaderboard"></span>
===LLM Scorebord===
===LLM Scorebord===
Dit is een scorebord voor Nederlandse benchmarks voor grote taalmodellen.
Dit is een scorebord voor Nederlandse benchmarks voor grote taalmodellen.


* [https://huggingface.co/spaces/BramVanroy/open_dutch_llm_leaderboard Open Nederlands LLM Scorebord]
* [https://huggingface.co/spaces/BramVanroy/open_dutch_llm_leaderboard Open Nederlands LLM Scorebord]
<span id="Scandeval_Dutch_NLG"></span>
===Scandeval Nederlandse NLG ===
*[https://scandeval.com/dutch-nlg/ Scandeval Nederlandse NLG]

Latest revision as of 12:48, 24 June 2024

Other languages:

N-gram-modellering

'Colibri core' is een natuurlijketaalverwerkingstool alsook een C++- en Python-bibliotheek voor het werken met standaard taalkundige constructies zoals n-grams en skipgrams (d.w.z. patronen met een of meerdere gaten van ofwel vaststaande, ofwel dynamische grootte) op een snelle en geheugenefficiënte manier. In de kern bevindt zich de colibri-patroonmodelleerder die het mogelijk maakt om querypatternmodellen te bouwen, bekijken en bewerken.

Grote Taalmodellen

Meertalige Taalmodellen inclusief het Nederlands

SpaCy

spaCy is een gratis opensourcebibliotheek voor natuurlijketaalverwerking in Python.

Taalmodelleringsbenchmarks

DUMB

DUMB is een benchmark voor het evalueren van de kwaliteit van taalmodellen voor Nederlandse natuurlijketaalverwerkingstaken. De set met taken is ontworpen om divers en uitdagend te zijn en de limieten van de bestaande taalmodellen te testen. De specifieke datasets en formaten zijn met name geschikt voor het finetunen van encodermodellen en toepasbaarheid voor grote generatieve modellen moet nog worden vastgesteld. Meer details zijn te lezen in het paper dat via onderstaande link te vinden is.

LLM Scorebord

Dit is een scorebord voor Nederlandse benchmarks voor grote taalmodellen.

Scandeval Nederlandse NLG