Language modeling/nl: Difference between revisions
m (FuzzyBot moved page Language Modeling/nl to Language modeling/nl without leaving a redirect: Part of translatable page "Language Modeling") |
(Created page with "'Colibri core' is een natuurlijketaalverwerkingstool alsook een C++- en Python-bibliotheek voor het werken met standaard taalkundige constructies zoals n-grams en skipgrams (d.w.z. patronen met een of meerdere gaten van ofwel vaststaande, ofwel dynamische grootte) op een snelle en geheugenefficiënte manier. In de kern bevindt zich de colibri-patroonmodelleerder die het mogelijk maakt om querypatternmodellen te bouwen, bekijken en bewerken.") |
||
| Line 6: | Line 6: | ||
</div> | </div> | ||
'Colibri core' is een natuurlijketaalverwerkingstool alsook een C++- en Python-bibliotheek voor het werken met standaard taalkundige constructies zoals n-grams en skipgrams (d.w.z. patronen met een of meerdere gaten van ofwel vaststaande, ofwel dynamische grootte) op een snelle en geheugenefficiënte manier. In de kern bevindt zich de colibri-patroonmodelleerder die het mogelijk maakt om querypatternmodellen te bouwen, bekijken en bewerken. | |||
Colibri core is | |||
*[http://proycon.github.io/colibri-core/ Githubpagina] | *[http://proycon.github.io/colibri-core/ Githubpagina] | ||
<span id="Large_Language_Models"></span> | <span id="Large_Language_Models"></span> | ||
==Grote Taalmodellen== | ==Grote Taalmodellen== | ||
* [https://huggingface.co/models?search=dutch Hugging Face Dutch Models] | * [https://huggingface.co/models?search=dutch Hugging Face Dutch Models] | ||
* [https://people.cs.kuleuven.be/~pieter.delobelle/robbert/ RobBERT]: Een Nederlands RoBERTa-taalmodel | * [https://people.cs.kuleuven.be/~pieter.delobelle/robbert/ RobBERT]: Een Nederlands RoBERTa-taalmodel | ||
* [https://github.com/wietsedv/bertje BERTje]: Een Nederlands BERT-model | * [https://github.com/wietsedv/bertje BERTje]: Een Nederlands BERT-model | ||
* [https://github.com/Rijgersberg/GEITje GEITje]: Een groot open taalmodel | * [https://github.com/Rijgersberg/GEITje GEITje]: Een groot open taalmodel | ||
* [https://huggingface.co/Tweeties/tweety-7b-dutch-v24a Tweety] | |||
* [https://huggingface.co/ | |||
<span id="Multilingual_Language_Models_including_Dutch"></span> | <span id="Multilingual_Language_Models_including_Dutch"></span> | ||
==Meertalige Taalmodellen inclusief het Nederlands== | ==Meertalige Taalmodellen inclusief het Nederlands== | ||
* [https://openai.com/ GPT-3] | * [https://openai.com/ GPT-3] | ||
* [https://huggingface.co/docs/transformers/model_doc/mbart MBart] | * [https://huggingface.co/docs/transformers/model_doc/mbart MBart] | ||
<span id="SpaCy"></span> | <span id="SpaCy"></span> | ||
| Line 80: | Line 65: | ||
* [https://huggingface.co/spaces/BramVanroy/open_dutch_llm_leaderboard Open Nederlands LLM Scorebord] | * [https://huggingface.co/spaces/BramVanroy/open_dutch_llm_leaderboard Open Nederlands LLM Scorebord] | ||
<div lang="en" dir="ltr" class="mw-content-ltr"> | |||
=== Scandeval Dutch NLG === | |||
</div> | |||
<div lang="en" dir="ltr" class="mw-content-ltr"> | |||
*[https://scandeval.com/dutch-nlg/ Scandeval Dutch NLG] | |||
</div> | |||
Revision as of 12:45, 24 June 2024
N-gram-modellering
'Colibri core' is een natuurlijketaalverwerkingstool alsook een C++- en Python-bibliotheek voor het werken met standaard taalkundige constructies zoals n-grams en skipgrams (d.w.z. patronen met een of meerdere gaten van ofwel vaststaande, ofwel dynamische grootte) op een snelle en geheugenefficiënte manier. In de kern bevindt zich de colibri-patroonmodelleerder die het mogelijk maakt om querypatternmodellen te bouwen, bekijken en bewerken.
'Colibri core' is een natuurlijketaalverwerkingstool alsook een C++- en Python-bibliotheek voor het werken met standaard taalkundige constructies zoals n-grams en skipgrams (d.w.z. patronen met een of meerdere gaten van ofwel vaststaande, ofwel dynamische grootte) op een snelle en geheugenefficiënte manier. In de kern bevindt zich de colibri-patroonmodelleerder die het mogelijk maakt om querypatternmodellen te bouwen, bekijken en bewerken.
Grote Taalmodellen
- Hugging Face Dutch Models
- RobBERT: Een Nederlands RoBERTa-taalmodel
- BERTje: Een Nederlands BERT-model
- GEITje: Een groot open taalmodel
- Tweety
Meertalige Taalmodellen inclusief het Nederlands
SpaCy
spaCy is een gratis opensourcebibliotheek voor natuurlijketaalverwerking in Python.
spaCy is a free open-source library for Natural Language Processing in Python.
Taalmodelleringsbenchmarks
DUMB
DUMB is een benchmark voor het evalueren van de kwaliteit van taalmodellen voor Nederlandse natuurlijketaalverwerkingstaken. De set met taken is ontworpen om divers en uitdagend te zijn en de limieten van de bestaande taalmodellen te testen. De specifieke datasets en formaten zijn met name geschikt voor het finetunen van encodermodellen en toepasbaarheid voor grote generatieve modellen moet nog worden vastgesteld. Meer details zijn te lezen in het paper dat via onderstaande link te vinden is.
DUMB
DUMB is a benchmark for evaluating the quality of language models for Dutch NLP tasks. The set of tasks is designed to be diverse and challenging, to test the limits of current language models. The specific datasets and formats are particularly suitable for fine-tuning encoder models, and applicability for large generative models is yet to be determined. Please read the paper for more details.
LLM Scorebord
Dit is een scorebord voor Nederlandse benchmarks voor grote taalmodellen.
This is a leaderboard for Dutch benchmarks for large language models.