Taalmodellering

n-gram modellering

'Colibri core' is een Natuurlijke Taalverwerkingshulpmiddel als ook een C++ en Python-bibliotheek voor het werken met standaard taalkundige constructies zoals n-grams en skipgrams (d.w.z. patronen met een of meerdere gaten van ofwel vaststaande, ofwel dynamische grootte) op een snelle en geheugenefficiënte manier. In de kern bevindt zich de colibri-patroonmodelleerder die het mogelijk maakt om doorzoekingspatroonmodellen te bouwen, bekijken en bewerken.

• Github opslag

Grote Taalmodellen

• Hugging Face Dutch Models
• RobBERT: Een Nederlands RoBERTa Taalmodel
• BERTje: Een Nederlands BERT model
• GEITje: Een groot open taalmodel

Meertalige Taalmodellen inclusief het Nederlands

• GPT-3
• MBart

SpaCy

spaCy is een gratis open-source bibliotheek voor Natuurlijke Taalverwerking in Python.

• Nederlandse modellen

Language Modeling Benchmarks

DUMB

DUMB is a benchmark for evaluating the quality of language models for Dutch NLP tasks. The set of tasks is designed to be diverse and challenging, to test the limits of current language models. The specific datasets and formats are particularly suitable for fine-tuning encoder models, and applicability for large generative models is yet to be determined. Please read the paper for more details.

• DuMB

LLM Leaderboard

This is a leaderboard for Dutch benchmarks for large language models.

• Open Dutch LLM Leaderboard