Jump to content

Basic language processing/nl: Difference between revisions

From Clarin K-Centre
Created page with "*[https://webservices.cls.ru.nl/frog Online versie] *[https://languagemachines.github.io/frog/ Project website]"
Created page with " Met deze webapplicatie kan een eindgebruiker historische Nederlandse teksten invoeren die vervolgens worden getokeniseerd, gelemmatiseerd en ge-POS-tagd. De applicatie maakt gebruik van de meest geschikte bronnen (zoals lexica) voor de desbetreffende tekst. Voor elke specifieke tekst kan een gebruiker de beste bronnen selecteren uit de beschikbare bronnen in CLARIN, waar deze ook terug te mogen vinden zijn, en waar nodig kunnen deze worden aangevuld met eigen lexica."
 
(27 intermediate revisions by 4 users not shown)
Line 1: Line 1:
Onder eenvoudige taalverwerking verstaan we gedeelte-van-spraak tagging, lemmatisering, named entity recognition, chunking en gelijksoortige taken die individuele woorden labelen.
<languages/>
Onder eenvoudige taalverwerking verstaan we part-of-speech tagging, lemmatisering, named entity recognition, chunking en gelijksoortige taken die individuele woorden labelen.


== Frog ==
<span id="Contemporary_Dutch"></span>
Frog is een voor het Nederlands ontwikkelde integratie van op geheugen gebaseerde natuurlijke taalverwerkingsmodules (NLP). De huidige versie van Frog zal woordtokens in Nederlandse tekstbestanden tokeniseren, taggen, lemmatiseren, en morfologisch segmenteren. Daarnaast zal Frog een afhankelijksdiagram toevoegen aan elke zin, de basis zinsdeelchunks identificeren en het zal pogen om alle named entities te vinden en te labelen.  
==Hedendaags Nederlands==
 
=== Frog ===
 
Frog is een voor het Nederlands ontwikkelde integratie van memory-based natuurlijke taalverwerkingsmodules (NLP). De huidige versie van Frog zal woordtokens in Nederlandse tekstbestanden tokeniseren, taggen, lemmatiseren, en morfologisch segmenteren. Daarnaast zal Frog een afhankelijkheidsdiagram toevoegen aan elke zin, de basiszinsdelen identificeren en de tool zal proberen om alle named entities te vinden en te labelen.  


*[https://webservices.cls.ru.nl/frog Online versie]
*[https://webservices.cls.ru.nl/frog Online versie]
*[https://languagemachines.github.io/frog/ Project website]
*[https://languagemachines.github.io/frog/ Projectwebsite]
 
=== DeepFrog ===
 
DeepFrog streeft ernaar om een (gedeeltelijke) opvolger te zijn van het Nederlandse NLP-project Frog. Waar de verscheidene NLP-modules in Frog nog waren gebouwd op k-NN classifiers, bouwt DeepFrog op deep learning techniques en kan het een verscheidenheid aan neurale transformatoren gebruiken.


<div lang="en" dir="ltr" class="mw-content-ltr">
*[https://huggingface.co/proycon/robbert-pos-cased-deepfrog-nld POS-tagger]
== DeepFrog ==
DeepFrog aims to be a (partial) successor of the Dutch-NLP suite Frog. Whereas the various NLP modules in Frog were built on k-NN classifiers, DeepFrog builds on deep learning techniques and can use a variety of neural transformers.
</div>


<div lang="en" dir="ltr" class="mw-content-ltr">
Het systeem is nog niet officieel vrijgegeven.
*[https://huggingface.co/proycon/robbert-pos-cased-deepfrog-nld POS tagger]
*[https://github.com/proycon/deepfrog Github-pagina]
</div>


<div lang="en" dir="ltr" class="mw-content-ltr">
<span id="LeTs"></span>
The system is not yet officially released.
=== LeTs ===
*[https://github.com/proycon/deepfrog Github page]
LeTs is een preprocessor die kan worden gebruikt voor het Nederlands, Duits, Engels en Frans.
</div>


<div lang="en" dir="ltr" class="mw-content-ltr">
LeTs is een preprocessor die kan worden gebruikt voor het Nederlands, Duits, Engels en Frans.
== LeTs ==
LeTs is preprocessor that can be used for Dutch, German, English and French.
</div>


<div lang="en" dir="ltr" class="mw-content-ltr">
*[https://lt3.ugent.be/resources/lets/ Projectpagina]
*[https://lt3.ugent.be/resources/lets/ Project page]
*[https://lt3.ugent.be/lets-demo/ Demo]
*[https://lt3.ugent.be/lets-demo/ Demo]
</div>


<div lang="en" dir="ltr" class="mw-content-ltr">
=== Spacy ===
== Spacy ==
 
</div>
Componenten: tok2vec, morphologizer, tagger, parser, lemmatizer (trainable_lemmatizer), senter, ner.
 
[https://spacy.io/models/nl Nederlandse modellen]
 
<span id="Stanza_-_A_Python_NLP_Package_for_Many_Human_Languages"></span>
== Stanza - Een Python NLP Package voor natuurlijke talen ===
 
Stanza is een verzameling nauwkeurige en efficiënte tools voor de linguïstische analyse van veel menselijke talen.
 
* [https://stanfordnlp.github.io/stanza/#stanza--a-python-nlp-package-for-many-human-languages Stanza-Github-pagina's]
 
===Trankit===
 
Trankit is een lichte python toolkit voor meertalige NLP. Het voorziet in een trainbare pijplijn voor basis taalverwerking voor meer dan 100 talen, 90 downloadbare voorgetrainde pipelines voor 56 talen.
 
*[https://github.com/nlp-uoregon/trankit Trankit Github pages]
 
<span id="Historical_Dutch"></span>
==Historisch Nederlands==
 
<span id="GaLaHaD:_Generating_Linguistic_Annotations_for_Historical_Dutch"></span>
===GaLaHaD:  Genereren van Linguïstische Annotaties voor Historisch Nederlands===


<div lang="en" dir="ltr" class="mw-content-ltr">
Galahad wil annotatie en evaluatie van tools makkelijk toegankelijk maken en wil het voor ontwikkelaars makkelijk maken hun tools en modellen bij te dragen aan het platform, om ze zo te vergelijken met andere tools, getest op goudstandaard data.  
[https://spacy.io/models/nl Dutch models]
</div>


<div lang="en" dir="ltr" class="mw-content-ltr">
[https://portal.clarin.ivdnt.org/galahad Webservice]
== Stanza ==
A Python NLP Package for Many Human Languages
</div>


<div lang="en" dir="ltr" class="mw-content-ltr">
* [https://stanfordnlp.github.io/stanza/#stanza--a-python-nlp-package-for-many-human-languages Stanza github pages]
</div>


<div lang="en" dir="ltr" class="mw-content-ltr">
<span id="Adelheid_Tagger-Lemmatizer:_A_Distributed_Lemmatizer_for_Historical_Dutch"></span>
==Adelheid Tagger-Lemmatizer:  A Distributed Lemmatizer for Historical Dutch==
==Adelheid Tagger-Lemmatizer:  A Distributed Lemmatizer for Historical Dutch==
With this web-application an end user can have historical Dutch texts tokenized, lemmatized and part-of-speech tagged, using the most appropriate resources (such as lexica) for the text in question. For each specific text, the user can select the best resources from those available in CLARIN, wherever they might reside, and where necessary supplemented by own lexica.
</div>


<div lang="en" dir="ltr" class="mw-content-ltr">
 
*[http://portal.clarin.nl/node/1918 CLAPOP page]
Met deze webapplicatie kan een eindgebruiker historische Nederlandse teksten invoeren die vervolgens worden getokeniseerd, gelemmatiseerd en ge-POS-tagd. De applicatie maakt gebruik van de meest geschikte bronnen (zoals lexica) voor de desbetreffende tekst. Voor elke specifieke tekst kan een gebruiker de beste bronnen selecteren uit de beschikbare bronnen in CLARIN, waar deze ook terug te mogen vinden zijn, en waar nodig kunnen deze worden aangevuld met eigen lexica.
*No working version found
 
</div>
*[http://portal.clarin.nl/node/1918 CLAPOP-pagina]
*Geen werkende versie gevonden

Latest revision as of 07:24, 9 May 2025

Onder eenvoudige taalverwerking verstaan we part-of-speech tagging, lemmatisering, named entity recognition, chunking en gelijksoortige taken die individuele woorden labelen.

Hedendaags Nederlands

Frog

Frog is een voor het Nederlands ontwikkelde integratie van memory-based natuurlijke taalverwerkingsmodules (NLP). De huidige versie van Frog zal woordtokens in Nederlandse tekstbestanden tokeniseren, taggen, lemmatiseren, en morfologisch segmenteren. Daarnaast zal Frog een afhankelijkheidsdiagram toevoegen aan elke zin, de basiszinsdelen identificeren en de tool zal proberen om alle named entities te vinden en te labelen.

DeepFrog

DeepFrog streeft ernaar om een (gedeeltelijke) opvolger te zijn van het Nederlandse NLP-project Frog. Waar de verscheidene NLP-modules in Frog nog waren gebouwd op k-NN classifiers, bouwt DeepFrog op deep learning techniques en kan het een verscheidenheid aan neurale transformatoren gebruiken.

Het systeem is nog niet officieel vrijgegeven.

LeTs

LeTs is een preprocessor die kan worden gebruikt voor het Nederlands, Duits, Engels en Frans.

LeTs is een preprocessor die kan worden gebruikt voor het Nederlands, Duits, Engels en Frans.

Spacy

Componenten: tok2vec, morphologizer, tagger, parser, lemmatizer (trainable_lemmatizer), senter, ner.

Nederlandse modellen

Stanza - Een Python NLP Package voor natuurlijke talen =

Stanza is een verzameling nauwkeurige en efficiënte tools voor de linguïstische analyse van veel menselijke talen.

Trankit

Trankit is een lichte python toolkit voor meertalige NLP. Het voorziet in een trainbare pijplijn voor basis taalverwerking voor meer dan 100 talen, 90 downloadbare voorgetrainde pipelines voor 56 talen.

Historisch Nederlands

GaLaHaD: Genereren van Linguïstische Annotaties voor Historisch Nederlands

Galahad wil annotatie en evaluatie van tools makkelijk toegankelijk maken en wil het voor ontwikkelaars makkelijk maken hun tools en modellen bij te dragen aan het platform, om ze zo te vergelijken met andere tools, getest op goudstandaard data.

Webservice


Adelheid Tagger-Lemmatizer: A Distributed Lemmatizer for Historical Dutch

Met deze webapplicatie kan een eindgebruiker historische Nederlandse teksten invoeren die vervolgens worden getokeniseerd, gelemmatiseerd en ge-POS-tagd. De applicatie maakt gebruik van de meest geschikte bronnen (zoals lexica) voor de desbetreffende tekst. Voor elke specifieke tekst kan een gebruiker de beste bronnen selecteren uit de beschikbare bronnen in CLARIN, waar deze ook terug te mogen vinden zijn, en waar nodig kunnen deze worden aangevuld met eigen lexica.