Corpus querying/nl: Difference between revisions

From Clarin K-Centre
Jump to navigation Jump to search
(Updating to match new version of source page)
 
(Created page with "==Autosearch== Deze demonstrateur staat gebruikers toe om een of meerdere corpora aan te wijzen en data voor deze corpora te uploaden, waarna de corpora automatisch op te zoeken zijn in een particuliere werkplek.")
Line 1: Line 1:
<div lang="en" dir="ltr" class="mw-content-ltr">
==Autosearch==
==Autosearch==
This demonstrator allows users to define one or more corpora and upload data for the corpora, after which the corpora will be made automatically searchable in a private workspace.
Deze demonstrateur staat gebruikers toe om een of meerdere corpora aan te wijzen en data voor deze corpora te uploaden, waarna de corpora automatisch op te zoeken zijn op een particuliere werkplek.
</div>


<div lang="en" dir="ltr" class="mw-content-ltr">
Gebruikers kunnen tekstdata uploaden die geannoteerd zijn met lemma + gedeelte van spraak tags in TEI of FoLiA formaat. Dit kan in een los XML-bestand, of als een archief (zip of tar.gz) dat meerdere bestanden bevat. Om te beginnen is de corpusgrootte gelimiteerd (25 MB limiet per geüpload bestand; 500.000 token limiet voor een geheel corpus), maar deze limieten kunnen worden verhoogd op een later moment. De zoekapplicatie wordt aangedreven door de INL BlackLab-corpus zoekmachine. De zoek-interface is dezelfde als die gebruikt wordt voor bijvoorbeeld het [https://chn.ivdnt.org Corpus Hedendaags Nederlands].
Users can upload text data annotated with lemma + part of speech tags in TEI or FoLiA format, either as a single XML file or as an archive (zip or tar.gz) containing several XML files. Corpus size is limited to begin with (25 MB limit per uploaded file; 500,000 token limit for an entire corpus), but these limits may be increased at a later point in time. The search application is powered by the INL BlackLab corpus search engine. The search interface is the same as the one used in for example the [https://chn.ivdnt.org Corpus of Contemporary Dutch / Corpus Hedendaags Nederlands].
</div>


<div lang="en" dir="ltr" class="mw-content-ltr">
* [http://portal.clarin.inl.nl/autocorp/ Demonstrateur]
* [http://portal.clarin.inl.nl/autocorp/ Demonstrator]
</div>


<div lang="en" dir="ltr" class="mw-content-ltr">
<div lang="en" dir="ltr" class="mw-content-ltr">

Revision as of 09:02, 4 April 2024

Autosearch

Deze demonstrateur staat gebruikers toe om een of meerdere corpora aan te wijzen en data voor deze corpora te uploaden, waarna de corpora automatisch op te zoeken zijn op een particuliere werkplek.

Gebruikers kunnen tekstdata uploaden die geannoteerd zijn met lemma + gedeelte van spraak tags in TEI of FoLiA formaat. Dit kan in een los XML-bestand, of als een archief (zip of tar.gz) dat meerdere bestanden bevat. Om te beginnen is de corpusgrootte gelimiteerd (25 MB limiet per geüpload bestand; 500.000 token limiet voor een geheel corpus), maar deze limieten kunnen worden verhoogd op een later moment. De zoekapplicatie wordt aangedreven door de INL BlackLab-corpus zoekmachine. De zoek-interface is dezelfde als die gebruikt wordt voor bijvoorbeeld het Corpus Hedendaags Nederlands.

OpenSonar

The current application contains two corpora:

  • The SoNaR corpus (See Reference corpora for more information.)
  • The Corpus of Spoken Dutch (Corpus Gesproken Nederlands, CGN) is a collection of 900 hours (almost 9 million words) of contemporary Dutch speech, originating from Flemish and Dutch speakers. The speech fragments (spontaneous and prepared) are aligned with various transcriptions (including orthographic, phonetic) and annotations (lemma, POS tags). All annotations have been verified manually, except for the phonetic transcription: only 11,3% was verified. The corpus data are available for researchers, see here.

The application has been developed in the CLARIN-NL and CLARIAH projects by a joint team of the Dutch Language Institute, Tilburg University and Radboud University.

The application is a web-based frontend for the BlackLab search engine for corpora with token-based annotation. The current frontend is a further development of the corpus-frontend application developed by INT (https://github.com/INL/corpus-frontend) and its design is inspired by the first version of the OpenSoNaR user interface by Tilburg and Radboud University (https://github.com/Taalmonsters/WhiteLab2.0).

Corpus Analysis Tools

A hopefully comprehensive list of tools used in corpus compilation and analysis.