Q&A/nl

Deze pagina biedt een lijst met vragen die we hebben ontvangen.

Hoe kan ik toegang krijgen tot CLARIN-hulpmiddelen en diensten, zonder een academisch account?

Het is mogelijk om een account aan te vragen via de CLARIN-accountregistratiepagina.

Hebben jullie domeinspecifieke corpora?

Op de hoofdpagina vindt u een lijst met verschillende soorten corpora die wij hebben. Domeinspecifieke corpora zijn de Parlementaire corpora en de Corpora van academische teksten. Onder de Parallele corpora bevinden zich ook domeinspecifieke corpora.

On the main page you find a listing of different types of corpora we have. Domain specific corpora are the Parliamentary corpora and the Corpora of academic texts. Under the Parallel corpora there are also domain specific corpora.

Zijn er literaire teksten beschikbaar?

Op de Publiek Domein Pagina kunt u een link vinden naar de downloadbare publiekedomeinbestanden van DBNL.

From the Public Domain Page you can find a link to the downloadable public domain files in DBNL.

Is er een spraakherkenningsmachine beschikbaar voor Belgisch-Nederlands?

Sinds april 2022 is er een nieuwe ASR-machine beschikbaar, die specifiek geschikt is voor spraakherkenning van Belgisch-Nederlands.

• Online webservice TIJDELIJK ONBESCHIKBAAR
• Wetenschappelijke publicatie over de spraakherkenningsmachine.

Since April 2022, there is a new ASR engine available, specifically suited for speech recognition for Belgian Dutch.

• Online webservice TEMPORARILY UNAVAILABLE
• Scientific publication about speech recognition engine

Kijk ook op de pagina die is toegewijd aan Spraakherkenningssystemen

Welke corpora zijn er beschikbaar voor automatische simplificatie van het Nederlands?

Er zijn momenteel geen parallelle corpora beschikbaar waarin gewoon Nederlands is gesimplificeerd, wat het onmogelijk maakt om dit eenvoudigweg te behandelen als een machinevertaalprobleem.

There are currently no parallel corpora available in which regular Dutch has been simplified, so this makes it impossible to straightforwardly treat this as a machine translation problem.

Als u het zou overwegen om een vorm van onbeheerde simplificatie te ontwikkelen, dan zijn er echter meerdere corpora beschikbaar met teksten in een Nederlands dat als eenvoudig beschouwd kan worden. Deze corpora zijn het Wablieft-corpus (Eenvoudig Belgisch-Nederlands), het Basilex-corpus (Teksten voor kinderen in Nederlandse basisscholen), en WAI-NOT (Zeer eenvoudig Belgisch-Nederlands).

Zijn er corpora die dialogen bevatten tussen twee of meer mensen?

Er zijn een aantal dialoogonderdelen in het CGN (Corpus Gesproken Nederlands).

• a. Spontane conversaties ('face-to-face')
• c. Telefoondialogen opgenomen m.b.v. platform
• d. Telefoondialogen opgenomen m.b.v. minidiskrecorder
• e. Zakelijke onderhandelingen

There are a number of dialog components in CGN (Spoken Dutch Corpus).

• a. Spontane conversaties ('face-to-face')
• c. Telefoondialogen opgenomen m.b.v. platform
• d. Telefoondialogen opgenomen m.b.v. minidiskrecorder
• e. Zakelijke onderhandelingen

• Download: https://taalmaterialen.ivdnt.org/download/tstc-corpus-gesproken-nederlands/
• Online zoeken: https://portal.clarin.inl.nl/opensonar_frontend/opensonar/search

Daarnaast is er het IFA Dialoog Videocorpus.

Een verzameling van geannoteerde video-opnames van vriendelijke face-to-face-dialogen. Het is gemodelleerd naar de face-to-face-dialogen in het Corpus Gesproken Nederlands (CGN). De procedures en het ontwerp van het corpus zijn aangepast om dit corpus bruikbaar te maken voor andere onderzoekers van Nederlandse spraak. Voor dit corpus zijn 20 dialoogconversaties van 15 minuten opgenomen en geannoteerd, in totaal 5 uur aan spraak.

• Download: https://taalmaterialen.ivdnt.org/download/tstc-ifa-dialoog-videocorpus/
• Online data: https://www.fon.hum.uva.nl/IFA-SpokenLanguageCorpora/IFADVcorpus/

Advies voor het vinden van financiële steun voor het samenstellen van een vergelijkbaar medisch corpus Engels-Nederlands

We onderzoeken of het mogelijk is om dit te laten financieren door de CLARIN Resource Families Projectfinanciering. Deze site geeft aan dat het het beste is om het idee eerst informeel in te sturen naar het CLARIN-kantoor, zodat zij erover kunnen adviseren ('Gezien de flexibele aard van dit telefoongesprek worden aanvragers bemoedigd om een projectidee op voorhand in te sturen, om het CLARIN-kantoor de mogelijkheid te bieden om aanvullende richtlijnen te geven en de haalbaarheid van de plannen te beoordelen.')

We are looking into whether this is fundable by CLARIN Resource Families Project Funding. The site indicates that it is best to first submit the idea informally to the CLARIN office, so they can advise us ("In view of the flexible nature of this call, applicants are encouraged to send in a project idea beforehand, in order to allow CLARIN Office to give additional guidelines and assess the eligibility of plans.")

Het zou echter duidelijk moeten zijn of het hierbij gaat om een parallel corpus, dat een van de categorieën is binnen de Resource Families, of dat het hier gaat om een vergelijkbaar corpus, dat niet een van de categorieën is. We zouden het CLARIN-kantoor kunnen vragen of zij het bruikbaar zouden vinden om zo een categorie toe te voegen.

We zouden een aantal potentiële databronnen moeten identificeren en er zeker van moeten zijn dat dat we de verzamelde data openbaar beschikbaar zouden kunnen stellen zonder GDPR- of IP-problemen.

We zouden rekening moeten houden met het EMEA-corpus in OPUS.

Is het mogelijk om het vinden van woordconversies voor specifieke corpora te automatiseren?

Denk je dat het mogelijk is om een lijst samen te stellen van conversieparen van het Nederlands, d.w.z. woorden die kunnen worden gebruikt in meer dan 1 spraakonderdeel, gebaseerd op corpora (of mogelijk ook treebanks)? Ik ben met name geïnteresseerd in de volgende onderdelen van spraak: naamwoorden, adjectieven en werkwoorden. Dus, bijvoorbeeld, het zoekalgoritme zou in staat moeten zijn de vetgedrukte woorden als conversieparen te identificeren in de volgende voorbeelden:

Do you think it is possible to draw up a list of conversion pairs of Dutch, i.e. words that can be used in more than 1 part of speech, on the basis of corpora (or possibly treebanks)? I am particularly concerned with the parts of speech nomen, adjective, and verb. So, for example, the search algorithm should be able to identify the bold words in the following examples as conversion pairs:

• ik douche / ik neem een douche
• wij geloven in iets / zijn geloof in iets
• de crimineel zweert zijn criminele gedrag af
• wij onderhielden contacten / het onderhoud van het huis
• wij droogden het droge laken
• we trommelden op de trommel

Antwoord: Het e-Lex lexicon staat het toe om woordvormen te zoeken met meerdere POS-tags, zoals u vraagt. Dit lexicon is gebaseerd op het CGN. Maar uw vraag gaat nog een stapje verder denk ik. Het werkwoord geloven heeft het lemma "geloven", en de conversie naar substantief heeft het lemma geloof. Daarom moeten we kijken of het lemma van het substantief ook voorkomt als een werkwoordsvorm, idem dito voor adjectieven. Er is een perl-script geschreven dat de aangevraagde sets uit het lexiconbestand extraheerde -- resultaten werden gestuurd naar de aanvrager.

Ik zoek gesproken en geschreven corpora voor een contrastief onderzoek Duits-Nederlands waarin ik daadwerkelijk woordvormen kan vinden

Wij verwijzen u naar OpenSonar dat de enige zoekmachine is voor zowel het Corpus Gesproken Nederlands (CGN) alsook het SoNaR-referentiecorpus. Deze zoekmachine is beschikbaar via een CLARIN-login. Een alternatief kan het Corpus Hedendaags Nederlands (CHN) zijn, dat de enige zoekmachine is voor het Corpus Hedendaags Nederlands. Als u recentere data nodig heeft, dan hebben wij bij het INT een monitor-corpus met wekelijkse nieuwsbriefdumps tot onze beschikking waarin we zoekopdrachten kunnen lanceren voor u. Helaas kunnen we dit monitorcorpus niet beschikbaar stellen vanwege IP-restricties.

We refer you to OpenSonar which is the only search engine for both the Spoken Dutch Corpus (CGN) and the SoNaR reference corpus and is available with CLARIN login. An alternative can be the [ http://chn.ivdnt.org/ Corpus Hedendaags Nederlands (CHN) website] which is the online search engine for the Corpus of Contemporary Dutch (CHN). If you need more recent data, at INT we have a monitor corpus with weekly newspaper dumps at our disposal in which we can launch searches for you -- unfortunately we cannot make this monitor corpus available due to IP restrictions.

Ik wil alle Nederlandse lemma's vinden waarin een dubbele afleiding zit, kunt u me helpen?

Het e-Lex-lexicon bevat als zijn derde dataveld de morfologie van lemma's. We hebben alle rijen in de data geëxtraheerd waarin het teken voor afleiding (|) twee keer op rij voorkwam en de gebruiker een gedetailleerde lijst aangeboden van invoeropdrachten en hoe regelmatig deze voorkomen in het e-Lex.

The eLex lexicon contains as its third data field the morphology of lemmas. We extracted all rows in the data in which the sign for derivation (|) occurs twice in a row and provided our user with a detailed list of entries and how often they occur in the e-Lex.

(ing)[N|V.](s)[N|N.N]	9344
(heid)[N|A.](s)[N|N.N]	1470
(er)[N|V.](s)[N|N.N]	1230
(ig)[A|N.](heid)[N|A.]	937
(atie)[N|V.](ief)[A|N.]	769
(iseer)[V|N.](atie)[N|V.]	603
...

Kan ik een verdeling krijgen van de achtervoegsels van Nederlandse adjectieven?

Het e-Lex-lexicon bevat als zijn derde dataveld de morfologie van lemma's. We hebben geteld per lemma-id dat een adjectief is voor de frequentie van het laatste achtervoegsel. Voor geen morfologie hebben we de categorie '0' toegewezen.

The eLex lexicon contains as its third data field the morphology of lemmas. We counted, per lemma id that is an adjective the frequency of the last suffix. For no morphology, we assigned category '0'.

0	11781
(ig)	1781
(achtig)	507
(baar)	473
(isch)	431
(elijk)	392
(end)	367
(en)	292
(s)	278
(lijk)	237
(erig)	229
(ief)	168
(aal)	155
(loos)	138
(d)	116
...

Ik wil CGN wave-bestanden gebruiken, maar vond een dode link op de originele website

Er is een permanente link voor de CGN-wave-bestanddownloadpagina: http://hdl.handle.net/10032/tm-a2-k6

There is a permanent link for the CGN wave file download page: http://hdl.handle.net/10032/tm-a2-k6

Welke treebanks zijn er beschikbaar voor het Nederlands?

We hebben deTreebanks pagina toegevoegd aan deze wiki om antwoord te geven op deze vraag.

We have added the Treebanks page to this wiki to answer this question.

Is er een corpus met gebiedende zinnen?

Er is zo geen expliciet corpus beschikbaar. Als we GrETEL een gebiedend voorbeeld aanbieden kunnen we gelijksoortige zinnen extraheren, die gebruikt zouden kunnen worden als een gebiedend corpus.

There is no such explicit corpus available. If we provide GrETEL with an imperative example we can extract similar sentences, which should be usable as an imperative corpus.

We zullen wat onderwerpsmodelleringsanalyses toepassen op wat Vlaams/Belgisch-Nederlandse data die we hebben. Omdat onze dataset relatief klein is voor deze soort taak, is het idee om het onderwerpmodel te trainen op een veel groter corpus (bijv. social media posts). Weet u of zo een corpus wellicht beschikbaar is?

Neem een kijkje op [1]

Take a look at [2]

Hoe kan ik de leesbaarheid van een Nederlandse tekst berekenen?

Er is een hulpmiddel genaamd T-scan dat wellicht nuttig is daarvoor.

There is a tool called T-scan that may be helpful there.

Hoe kan ik Flesch-Douma berekenen voor het Nederlands?

De formule voor Flesch-Douma vereist twee dingen die geteld moeten worden: het aantal woorden in een zin en het aantal lettergrepen per woord. Terwijl het aantal woorden in een zin gemakkelijk te tellen is met elke scripttaal, lijkt het aantal lettergrepen moeilijker te tellen. Het e-Lex-lexicon bevat woordafbrekingstekens en daarmee het aantal lettergrepen per woord. Een alternatief is om het aantal klinkerclusters in elk woord te tellen met gebruik van reguliere uitdrukkingen. Dit zou ook het aantal lettergrepen moeten opleveren.

The formula for Flesch-Douma requires two things to be counted: number of words in a sentence and number of syllables per word. While the number of words in a sentence is easily counted with any scripting language, the nr of syllables may seem more difficult. The [ http://hdl.handle.net/10032/tm-a2-h2 e-Lex] lexicon contains hyphenation patterns and hence the number of syllables per word. An alternative is to count the number of vowel clusters in each word using regular expressions, which should also give you the number of syllables.

Ik zoek een parallel corpus van Nederlands-Turkse teksten.

We vergelijken de Nederlandse en Turkse vertalingen van de Linguistic Inquiry and Word Count [LIWC] woordenboeken. Kent u enige corpora die geschikt zouden kunnen zijn? Ik heb verscheidene kandidaten gevonden op OPUS (https://opus.nlpl.eu/) en heb de TED2020-lezingen gedownload. Echter, dit zijn .xml-bestanden met paragraaf/lijn IDs en ik heb .txt-bestanden nodig. Heeft u wellicht een script of een manier om deze bestanden automatisch anders te coderen en de onnodige tags te verwijderen?

We are comparing the Dutch and Turkish translations of the Linguistic Inquiry and Word Count [LIWC] dictionaries. Do you know of any corpora that would be suitable? I found several candidates on OPUS (https://opus.nlpl.eu/), and downloaded the TED2020 talks. However these are .xml files with paragraph/line IDs and I need .txt files. Would you have a script or a way to automatically recode them and remove the unnecessary tags?

Wij zouden u ook verwijzen naar OPUS, daar kunt u parallelle txt-bestanden vinden als u het Moses-formaat downloadt -- dan krijgt u een zip dat een .nl en een .tr bestand bevat en deze zijn uitgelijnd op basis van zinnen. Dat betekent dat hetzelfde lijnnummer in de twee bestanden de vertalingen van elkaar zouden moeten zijn.

Weet u of er degelijke sentimentanalyse-algoritmes/-methodes bestaan voor het Nederlands?

We hebben nu een pagina over sentimentanalyse toegevoegd aan deze wiki.

We have now added a page on sentiment analysis to this wiki.

Zijn er gesproken corpora van spontane spraak met time-stamped transcripties, die gratis beschikbaar zijn?

Op [3] hebben we verzameld wat beschikbaar is voor het Nederlands.

On [4] we've collected what is available for Dutch.

Het Corpus Gesproken Nederlands (CGN) heeft een sectie van spontane spraak met time-stamped transcripties, gratis beschikbaar.

Hoe kan ik het zoeken naar de 'groene' en 'rode' woordvolgorde in OpenSonar combineren?

In principe is het mogelijk om beide opdrachten tegelijkertijd aan te vragen, zie het voorbeeld voor meer informatie.

In principle it is possible to ask for both orders at the same time, see the example for more info.

• Voorbeeld

Kunt u advies geven over het opzetten van een transcriptieproces voor een gesprokentaalcorpus?

We hebben een overleg gehad waarin we het gebruik van spraakherkenning, segmentatie, sprekersdiarisatie en post-editing van spraakherkenning hebben besproken. We hebben het advies gegeven om K-Dutch te betrekken in het projectvoorstel zodat K-Dutch de ASR-output kan converteren naar ELAN-niveaus, ELAN-niveaus kan samenvoegen etc.

A meeting was held in which we discussed the use of speech recognition, segmentation, speaker diarisation, and post-editing of speech recognition. We have given the advice to include K-Dutch into the project proposal so that K-Dutch can take care of converting ASR output to ELAN tiers, merging of ELAN tiers etc.

Wat zijn de letterteken n-gram-frequenties voor het Nederlands?

We hebben de n-gram-frequenties geteld tot aan trigrams en ze beschikbaar gemaakt op Letterteken_N-grams.

We have counted the n-gram frequencies up to trigrams and made them available at Character_N-grams.

Is er een gebruiksvriendelijke interface voor het werken met het EMEA-onderdeel van de Lassy Groot-treebank?

Lassy Groot is extreem groot en daarom niet geheel beschikbaar met behulp van online zoekhulpmiddelen zoals GrETEL en PaQu, alhoewel deze laatste toegang biedt tot het krantenonderdeel. Een suggestie is om de data te downloaden en dan te importeren naar een xml-databasemachine, zoals Basex die het toestaat om erin te zoeken met Xpath en Xqeury.

Lassy Large is extremely large, and therefore not entirely available through online query tools such as GrETEL and PaQu, although the latter provides access to the newspaper part. A suggestion is to download the data and then import it into an xml database engine, such as Basex which will allow you to query it with Xpath and Xquery.

Wat zijn goede POS-taggers voor non-standaard Nederlands?

Zie de Eenvoudige_Taalverwerking pagina.

See Basic_language_processing page.

Zijn er lexicale profileringshulpmiddelen voor het Nederlands?

Het verzoek is of er enige gebruiksvriendelijke en gratis beschikbare hulpmiddelen zijn waarmee docenten het lexicale profiel van een tekst kunnen vaststellen (tot welke frequentieniveaus de woorden behoren, hoeveel van de meest frequente woorden de lezer zou moeten kennen om 95% te begrijpen etc.)

The request is whether there are any user friendly and freely available tools with which teachers can assess the lexical profile of a text (to which frequency levels do the words belong, how many of the most frequent words should a reader know to understand 95% etc.)

Hoewel we ons niet bewust zijn van enige hulpmiddelen die zoiets expliciet doen, zijn er een aantal hulpmiddelen die gedeeltelijk die kant op gaan. We stellen voor dat u een kijkje neemt op

• LINT dat de leesbaarheid van de tekst inschat
• T-scan waarop LINT is gebaseerd en dat iets minder gebruiksvriendelijk is.

Er zijn ook een aantal hulpmiddelen die kunnen worden gevonden op Instituut voor Levende Talen

Is er een woordenlijst van moeilijke woorden voor het Nederlands?

Terwijl deze vraag over 'moeilijke' woorden gaat, hebben wij alleen woordenlijsten van eenvoudige woorden tot onze beschikking:

While this question is about difficult words, we mainly have word lists of easy words at our disposal:

• Er is het BasiLex-lexicon dat woorden bevat gericht op kinderen tot 12 jaar oud
• Er is het BasiScript-lexicon dat woorden bevat die zijn geproduceerd door kinderen tot 12 jaar oud
• Er zijn frequentielijsten beschikbaar voor een aantal verschillende corpora, elke een lijst van de 5000 meest frequente woorden: http://hdl.handle.net/10032/tm-a2-f8
• Het NT2Lex biedt een lexicon met woorden en hoe ze voorkomen in teksten die zijn gericht op specifieke CEFR-niveaus.

Als een woord niet voorkomt in een lijst van eenvoudige woorden, dan kan dat worden gebruikt als een maatstaf voor de moeilijkheidsgraad van woorden. Maar, moeilijkheid wordt bepaald door meer dan alleen woorden, d.w.z. er is ook syntactische complexiteit.

U zou bijvoorbeeld het T-scan hulpmiddel kunnen gebruiken dat de complexiteit van teksten meet.

Is er een versie van het Corpus Gesproken Nederlands met alleen maar tekst?

De downloadbestanden van het Corpus Gesproken Nederlands (CGN) bevatten geen versies met alleen maar tekst. De ort bestanden bevatten orthografische transcripties en tijdsaanduidingen en de plk bestanden bevatten POS- en lemma-informatie. Het volgende perl-script neemt een lijst van plk-bestanden als input en print de tekst. Als u dit script runt vanaf de command-lijn in uw terminal, dan kunt u tekstbestanden creëren.

The download files of the Corpus Spoken Dutch (CGN) do not contain the text only. The ort files contain ortographic transcriptions and timestamps and the plk files contain part-of-speech and lemma information. The following perl script takes a list of plk files as input and prints the text. If you run this script from the command line in your terminal, then you can create text files.

binmode(STDOUT, ":utf8");

while ($in=shift(@ARGV)) {

   print STDERR "Processing $in\n";

   open(F,$in);

   while (<F>) {

       if (/^<au/) {

           if (@words>0) {

               print join(" ",@words)."\n";

           }

           @words=();

       }

       else {

           ($word,$tag,$lem)=split(/\t/);

           push(@words,$word);

       }

   }

}