Wenig verbreitete Sprachen: Warum es mehr wert ist, eine zu sprechen, als Sie denken
· 2 Min. Lesezeit · languages, pay
Diese Übersetzung wurde maschinell erstellt und nicht von einem Muttersprachler geprüft. Im Zweifelsfall gilt die englische Fassung. Sagen Sie uns Bescheid, wenn etwas falsch klingt, und wir korrigieren es. Anglais
In der KI-Datenarbeit folgt der Wert der Knappheit und nicht der Anzahl der Sprecher. Eine Sprache mit wenigen Sprechern und fast keiner Datensatzabdeckung kann nicht durch Scraping, Übersetzung oder synthetische Daten gefüllt werden. Sie kann nur von Sprechern gefüllt werden, was die Beherrschung einer wenig verbreiteten Sprache zu einer wirklich starken Position macht.
Kurz gefasst
- Wenig verbreitet bedeutet wenig vorhandene Datensatzabdeckung, nicht wenige Sprecher.
- Scraping und Übersetzung können Daten von Muttersprachlern nicht ersetzen.
- Twi, Karakalpak und Wayuu sind Beispiele für Sprachen, die Corpshore aktiv abdeckt.
- Code-Switching zwischen einer wenig verbreiteten Sprache und einer großen ist besonders wertvoll.
- Das Übertreiben eines Sprachniveaus ist der häufigste Grund, warum Bewerbungen scheitern.
Möchten Sie diese Arbeit machen?
Jede Bewerbung wird von einem Menschen gelesen und beantwortet.
Jetzt bewerbenWas bedeutet wenig verbreitet eigentlich?
Es bezieht sich darauf, wie viele nutzbare Daten für eine Sprache existieren, nicht darauf, wie viele Menschen sie sprechen. Einige Sprachen mit zig Millionen Sprechern sind wenig verbreitet, weil fast nichts jemals digital niedergeschrieben oder in einer Form aufgezeichnet wurde, aus der ein System lernen könnte.
Das ist die Lücke, für die bezahlt wird. Es ist keine Lücke, die sich von selbst schließt, weil das Material tatsächlich nicht existiert, bis jemand es produziert.
Warum kann dies nicht durch Übersetzung gelöst werden?
Weil übersetzter Text nicht der Art und Weise entspricht, wie Menschen sprechen. Ein Korpus englischer Sätze, der ins Twi übersetzt wurde, lehrt ein Modell, mit übersetztem Twi umzugehen, was nicht dieselbe Sprache ist, die tatsächlich verwendet wird, und der Unterschied zeigt sich sofort im realen Gebrauch.
Dasselbe gilt für synthetische Daten, die von einem Modell generiert werden. Ein Modell, das in einer Sprache schlecht ist, kann keine guten Trainingsdaten für diese Sprache generieren, was ein zirkuläres Problem ist, das nur menschliche Sprecher lösen können.
Wie sollten Sie Ihre Sprachen in einer Bewerbung präsentieren?
Listen Sie jede Sprache auf, in der Sie tatsächlich arbeiten, mit einem ehrlichen Niveau für jede, und benennen Sie die weniger verbreiteten explizit, anstatt sie unter einem größeren Verwandten zu subsumieren. Karakalpak unter Usbekisch verschwindet; Karakalpak allein aufgeführt ist der Grund, warum Sie eingestellt werden.
Seien Sie genau beim Niveau. Die Niveaus werden beim Onboarding überprüft, und eine Übertreibung, die bei einer Überprüfung scheitert, kostet die Bewerbung. Ein ehrliches mittleres Niveau tut dies häufig nicht.
Weitere Fragen
Was ist eine wenig verbreitete Sprache in der KI?
Eine Sprache mit wenig vorhandenen digitalen Daten für das Training, unabhängig davon, wie viele Menschen sie sprechen. Die Lücke kann nur von Muttersprachlern gefüllt werden, die neues Material produzieren.
Zahlen seltene Sprachen mehr bei der Annotationsarbeit?
Im Allgemeinen ja, weil der Wert der Knappheit folgt. Eine Sprache, in der nur wenige qualifizierte Personen arbeiten können, bringt mehr ein als eine mit einem großen verfügbaren Pool.
Sollte ich eine Sprache angeben, die ich spreche, aber nicht formell schreiben kann?
Ja, mit einer ehrlichen Beschreibung Ihres Niveaus. Sprachliche Arbeit benötigt oft fließende Sprecher anstelle formeller Schreiber, und genau zu sein über den Unterschied hilft eher, als dass es schadet.