Języki niskozasobowe: dlaczego mówienie jednym z nich jest warte więcej, niż myślisz
· 2 min czytania · languages, pay
To tłumaczenie zostało wykonane maszynowo i nie zostało sprawdzone przez native speakera. W razie wątpliwości obowiązuje wersja angielska. Napisz nam, jeśli coś brzmi błędnie, a poprawimy. English
W pracy z danymi AI wartość zależy od rzadkości, a nie liczby użytkowników. Język z niewielką liczbą użytkowników i prawie żadnym pokryciem w zbiorach danych nie może być uzupełniony przez scraping, tłumaczenie ani dane syntetyczne. Może być uzupełniony tylko przez użytkowników, co sprawia, że biegłość w języku niskozasobowym jest naprawdę silną pozycją.
W skrócie
- Niskozasobowy oznacza małe pokrycie w istniejących zbiorach danych, a nie niewielu użytkowników.
- Scraping i tłumaczenie nie mogą zastąpić danych od rodzimych użytkowników języka.
- Twi, Karakalpak i Wayuu to przykłady języków, które Corpshore aktywnie obejmuje.
- Przełączanie się między językiem niskozasobowym a głównym jest szczególnie wartościowe.
- Przeszacowanie poziomu języka jest najczęstszym powodem niepowodzenia aplikacji.
Co właściwie oznacza niskozasobowy?
Odnosi się to do ilości użytecznych danych istniejących dla danego języka, a nie do liczby osób, które nim mówią. Niektóre języki z dziesiątkami milionów użytkowników są niskozasobowe, ponieważ prawie nic nie zostało zapisane cyfrowo lub nagrane w formie, z której system mógłby się uczyć.
To jest luka, za którą się płaci. Nie zamyka się ona sama, ponieważ materiał naprawdę nie istnieje, dopóki ktoś go nie wytworzy.
Dlaczego nie można tego rozwiązać za pomocą tłumaczenia?
Ponieważ tłumaczony tekst to nie to, jak ludzie mówią. Korpus zdań angielskich przetłumaczonych na Twi uczy model obsługi przetłumaczonego Twi, co nie jest tym samym językiem, którego rzeczywiście używają ludzie, a różnica jest widoczna od razu w rzeczywistym użyciu.
To samo dotyczy danych syntetycznych generowanych przez model. Model, który jest słaby w danym języku, nie może generować dobrych danych treningowych dla tego języka, co jest problemem kołowym, który mogą rozwiązać tylko ludzie mówiący tym językiem.
Jak przedstawić swoje języki w aplikacji?
Wymień każdy język, w którym rzeczywiście pracujesz, z uczciwym poziomem dla każdego z nich, i nazwij mniej powszechne języki wyraźnie, zamiast ukrywać je pod większym odpowiednikiem. Karakalpak wymieniony pod Uzbekiem znika; Karakalpak wymieniony samodzielnie jest powodem, dla którego zostajesz zatrudniony.
Bądź dokładny co do poziomu. Poziomy są sprawdzane podczas onboardingu, a przesadzenie, które nie przechodzi weryfikacji, kosztuje aplikację. Uczciwy umiarkowany poziom często nie.
Inne pytania
Co to jest język niskozasobowy w AI?
Język, dla którego istnieje niewiele dostępnych danych cyfrowych do treningu, niezależnie od liczby osób, które nim mówią. Lukę mogą wypełnić tylko rodzimi użytkownicy, produkując nowy materiał.
Czy rzadkie języki płacą więcej w pracy annotacyjnej?
Zazwyczaj tak, ponieważ wartość zależy od rzadkości. Język, w którym niewiele wykwalifikowanych osób może pracować, jest bardziej wartościowy niż taki, w którym dostępna jest duża pula.
Czy powinienem wymienić język, którym mówię, ale nie potrafię pisać formalnie?
Tak, z uczciwym opisem swojego poziomu. Praca związana z mową często potrzebuje biegłych mówców, a nie formalnych pisarzy, a dokładność w opisie różnicy pomaga, a nie szkodzi.