リソースの少ない言語、話す価値は思ったよりも高い理由

リソースが少ないとは実際にどういう意味ですか？

それは、ある言語にどれだけの利用可能なデータが存在するかを指し、何人がその言語を話すかではありません。数千万人の話者がいる言語でも、デジタルで書かれたり、システムが学習できる形式で記録されたものがほとんどないため、リソースが少ないとされることがあります。

それが支払われるギャップです。それは自然に埋まるギャップではなく、誰かがそれを生み出すまで実際に存在しないのです。

なぜ翻訳で解決できないのですか？

翻訳されたテキストは人々が話す方法ではないからです。英語の文をTwiに翻訳したコーパスは、翻訳されたTwiをモデルに教えますが、それは実際に誰もが使うTwiとは異なり、その違いはすぐに実際の使用で現れます。

モデルによって生成された合成データにも同じことが当てはまります。ある言語が苦手なモデルは、その言語の良いトレーニングデータを生成できません。これは、人間の話者だけが解決できる循環的な問題です。

応募時にどのように自分の言語を提示すべきですか？

実際に使えるすべての言語を正直なレベルで列挙し、一般的でない言語は大きな関連言語の下にまとめるのではなく、明示的に名前を挙げてください。Karakalpakをウズベク語の下にリストすると消えてしまいますが、Karakalpakを単独でリストすると、それが採用される理由になります。

レベルについて正確であること。レベルはオンボーディングで確認され、チェックに失敗する誇張は応募を失敗させます。正直な中程度のレベルはしばしば失敗しません。

AIにおけるリソースの少ない言語とは何ですか？

話者数に関係なく、トレーニング用のデジタルデータがほとんど存在しない言語です。このギャップは、ネイティブスピーカーが新しい資料を作成することでしか埋められません。

珍しい言語はアノテーション作業でより高く評価されますか？

一般的にはそうです。価値は希少性に基づいています。資格のある人が少ない言語は、大きな利用可能なプールを持つ言語よりも高く評価されます。

話せるが正式に書けない言語をリストすべきですか？

はい、レベルの正直な説明を添えて。音声作業ではしばしば流暢な話者が必要とされ、違いを正確に伝えることは助けになります。