Egy angol szó tokenköltsége valahol 1,2–1,4 között van, viszont én alkalmazott nyelvésznek készültem egy ideig, így megjegyeztem, hogy a magyar agglutináló nyelv. Ha a toldalékot és ragot a szóhoz kapcsolod, mert egyszerűen ilyen anyanyelven írsz az AI-eszközöknek, akkor a tokenköltséged jelentősen megugrik. Hogy pontosan mennyivel, arra vannak már kuta…
A magyar nyelvűek szükségszerűen hátrányba kerülnek az AI-fejlesztéseknél
Lemértem, mennyivel drágább magyarul dolgozni egy nyelvi modellel. 1,79 jött ki. Aztán megtaláltam egy másik mérést, ami 1,99-et mond. Mindkettő igaz, csak nem ugyanarra a kérdésre válaszol.
