Neuron Rust tilida yozilgan yangi PSSA tili modeli taqdim etildi
Rust tilida noldan yaratilgan kichik PSSA tili modeli an'anaviy transformerlarga qaraganda tezroq o'rganishi va umumlashtirishi ma'lum bo'ldi.
PSSA deb nomlangan yangi til modeli transformer arxitekturasiga asoslanmagan bo'lib, u matnni ketma-ket qayta ishlovchi rekurrent qatlam va epizodik xotira bankidan foydalanadi. Ushbu loyiha Rust tilida mutlaq noldan yozilgan bo'lib, uning ostida PyTorch, TensorFlow yoki boshqa biron-bir mashinaviy o'qitish freymvorki mavjud emas.
Sinov jarayonlarida bir xil parametrlar va korpus asosida solishtirilganda, PSSA transformerga qaraganda ancha tezroq o'qishi va matn generatsiya qilishi aniqlandi. Shuningdek, model matnni qayta o'qib chiqmasdan, xotira bankidan foydalangani sababli uning xarajatlari ketma-ketlik uzunligiga qarab chiziqli ravishda o'sadi.
Vikipediya ma'lumotlari asosida o'tkazilgan taqqoslashlarda PSSA nafaqat tezroq natija ko'rsatdi, balki yaxshiroq umumlashtirish qobiliyatiga ega ekanligini ham namoyish etdi. Hozirgi bosqichda loyiha ko'proq hisoblash resurslari va kuchliroq GPU qurilmalariga muhtoj bo'lib turibdi.
Asosiy faktlar
- PSSA - transformer bo'lmagan, Rust tilida noldan yozilgan kichik til modeli.
- U matnni tokenma-token o'qiydi va o'z vaznlarining bir qismini ish jarayonida qaytadan yozadi.
- Model bir xil korpusda transformerga qaraganda tezroq o'rganadi va yaxshiroq umumlashtiradi.
- Xarajatlar kontekstni qayta o'qish o'rniga xotiraga murojaat qilgani uchun chiziqli o'sadi.
Nega muhim?
Ushbu loyiha an'anaviy transformer arxitekturalariga muqobil yondashuvlarni izlash muhimligini ko'rsatadi. Resurslarni tejaydigan va samarali ishlaydigan bunday modellar kelgusida muqobil sun'iy intellekt tizimlarini yaratish uchun yangi yo'nalishlarni ochishi mumkin.
Manba
HackerNews (github.com)
“PSSA: A non-transformer language model written from scratch in Rust”
Asl maqolani o'qish → · HackerNews muhokamasiUshbu matn asl maqolaning qisqa mazmuni bo'lib, sun'iy intellekt yordamida o'zbek tilida tayyorlandi. Batafsil ma'lumot va to'liq matn uchun asl manbaga murojaat qiling.
