Neuron Sun'iy intellekt modeli hajmi: 100KB dan 2.5TB gacha bo'lgan spektr
Sun'iy intellekt olamida ulkan modellarga e'tibor qaratilayotgan bir paytda, mutaxassislar 100KB dan 2.5TB gacha bo'lgan butun spektrni o'rganib chiqdi.
Hozirgi vaqtda sun'iy intellekt sohasi ko'pincha yirik ma'lumotlar markazlari klasterlari va qimmatbaho resurslarga tayanmoqda. Biroq, ko'plab vazifalar uchun bunday ulkan quvvatlar talab etilmasligi va AI ekotizimi aslida keng spektrdan iboratligi aniqlandi.
Eng kichik darajadagi TinyML modellari mikrokontrollerlarda ishlaydi va atigi kilohertz protsessorlaridan foydalanadi. Ular batareya quvvati bilan ishlaydigan qurilmalarda sensor anomaliyalari yoki so'zlarni aniqlash kabi vazifalarni bajarishga qodir.
Mahalliy darajadagi o'rtacha modellar ko'pchilik dasturchilar uchun qulay hisoblanadi. 7 mlrd dan 35 mlrd parametrgacha bo'lgan bunday modellarni oddiy shaxsiy kompyuterlar yoki iste'molchi GPU'larida ishlatish mumkin.
Eng yuqori cho'qqidagi gigant modellar esa maxsus infratuzilma va minglab vatt quvvat sarflaydigan server stendlarini talab qiladi. Ushbu tizimlarni ishga tushirish uchun maxsus akseleratorlar zarur bo'ladi.
Asosiy faktlar
- TinyML modellari 100KB hajmda bo'lib, mikroprotsessorlarda ishlaydi.
- Mahalliy modellar uchun 4GB dan 40GB gacha xotira talab qilinadi.
- Eng yirik Mixture of Experts modellari 2.5TB hajmga ega.
- VRAM xotirasi mahalliy qurilmalarda asosiy cheklovchi omil hisoblanadi.
Nega muhim?
Ushbu ma'lumotlar dasturchilar va kompaniyalarga o'z ehtiyojlari uchun to'g'ri apparat ta'minotini tanlashga yordam beradi. O'zbekistondagi mutaxassislar ham ortiqcha xarajatlarsiz samarali mahalliy sun'iy intellekt yechimlarini yaratish imkoniyatlarini baholashlari mumkin.
Manba
r/artificial (reddit.com)
“Everyone is obsessed with trillion-parameter models, so I mapped out the entire AI spectrum from 100KB to 2.5TB (and what they actually cost to run)”
Asl maqolani o'qish →Ushbu matn asl maqolaning qisqa mazmuni bo'lib, sun'iy intellekt yordamida o'zbek tilida tayyorlandi. Batafsil ma'lumot va to'liq matn uchun asl manbaga murojaat qiling.
