Neuron Hugging Face Olmo-core 3 framework tizimini taqdim etdi
Hugging Face kompaniyasi yirik sun'iy intellekt modellarini o'qitish uchun mo'ljallangan Olmo-core 3 yangi ochiq infratuzilmasini e'lon qildi.
Yangi Olmo-core 3 tizimi sun'iy intellekt modellarini o'qitishda trilyonlab parametrlarga yetishni ta'minlaydi. U hisoblash samaradorligini saqlab qolgan holda, aralash ekspertlar yondashuvidan foydalanadi.
Tizimda eski FSDP usulidan farqli ravishda, taqsimlangan ma'lumotlar parallelligi qo'llanildi. Bu ekspertlarni GPU xotirasida saqlab qolish va takroriy vazn yig'ish jarayonini chetlab o'tish imkonini beradi.
Benchmark sinovlarida o'tkazuvchanlik avvalgi versiyaga nisbatan bir necha barobar oshgani aniqlandi. Shuningdek, MXFP8 formatidan foydalanish xotira sarfini kamaytirib, tezlikni oshirdi.
Asosiy faktlar
- Olmo-core 3 framework tizimining yangi versiyasi taqdim etildi.
- Infratuzilma moel parametrlarini trilyonlab miqyosgacha kengaytirishga mo'ljallangan.
- Test sinovlarida 47 milliard parametrli model uchun o'tkazuvchanlik sezilarli darajada oshdi.
- Tizim MXFP8 past aniqlikdagi raqam formatini qo'llab-quvvatlaydi.
Nega muhim?
Ochiq kodli sun'iy intellekt infratuzilmalarining rivojlanishi tadqiqotchilar va kichik laboratoriyalarga ilg'or modellarni yaratish imkoniyatini kengaytiradi. Bu O'zbekistondagi dasturchilar va tadqiqotchilar uchun ham zamonaviy texnologiyalardan foydalanishda muhim ahamiyat kasb etadi.
Manba
Hugging Face (huggingface.co)
“Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEs”
Asl maqolani o'qish →Ushbu matn asl maqolaning qisqa mazmuni bo'lib, sun'iy intellekt yordamida o'zbek tilida tayyorlandi. Batafsil ma'lumot va to'liq matn uchun asl manbaga murojaat qiling.
