[Кытай, Шэньчжэнь, 2023-жыл, 14-июль] Бүгүн, Huawei ири масштабдуу моделдер доору үчүн жаңы AI сактоо чечимин чыгарды, ал негизги моделдерди окутуу, тармактык моделди окутуу жана сегменттелген сценарийлерде жыйынтык чыгаруу үчүн оптималдуу сактоо чечимдерин камсыз кылды. жаңы AI мүмкүнчүлүктөрүн ачуу.
Ири масштабдуу моделдик тиркемелерди иштеп чыгууда жана ишке ашырууда ишканалар төрт негизги көйгөйгө туш болушат:
Биринчиден, маалыматтарды даярдоо үчүн талап кылынган убакыт узун, маалымат булактары чачыранды жана топтоо жай, жүздөгөн терабайт маалыматтарды алдын ала иштетүү үчүн 10 күн талап кылынат. Экинчиден, массалык текст жана сүрөт берилиштер топтому бар мультимодалдык чоң моделдер үчүн, масштабдуу кичинекей файлдар үчүн учурдагы жүктөө ылдамдыгы 100 МБ/секден аз, натыйжада окутуу топтомун жүктөөнүн натыйжалуулугу төмөн. Үчүнчүдөн, чоң моделдер үчүн параметрди тез-тез тууралоо, туруксуз машыгуу платформалары менен бирге, болжол менен ар 2 күндө окуу үзгүлтүккө учурашын пайда кылат, бул текшерүү пунктунун механизмин машыгууну кайра баштоону талап кылат, калыбына келтирүү бир суткага созулат. Акырында, чоң моделдер үчүн жогорку ишке ашыруу босоголору, татаал системаны орнотуу, ресурстарды пландаштыруу көйгөйлөрү жана GPU ресурстарын пайдалануу көбүнчө 40% дан төмөн.
Huawei ар кандай тармактарга жана сценарийлерге ылайыкталган чечимдерди сунуштап, масштабдуу моделдердин доорунда AI өнүгүү тенденциясына шайкеш келүүдө. Ал OceanStor A310 Deep Learning Data Lake Storage жана FusionCube A3000 Training/Inference Super Converged Appliance менен тааныштырат. OceanStor A310 Deep Learning Data Lake Storage базалык жана тармактык деңгээлдеги чоң үлгүдөгү маалымат көлүнүн сценарийлерин көздөйт, маалыматтарды бириктирүүдөн, алдын ала иштеп чыгуудан моделди окутууга жана тыянак чыгарууга чейин комплекстүү AI маалыматтарын башкарууга жетишет. OceanStor A310, бир 5U стеллажында, тармактагы алдыңкы 400 ГБ/сек өткөрүү жөндөмдүүлүгүн жана 12 миллион IOPSке чейин колдойт, сызыктуу масштабдуулугу 4096 түйүнгө чейин, протоколдор аралык үзгүлтүксүз байланышты камсыз кылат. Глобалдык файл системасы (GFS) маалыматтарды топтоо процесстерин иретке келтирип, аймактар боюнча интеллектуалдык маалыматтарды токууну шарттайт. Жакынкы сактагычтагы эсептөөлөр жакынкы маалыматтарды алдын ала иштетүүнү ишке ашырат, маалыматтардын кыймылын азайтат жана алдын ала иштетүүнүн натыйжалуулугун 30% га жогорулатат.
FusionCube A3000 Training/Inference Super Converged Appliance, өнөр жай деңгээлиндеги чоң моделди окутуу/чыгарма сценарийлери үчүн иштелип чыккан, миллиарддаган параметрлери бар моделдерди камтыган колдонмолорго жооп берет. Ал OceanStor A300 жогорку өндүрүмдүү сактоо түйүндөрүн, окутуу/чыгарма түйүндөрүн, коммутациялык жабдууларды, AI платформасынын программасын жана башкаруу жана операциялык программалык камсыздоону бириктирип, ири моделдик өнөктөштөргө бир жолу жеткирүү үчүн плагин жана ойноо жайылтуу тажрыйбасы менен камсыз кылат. Колдонууга даяр, аны 2 сааттын ичинде жайгаштырууга болот. Окутуучу/жыйынтыктоо жана сактоо түйүндөрү ар кандай масштабдагы талаптарга дал келүү үчүн өз алдынча жана горизонталдуу түрдө кеңейтилиши мүмкүн. Ошол эле учурда, FusionCube A3000 GPUларды бөлүшүү үчүн бир нече моделдик окутуу жана тыянак тапшырмаларын иштетүү үчүн жогорку өндүрүмдүүлүктөгү контейнерлерди колдонот, бул ресурстарды колдонууну 40% дан 70% га чейин жогорулатат. FusionCube A3000 эки ийкемдүү бизнес моделин колдойт: Huawei Ascend One-Stop Solution жана ачык эсептөө, тармактык жана AI платформа программасы менен үчүнчү тараптын өнөктөш бирдиктүү бирдиктүү чечими.
Huawei компаниясынын Маалыматтарды сактоо продуктулар линиясынын президенти Чжоу Юэфэн мындай деп билдирди: “Чоң масштабдуу моделдердин доорунда маалыматтар AI интеллектинин бийиктигин аныктайт. Маалыматтарды алып жүрүүчү катары маалыматтарды сактоо AI масштабдуу моделдери үчүн негизги фундаменталдык инфраструктура болуп калат. Huawei Data Storage инновацияларды улантат, AI чоң моделдеринин доору үчүн диверсификацияланган чечимдерди жана өнүмдөрдү сунуштайт, AIнын кеңири спектрин кеңейтүү үчүн өнөктөштөр менен кызматташат.
Посттун убактысы: 01-август-2023
