[Қытай, Шэньчжэнь, 2023 жылғы 14 шілде] Бүгін Huawei ірі модельдер дәуіріне арналған жаңа AI сақтау шешімін таныстырды, ол негізгі модельдерді оқыту, салалық үлгілерді оқыту және сегменттелген сценарийлерде қорытынды жасау үшін оңтайлы сақтау шешімдерін ұсынады. жаңа AI мүмкіндіктерін ашу.
Кең ауқымды модельдік қосымшаларды әзірлеу және енгізу кезінде кәсіпорындар төрт негізгі мәселеге тап болады:
Біріншіден, деректерді дайындауға қажетті уақыт ұзақ, деректер көздері шашыраңқы және жинақтау баяу, жүздеген терабайт деректерді алдын ала өңдеуге шамамен 10 күн кетеді. Екіншіден, ауқымды мәтін және кескін деректер жиыны бар мультимодальды үлкен үлгілер үшін үлкен шағын файлдар үшін ағымдағы жүктеу жылдамдығы 100 МБ/с-тан аз, бұл жаттығу жиынын жүктеудің төмен тиімділігіне әкеледі. Үшіншіден, үлкен үлгілер үшін жиі параметрлерді түзету, тұрақсыз жаттығу платформаларымен бірге, шамамен әрбір 2 күн сайын жаттығу үзілістерін тудырады, бұл бақылау пункті механизмін жаттығуды қайта бастауды қажет етеді, ал қалпына келтіру бір тәулікке созылады. Соңында, үлкен үлгілер үшін жоғары іске асыру шектері, күрделі жүйені орнату, ресурстарды жоспарлау қиындықтары және GPU ресурстарын пайдалану жиі 40%-дан төмен.
Huawei әртүрлі салалар мен сценарийлерге бейімделген шешімдерді ұсына отырып, ауқымды модельдер дәуіріндегі AI даму үрдісіне сәйкес келеді. Ол OceanStor A310 Deep Learning Data Lake Storage және FusionCube A3000 Training/Inference Superconverged Appliance ұсынады. OceanStor A310 Deep Learning Data Lake Storage базалық және салалық деңгейдегі үлкен модельдік деректер көлінің сценарийлеріне бағытталған, деректерді біріктіруден, алдын ала өңдеуден үлгіні оқытуға дейін және қорытынды қолданбалардан AI деректерін кешенді басқаруға қол жеткізеді. OceanStor A310, бір 5U тірегінде, 400 ГБ/с өткізу қабілеттілігін және 12 миллион IOPS-ке дейінгі салада жетекші қолдайды, 4096 түйінге дейін желілік масштабталады, бұл үздіксіз протоколдар арасындағы байланысты қамтамасыз етеді. Ғаламдық файлдық жүйе (GFS) деректерді біріктіру процестерін оңтайландыра отырып, аймақтар бойынша деректерді интеллектуалды тоқуды жеңілдетеді. Жақын маңдағы есептеулер жақын маңдағы деректерді алдын ала өңдеуді жүзеге асырады, деректер қозғалысын азайтады және алдын ала өңдеу тиімділігін 30%-ға арттырады.
FusionCube A3000 оқыту/түсіндірме суперконвергенді құрылғысы салалық деңгейдегі үлкен үлгіні оқыту/түсіндірме сценарийлеріне арналған, миллиардтаған параметрлері бар үлгілерді қамтитын қолданбаларды қамтамасыз етеді. Ол OceanStor A300 өнімділігі жоғары сақтау түйіндерін, оқыту/қорытынды түйіндерін, коммутация жабдығын, AI платформасының бағдарламалық құралын және басқару және пайдалану бағдарламалық құралын біріктіреді, бұл үлкен модель серіктестеріне бір реттік жеткізу үшін қосу және ойнату қолдану тәжірибесін ұсынады. Қолдануға дайын, оны 2 сағат ішінде орналастыруға болады. Жаттығу/қорытындылау және сақтау түйіндері әртүрлі үлгі масштабының талаптарына сәйкес келу үшін дербес және көлденең кеңейтілуі мүмкін. Сонымен қатар, FusionCube A3000 GPU бөлісу үшін бірнеше модельді оқыту мен қорытынды тапсырмаларын қосу үшін жоғары өнімді контейнерлерді пайдаланады, ресурстарды пайдалануды 40%-дан 70%-ға дейін арттырады. FusionCube A3000 екі икемді бизнес үлгісін қолдайды: Huawei Ascend One-Stop Solution және ашық есептеу, желі және AI платформасының бағдарламалық құралы бар үшінші тарап серіктесінің бір терезе шешімі.
Huawei компаниясының деректерді сақтау өнімдері желісінің президенті Чжоу Юэфэн: «Кең ауқымды модельдер дәуірінде деректер AI интеллектінің биіктігін анықтайды. Деректерді тасымалдаушы ретінде деректерді сақтау AI ауқымды модельдері үшін негізгі іргелі инфрақұрылымға айналады. Huawei Data Storage инновацияларды жалғастырады, AI үлкен үлгілері дәуіріне арналған әртараптандырылған шешімдер мен өнімдерді ұсынып, өнеркәсіптің кең ауқымында AI мүмкіндіктерін кеңейту үшін серіктестермен ынтымақтасады.
Жіберу уақыты: 01 тамыз 2023 ж
