Технологиялық компаниялар графикалық процессорлар үшін күресіп жатыр немесе оларды сатып алу жолында деп айтылды. Сәуір айында Tesla бас директоры Илон Маск 10 000 GPU сатып алды және компания NVIDIA-дан GPU-лардың көп мөлшерін сатып алуды жалғастыратынын мәлімдеді. Кәсіпорын тарапынан АТ қызметкерлері де инвестициядан түсетін табысты арттыру үшін графикалық процессорлардың үнемі пайдаланылуын қамтамасыз ету үшін көп күш салуда. Дегенмен, кейбір компаниялар GPU саны көбейгенімен, GPU бос тұруы қиындай түсетінін анықтауы мүмкін.
Егер тарих бізге өнімділігі жоғары есептеулер (HPC) туралы бірдеңе үйретсе, бұл сақтау және желіні есептеуге тым көп көңіл бөлу есебінен құрбан етуге болмайды. Егер сізде әлемдегі ең көп графикалық процессорлар болса да, жад деректерді есептеу бірліктеріне тиімді тасымалдай алмаса, сіз оңтайлы тиімділікке қол жеткізе алмайсыз.
Small World Big Data сарапшысы Майк Матчетттің айтуынша, кішірек үлгілерді жадта (RAM) орындауға болады, бұл есептеулерге көбірек көңіл бөлуге мүмкіндік береді. Дегенмен, миллиардтаған түйіндері бар ChatGPT сияқты үлкенірек үлгілерді жоғары құнына байланысты жадта сақтау мүмкін емес.
«Сіз миллиардтаған түйіндерді жадқа сыйдыра алмайсыз, сондықтан сақтау орны одан да маңыздырақ болады», - дейді Матчетт. Өкінішке орай, жоспарлау процесінде деректерді сақтау жиі назардан тыс қалады.
Жалпы алғанда, пайдалану жағдайына қарамастан, модельді оқыту процесінде төрт ортақ нүкте бар:
1. Үлгілік оқыту
2. Қорытынды қолдану
3. Деректерді сақтау
4. Жеделдетілген есептеулер
Үлгілерді жасау және орналастыру кезінде талаптардың көпшілігі модельді оқытуды бастау үшін тұжырымдаманы жылдам дәлелдеуге (POC) немесе тестілеу орталарына басымдық береді, бұл ретте деректерді сақтау қажеттілігіне аса мән берілмейді.
Дегенмен, қиындық оқыту немесе қорытынды шығару айларға немесе тіпті жылдарға созылуы мүмкін. Көптеген компаниялар осы уақыт ішінде үлгі өлшемдерін жылдам ұлғайтады және өсіп келе жатқан үлгілер мен деректер жиынын орналастыру үшін инфрақұрылым кеңейтілуі керек.
Миллиондаған ML оқу жүктемелері бойынша Google жүргізген зерттеулер оқу уақытының орта есеппен 30% кіріс деректер құбырына жұмсалатынын көрсетеді. Өткен зерттеулер оқуды жылдамдату үшін графикалық процессорларды оңтайландыруға бағытталғанымен, деректер құбырының әртүрлі бөліктерін оңтайландыруда әлі де көптеген қиындықтар бар. Сізде айтарлықтай есептеу қуаты болған кезде, нәтижелерді алу үшін деректерді есептеулерге қаншалықты жылдам жіберуге болатындығы нақты қиыншылыққа айналады.
Атап айтқанда, деректерді сақтау және басқарудағы қиындықтар деректердің өсуін жоспарлауды талап етеді, бұл сізге прогресс кезінде деректердің құндылығын үздіксіз алуға мүмкіндік береді, әсіресе терең оқыту және нейрондық желілер сияқты жоғарырақ талаптарды қоятын пайдалану жағдайларына кіріскенде. сыйымдылық, өнімділік және масштабтау тұрғысынан сақтау.
Сондай-ақ:
Масштабтау мүмкіндігі
Машиналық оқыту деректердің үлкен көлемін өңдеуді талап етеді және деректер көлемі ұлғайған сайын үлгілердің дәлдігі де жақсарады. Бұл бизнес күн сайын көбірек деректерді жинауы және сақтауы керек дегенді білдіреді. Сақтау ауқымын кеңейте алмаған кезде, деректерді қажет ететін жұмыс жүктемелері кедергілер тудырады, өнімділікті шектейді және қымбат GPU бос тұру уақытына әкеледі.
Икемділік
Бірнеше протоколдарға (соның ішінде NFS, SMB, HTTP, FTP, HDFS және S3) икемді қолдау ортаның бір түрімен шектелмей, әртүрлі жүйелердің қажеттіліктерін қанағаттандыру үшін қажет.
Кешігу
Енгізу/шығару кідірісі деректер бірнеше рет оқылатын және қайта оқылатындықтан үлгілерді құру және пайдалану үшін өте маңызды. Енгізу/шығару кідірісін азайту үлгілердің жаттығу уақытын күндерге немесе айларға қысқартуы мүмкін. Модельді жылдам әзірлеу бизнестің үлкен артықшылықтарын тікелей аударады.
Өткізу қабілеті
Сақтау жүйелерінің өткізу қабілеті модельдерді тиімді оқыту үшін өте маңызды. Жаттығу процестері деректердің үлкен көлемін қамтиды, әдетте сағатына терабайт.
Параллельді қатынас
Жоғары өнімділікке қол жеткізу үшін оқыту үлгілері әрекеттерді бірнеше параллель тапсырмаларға бөледі. Бұл көбінесе машиналық оқыту алгоритмдері бірдей файлдарға бірнеше процестерден (бірнеше физикалық серверлерде ықтимал) бір уақытта қол жеткізетінін білдіреді. Сақтау жүйесі өнімділікке нұқсан келтірместен бір мезгілде сұраныстарды орындауы керек.
Төмен кідіріс, жоғары өткізу қабілеті және кең ауқымды параллель енгізу/шығарудағы керемет мүмкіндіктерімен Dell PowerScale графикалық процессормен жеделдетілген есептеулерге тамаша жад қосымшасы болып табылады. PowerScale көп терабайттық деректер жиынын үйрететін және сынайтын талдау үлгілері үшін қажетті уақытты тиімді қысқартады. PowerScale толық флэш жадында өткізу қабілеті 18 есе артады, енгізу/шығару кедергілерін жояды және құрылымдалмаған деректердің үлкен көлемінің мәнін жылдамдату және құлпын ашу үшін бар Isilon кластерлеріне қосуға болады.
Сонымен қатар, PowerScale бағдарламасының көп протоколды қол жеткізу мүмкіндіктері жұмыс жүктемелерін іске қосу үшін шектеусіз икемділікті қамтамасыз етеді, бұл деректерді бір протоколды пайдаланып сақтауға және басқа протокол арқылы қол жеткізуге мүмкіндік береді. Атап айтқанда, PowerScale платформасының қуатты мүмкіндіктері, икемділігі, ауқымдылығы және кәсіпорын деңгейіндегі функционалдығы келесі мәселелерді шешуге көмектеседі:
- Модельді оқыту циклін қысқарта отырып, инновацияны 2,7 есеге дейін жеделдету.
- Енгізу/шығару кедергілерін жойып, үлгіні тезірек оқытуды және тексеруді, үлгі дәлдігін жоғарылатуды, деректер ғылымының өнімділігін арттыруды және кәсіпорын деңгейіндегі мүмкіндіктерді, жоғары өнімділікті, параллельділік пен ауқымдылықты пайдалану арқылы есептеу инвестицияларынан максималды табысты қамтамасыз етіңіз. Бір кластерде 119 PB дейін тиімді сақтау сыйымдылығын пайдалану арқылы тереңірек, жоғары ажыратымдылығы бар деректер жинақтары арқылы үлгі дәлдігін арттырыңыз.
- Шағын және дербес масштабталатын есептеу мен сақтауды бастау, сенімді деректерді қорғау және қауіпсіздік опцияларын ұсыну арқылы масштабта орналастыруға қол жеткізіңіз.
- Тезірек, төмен тәуекелді орналастыру үшін жергілікті аналитика және алдын ала расталған шешімдер арқылы деректер ғылымының өнімділігін арттырыңыз.
- NVIDIA GPU жеделдету және NVIDIA DGX жүйелерімен анықтамалық архитектураларды қоса алғанда, ең озық технологияларға негізделген дәлелденген конструкцияларды пайдалану. PowerScale жоғары өнімділігі мен параллельділігі деректерді жинау мен дайындаудан бастап модельді оқыту мен қорытынды жасауға дейін машиналық оқытудың әрбір кезеңінде сақтау өнімділігі талаптарына жауап береді. OneFS операциялық жүйесімен бірге барлық түйіндер өнімділікті басқару, деректерді басқару, қауіпсіздік және деректерді қорғау сияқты кәсіпорын деңгейіндегі мүмкіндіктері бар OneFS басқаратын бір кластер ішінде үздіксіз жұмыс істей алады, бұл бизнес үшін үлгіні оқыту мен тексеруді тезірек аяқтауға мүмкіндік береді.
Жіберу уақыты: 03 шілде 2023 ж
