AI, машиналық оқыту және рендерингке арналған NVIDIA GPU серверлері Tier III ЕО дата-орталықтарында
Тек Брендті Жабдық, Толық Бақылау, Трафик Шектеулерісіз, Күтпеген Жайттарсыз!
ЕО локацияларында 99.9% аптайм кепілдігімен корпоративтік инфрақұрылым
Серверлеріңіз бен ресурстарыңызды күндер емес, сағаттар ішінде онлайн алыңыз. Орнату комиссиясыз
Барлық деректер еуропалық дата-орталықтарда сақталатын GDPR-мен үйлесімді операциялар
GPU сервер - біздің еуропалық сөрелеріміздегі бір немесе бірнеше үдеткіші бар бөлінген машина. Сіз картаны толығымен аласыз - уақыт бойынша бөлінген үлесін емес - оны қоректендіруге қажет CPU, RAM және NVMe-мен бірге, ал нақты өткізу қабілетін әдетте дәл осы шешеді.
Ұсынылатын карталар жеткізілімге қарай өзгереді, сондықтан адал тізім - конфигурация беті, мұндағы қатып қалған кесте емес. Өзгермейтіні - пішіні: модельді жүктеу кезінде ұстап тұруға жеткілікті жүйелік жад, деректерді жүктеу тар жол болмайтындай жылдам NVMe және деректер жинағы өтетін желілік порт.
Практикалық шектеу - VRAM. 4 битке кванттталған 7 миллиард параметрлі модель 16 ГБ картаға еркін сыяды және пайдалы контекст терезесіне орын қалдырады; 13B үшін 24 ГБ керек; сол кванттаудағы 70B моделі шамамен 40-48 ГБ немесе екі картаны талап етеді. Толық 16 биттік дәлдікте қызмет көрсету бұл сандардың әрқайсысын шамамен екі есе арттырады.
Модель сыймаса, жауап - кванттау, кішірек модель немесе тағы бір карта, ал жүйелік жадқа шығару емес: ол интерактивті көмекшіні пакеттік тапсырмаға айналдырады.
Жоғары өткізу қабілетімен қызмет көрсетуге және OpenAI-мен үйлесімді эндпоинтке арналған vLLM, ыңғайлылық секундтағы шыңдық токендерден маңыздырақ болғанда Ollama, ең кіші ізге llama.cpp және кез келген өзіндік жұмысқа тікелей PyTorch. Олардың бәрі кез келген Ubuntu машинасындағыдай орнатылады, өйткені бұл дәл сол.
Инференс кідіріске сезімтал және негізінен VRAM мен жад өткізу қабілетімен шектеледі: бір карта, жеткілікті үлкен, және клиентке қысқа жол. Ол үздіксіз жұмыс істейді, сондықтан айлық машина арзанырақ шешім.
Оқыту мен қосымша баптау өткізу қабілетімен шектеледі және толқындап келеді. Оларға көбірек карта, әлдеқайда көп жүйелік жад және деректер жинағына жететін NVMe керек. Жұмыс анда-санда болса, шыңға қарай өлшем алыңыз да, бос тұрған кремний үшін төлеудің орнына машинаны қайтарыңыз.
GPU клиенттеріміздің көбі мұнда болуының себебі - баға емес. Себебі Прага немесе Ковильянда жалдаған машинада жұмыс істейтін модель сұрауларды үшінші тарапқа жібермейді, сіздің құжаттарыңызбен басқа біреудің моделін оқытпайды және деректерді өңдеу шартында атай алатын заң аясында тұрады.
Бұл клиент жазбаларына, келісімшарттарға, медициналық немесе қаржылық деректерге қатысты бәрі үшін маңызды - көпшілікке ашық инференс API-і техникалық мәселе болмас бұрын сәйкестік мәселесі болатын жүктемелер үшін.
GPU машиналар физикалық және тапсырыс бойынша құрастырылады, сондықтан мерзімі бұлттық серверге қарағанда ұзағырақ: қолдау қызметіне қандай модельді және қандай қатарлас жүктемемен ұсынатыныңызды айтыңыз, олар қоймадағы ең үлкенін емес, соны игеретін ең кіші картаны атайды.
Екі Tier III алаңы да оларды орналастыра алады, ал таңдау кез келген басқа сервердегідей пайдаланушыларыңыздың артынан жүреді.
Жиі қойылатын сұрақтар
Картаны толығымен. GPU сервер - үдеткіші жалғанған бөлінген машина, оны қоректендіруге қажет CPU, RAM және NVMe-мен бірге, ал нақты өткізу қабілетін әдетте картаның өзі емес, дәл осы шешеді
Шектеу - VRAM. 4 битке кванттталған 7 миллиард параметрлі модель 16 ГБ-қа еркін сыяды және пайдалы контекст терезесіне орын қалдырады, 13B үшін 24 ГБ керек, ал сол кванттаудағы 70B моделі шамамен 40-48 ГБ немесе екі картаны талап етеді. Толық 16 биттік дәлдікте қызмет көрсету әр санды шамамен екі есе арттырады
NVIDIA драйверлерімен Ubuntu-да жұмыс істейтін кез келгені: жоғары өткізу қабілетімен қызмет көрсетуге және OpenAI-мен үйлесімді эндпоинтке арналған vLLM, ыңғайлылық шыңдық өткізу қабілетінен маңыздырақ болғанда Ollama, ең кіші ізге llama.cpp немесе өзіндік жұмысқа тікелей PyTorch
Оларға әртүрлі машина керек. Инференс кідіріспен және негізінен VRAM-мен шектеледі, сондықтан үздіксіз жұмыс істейтін жеткілікті үлкен карта арзанырақ шешім. Оқыту мен қосымша баптау өткізу қабілетімен шектеледі және толқындап келеді: көбірек карта, әлдеқайда көп жүйелік жад және деректер жинағына жететін NVMe
Ешқайда. Модель Прага немесе Ковильянда жалдаған машинаңызда жұмыс істейді: сұраулар үшінші тарапқа жіберілмейді, ештеңе басқа біреудің моделін оқытуға пайдаланылмайды, ал заң аясы - деректерді өңдеу шартында атай алатыныңыз
Бұлттық серверге қарағанда ұзағырақ, өйткені машина физикалық және тапсырыс бойынша құрастырылады. Қолдау қызметіне қандай модельді ұсынатыныңызды және қандай қатарластықты күтетіңізді айтыңыз, олар қоймадағы ең үлкенін емес, соны игеретін ең кіші картаны таңдайды
Егер сізге көмек қажет болса немесе қосымша сұрақтарыңыз болса, менеджерлерге хабарласыңыз немесе қолдау қызметіне келесі мекенжай бойынша жазыңыз support@dcxv.com
