GPU-серверы в Европе

GPU-серверы для инференса, обучения и рендеринга

GPU-сервер - это выделенная машина с одним или несколькими ускорителями в наших собственных европейских стойках. Вы получаете карту целиком, а не поделённую во времени долю, вместе с CPU, RAM и NVMe, чтобы её кормить, - и именно это обычно определяет реальную пропускную способность.

Доступные карты меняются вместе с поставками, поэтому честным списком является страница конфигурации, а не фиксированная таблица здесь. Что не меняется - это форма: достаточно системной памяти, чтобы удержать модель во время загрузки, NVMe достаточно быстрый, чтобы загрузка данных не стала узким местом, и сетевой порт, через который пройдёт набор данных.

Какие размеры моделей помещаются на какую карту

Практическое ограничение - VRAM. Модель на 7 миллиардов параметров, квантованная до 4 бит, свободно помещается на карте 16 ГБ и оставляет место для полезного окна контекста; 13B хочет 24 ГБ; модель 70B при той же квантизации требует примерно 40-48 ГБ или двух карт. Обслуживание в полной 16-битной точности примерно удваивает каждое из этих чисел.

Если модель не помещается, ответ - квантизация, модель поменьше или ещё одна карта, а не выгрузка в системную память, которая превращает интерактивного помощника в пакетную задачу.

AI Решение

Инференс или обучение - им нужны разные машины

Инференс чувствителен к задержкам и ограничен в основном VRAM и пропускной способностью памяти: одна карта, достаточно большая, и короткий путь до клиента. Он работает непрерывно, поэтому машина с помесячной оплатой - более дешёвое решение.

Обучение и дообучение ограничены пропускной способностью и приходят всплесками. Им нужно больше карт, значительно больше системной памяти и NVMe, достаточный для набора данных. Если работа нерегулярная, берите размер под пик и возвращайте машину, вместо того чтобы платить за простаивающий кремний.

Приватный ИИ, и где лежат данные

Причина, по которой большинство наших GPU-клиентов здесь, - не цена. А то, что модель, работающая на машине, которую вы арендуете в Праге или Ковильяне, не отправляет запросы третьей стороне, не обучает чужую модель на ваших документах и находится в юрисдикции, которую вы можете назвать в договоре об обработке данных.

Это важно для всего, что касается клиентских записей, договоров, медицинских или финансовых данных, - для нагрузок, где публичный API инференса является проблемой соответствия ещё до того, как становится технической.

AI Решение

Локации и как получить сервер

GPU-машины физические и собираются под заказ, поэтому срок дольше, чем у облачного сервера: скажите поддержке, какую модель собираетесь обслуживать и с какой параллельностью, и вам назовут наименьшую карту, которая с этим справится, а не самую большую на складе.

Обе площадки Tier III могут их разместить, и выбор идёт за вашими пользователями так же, как для любого другого сервера.