TurboQuant: енді CPU-да жұмыс істейтін Google-дың AI қысуы
Google TurboQuant-ты таныстырды - үлкен тілдік модельдерге және векторлық іздеуге арналған жаңа кванттау техникасы. Зерттеу AI орналастырудағы ең табанды тар жолдардың біріне соғады: контекст ұзындығына пропорционал өсетін және тарихи түрде командаларды қымбат GPU кластерлеріне қарай мәжбүрлеген KV кешіне. TurboQuant орналасуды өзгертеді. KV кешінің жазбаларын қосымша үйретусіз және дәлдікті жоғалтпай шамамен 3 битке дейін қысу арқылы ол AI инференсін әдеттегі CPU жабдығына - бүгінде стандартты бұлт серверлері жұмыс істеп тұрған сол жабдыққа - жарамды етеді.
TurboQuant қалай жұмыс істейді
TurboQuant - екі бөліктен тұратын жүйе. PolarQuant қысу бойынша негізгі жұмысты өзіне алады және деректердің көп бөлігін алып тастайды. Содан кейін QJL қалған бір биттік қате түзету өтуін орындайды. Бірге олар KV кешін 3 битке дейін кванттауды береді. Қосымша үйрету керек емес, ал стандартты сынақтардағы дәлдік сақталады. Басты байқау - бұл екі әдіс бірін-бірі толықтырады: әрқайсысы екіншісінің қалдық қатесін өтейді, сонда қосындысында теориялық шекке жуық қысу шығады.
QJL: үстеме шығыны жоқ бір биттік тәсіл
QJL Джонсон-Линденштраус түрлендіруін кілттер мен мәндердің көп өлшемді векторларына қолданады. Бұл математикалық түрлендіру нүктелер арасындағы қатысты қашықтықты сақтап деректерді қысатынымен белгілі. QJL әрі кетіп, әр векторды бір таңба битіне түсіреді: өлшемге қосу бір немесе алу бір. Нәтижесінде жад көлемі шектен тыс қысқарады, ал қосымша үстеме шығын жоқ. Зейін бағаларының есебі дәл қалады, себебі таңба битіне жобалау инференс кезінде ең маңызды геометриялық қатынастарды сақтайды.
PolarQuant: қысуға басқа бұрыштан жаңа көзқарас
PolarQuant қысу міндетін геометриялық тұрғыдан қайта тұжырымдайды. Әдеттегі декарт координаттарында жұмыс істеудің орнына ол векторларды полярлық түрге көшіреді: шама ретінде радиус және бағыт ретінде бұрыштар. Бұл кванттау әдістерінің көпшілігіне керек қымбат нормалау қадамын алып тастайды. Полярлық көрініс таза кванттталатын болжамды дөңгелек торға табиғи түседі. Рекурсивті полярлық түрлендірулер толық көп өлшемді векторды бір радиусқа және бұрыштардың ықшам жиынына түсіре алады, сонда бастапқы деректерді бүлдірмей агрессивті қысуға жетеді.
Тәжірибелер және нәтижелер
Google командасы TurboQuant-ты ұзын контексті бірқатар сынақта тексерді: LongBench, Needle-in-Haystack, ZeroSCROLLS, RULER және L-Eval. Тексерілген модельдердің арасында Gemma, Mistral және Llama-3.1-8B-Instruct бар. KV кешіне кететін жад 6 есе және одан көп қысқарды. 4 битке дейін кванттағанда TurboQuant H100 GPU-ларында әдеттегі 32 битке қарағанда сегіз есе жеделдету береді. Векторлық іздеу тапсырмаларында TurboQuant іздеудің толықтығы және сапасы метрикалары бойынша Product Quantization-ды (PQ) да, RaBitQ-ды да басып озады.
CPU-дағы инференс енді продакшенге дайын
Практикалық түйін осы. TurboQuant модельдерді сонша агрессивті қысады, сондықтан CPU-дағы инференс зерттеу көрсетілімдері ғана емес, шынайы продакшен жүктемелеріне жарамды болады. llama.cpp қоғамдастығы бұны тез байқады және іске асыруы бар жұмыс тармақтарын әлдеқашан шығарды:
- https://github.com/elusznik/llama.cpp/tree/turboquant-cpu-tbq-pr
- https://github.com/Aaryan-Kapoor/llama.cpp/tree/turboquant-tq3_0
Бұлт серверлері - DCXV-де қолжетімділері сияқты - енді AI инференсін GPU жабдығы мүлдем болмай орындауға артығымен қабілетті. Егер AI жүктемелерін қымбат GPU даналарынан әдеттегі бұлт машиналарына көшіруге себеп күтіп жүрсеңіз, TurboQuant - осы себеп. Бұлт серверлерінің ағымдағы нұсқаларын https://dcxv.com/data-center#cloud бетінде қараңыз.
Әрі қарай не болады
TurboQuant Gemini масштабындағы модельдерді шыққан сәттен шектеп келген KV кешінің тар жолын алып тастайды. Ол Google-дың өз операциялық масштабында сапалы семантикалық векторлық іздеуді де мүмкін етеді. Сынақтар әдістің осы қысу класына теориялық төменгі шектерге жуық келетінін көрсетеді. AI мүмкіндіктері бағдарламалық өнімдерге тереңірек кірген сайын ұқыпты кванттау зерттеу қызығы емес, базалық инфрақұрылымға айналады. TurboQuant қабілетті AI стандартты сервер иесінің кез келгеніне қолжетімді, әдеттегі жабдықта жұмыс істейтін болашақты көрсетеді.
