Huawei lanson KVarN, backend vLLM për kvantizim të KV‑cache me kapacitet dhe shpejtësi të përmirësuar

Huawei ka prezantuar KVarN, një backend i brendshëm për vLLM që ofron kvantizim të KV‑cache‑s, i projektuar për punë me agjentë dhe kontekste të gjata. Me këtë zgjidhje, kapaciteti i KV‑cache‑s rritet 3‑5 herë, ndërsa përshpejtimi arrin deri në 1.3 herë më shumë se FP16, duke ruajtur saktësinë në nivelin e FP16‑s. KVarN funksionon pa nevojë për kalibrim, thjesht shtoni një flag dhe zgjidhni tipin e të dhënave KV‑cache; asnjë ndryshim në model nuk kërkohet.

Metoda e vjetër e kvantizimit të KV‑cache‑s shpesh kërkon kompromis mes kapacitetit dhe përshpejtimit, dhe reduktimi i bit‑eve mund të dëmtojë saktësinë. KVarN eliminoi këto mangësi: në testet me modelin Qwen3‑32B (AIME25, burst 16K‑kontekst, TP=2) arrin saktësi të barabartë me FP16, përmirëson përshpejtimin dhe ofron rreth 4 herë më shumë kapacitet KV‑cache. Metoda e saj përfshin katër faza – Cache, Rotated Cache, Normalized Cache dhe Quantized Cache – ku rotacioni Hadamard dhe normalizimi iterativ i variancës reduktojnë gabimet e kvantizimit para se të aplikohet rrumbullakësimi asimetrik me bit‑e të ulët.

KVarN vjen si një fork i vLLM (v0.22.0) dhe mund të instalohet në të njëjtën mënyrë. Për momentin, madhësia e bllokut është fikse në 128 tokenë, dhe për të shfrytëzuar plotësisht kapacitetin në sisteme me kujtesë të kufizuar, rekomandohet rregullimi i parametrave të përdorimit të GPU‑s. Konfigurimi i parazgjedhur përdor 4‑bit për çelësat dhe 2‑bit për vlerat, duke garantuar saktësi të lartë dhe përshpejtim mbi FP16. KVarN është i licencuar nën Apache 2.0 dhe përfaqëson implementimin zyrtar të artikullit “KVarN: Variance‑Normalized KV‑Cache Quantization Mitigates Error Accumulation in Reasoning Tasks” (arXiv:2606.03458).