AWS je uveo keširanje modela na SageMaker HyperPodu i izmjerio oko 60 odsto brže širenje

Hladan start je najskuplji dio posluživanja velikog modela iza automatskog širenja. Prije nego što odgovori na išta, novi pod preuzima kontejnersku sliku sa ECR-a i težine modela sa S3 ili FSx-a, a kod modela od 145 gigabajta to traje desetinama minuta. Amazon SageMaker HyperPod je sada dobio keširanje modela, koje oba preuzimanja uklanja iz vremena pokretanja. AWS ga je objavio 11. septembra 2026. Dostupno je svim korisnicima u svakom regionu u kojem HyperPod radi.

Dva keša i rezervno rješenje koje ih čini neobaveznim

Keširanje modela ima dva nezavisna dijela. Keš težina čuva težine modela na lokalnom NVMe disku čvora, pa ih pod čita s lokalnog diska umjesto da ih preuzima preko mreže sa S3 ili FSx-a. Keš slike unaprijed povlači kontejnersku sliku na čvorove klastera, pa pod pri pokretanju potpuno preskače preuzimanje sa ECR-a.

Oba keša mogu i da promaše. AWS navodi da pod koji se nađe na čvoru bez pripremljenog keša automatski prelazi na preuzimanje s izvornog mjesta, pa promašaj košta staro vrijeme pokretanja, a ne zaglavljen ili neuspio pod. Mogućnost se uključuje kroz HyperPod Inference Operator, dodavanjem odjeljka modelCacheConfig u resurs InferenceEndpointConfig ili JumpStartModel.

Šta brojke kažu, a šta izostavljaju

AWS objavljuje mjerenja na modelima od 57 do 145 gigabajta: oko 60 odsto brže širenje i smanjenje vremena preuzimanja slike za 97 odsto, čime se uklanja preko dva minuta čekanja. Navodi i da dobitak raste s veličinom modela, što slijedi iz onoga što keš zamjenjuje, jer je preuzimanje srazmjerno veličini težina, a čitanje s lokalnog diska nije.

Objava ne opisuje sam ogled. Ne imenuje modele, ne navodi tipove instanci, nema polazne brojke u sekundama i ne objašnjava kako je hladan čvor razlikovan od pripremljenog, pa je riječ o mjerenju proizvođača, a ne o nezavisnom mjerenju. Cijena se takođe ne pominje, pa se iz objave ne vidi koliko košta držanje težina na lokalnom NVMe disku.

Baza znanja u Bedrocku prestaje da zavisi od transkripcije

Amazon Bedrock Managed Knowledge Base je i ranije umio da pretražuje snimke, tako što bi zvuk i video pretvorio u tekst pa napravio vektorske reprezentacije tog teksta. Model TwelveLabs Marengo 3.0, od istog dana dostupan u toj upravljanoj bazi znanja, umjesto toga u vektorsku reprezentaciju upisuje same vizuelne prizore, govor i signale iz snimka, za šta AWS navodi da hvata značenje do kojeg sama transkripcija ne dopire.

Vektori imaju 512 dimenzija, a rezultat pretrage sadrži vrijeme početka i kraja pronađenog isječka, pa aplikacija može da skoči na taj trenutak umjesto na cijelu datoteku. Podjela snimka na isječke se podešava. AWS tačnost pretrage opisuje kao vrhunsku, ali ne navodi nijedno mjerilo, a u objavi nema ni spiska regiona ni cijena.