Akamai Inference i Agent Sandbox. Otwarte modele i izolacja agentów AI

Akamai Inference, czyli otwarte modele przez jedno API

Akamai Inference to zarządzana usługa inferencji, czyli uruchamiania gotowych modeli AI na infrastrukturze dostawcy. Interfejs jest zgodny z API OpenAI, dlatego aplikacja napisana pod modele OpenAI może korzystać z modeli w chmurze Akamai po zmianie adresu i klucza. W katalogu są też modele do tworzenia embeddingów, czyli wektorowych reprezentacji tekstu potrzebnych w wyszukiwaniu RAG (retrieval-augmented generation).

Usługa działa na GPU NVIDIA RTX PRO 6000 Blackwell Server Edition oraz na klastrach Blackwell Ultra z ośmioma kartami w węźle i 2,3 TB pamięci HBM3e. Na 2027 rok Akamai zapowiada systemy NVIDIA Vera Rubin. Firma podaje, że jej infrastruktura chmurowa ma już wieloletnie kontrakty o łącznej wartości ponad 14 mld USD, ale nie łączy ich bezpośrednio z nowymi usługami.

Jak działa Agent Sandbox

Agent Sandbox odpowiada na problem, który rośnie wraz z popularnością agentów programistycznych. Agent pisze kod i od razu go wykonuje, a błędny lub zmanipulowany kod może wysłać dane na zewnątrz albo uszkodzić system. Akamai oddziela więc kod generowany przez agenta od samego agenta.

Na stronie produktu firma opisuje dwie warstwy izolacji. Agent działa jako aplikacja Spin w środowisku WebAssembly na platformie Akamai Functions, a generowany przez niego kod uruchamia się w osobnym, ograniczonym środowisku JavaScript lub Python. Spin to projekt open source rozwijany w ramach fundacji CNCF, na którym opiera się cały mechanizm.

• Połączenia wychodzące są domyślnie zablokowane i trzeba je świadomie odblokować.
• Limity mocy obliczeniowej, pamięci i dostępu do funkcji systemowych ustawia administrator, a ani agent, ani jego kod nie mogą ich podnieść.
• Ze środowiska usunięto funkcje, których skutki mogłyby wyjść poza kontrolę.
• Obecna wersja obsługuje agentów działających krokami, z których każdy trwa około minuty. Długo działający agenci z zapisanym stanem mają być obsługiwani później.

Dostępność i koszty

Komunikat prasowy mówi o wersji beta obu usług, a strona Agent Sandbox o wersji tech preview z dostępem na wniosek przez formularz. Akamai nie podał cen ani dla modeli, ani dla sandboxa. Na stronach chmury firma promuje jedynie ogólny kredyt startowy 100 USD, który nie dotyczy wprost nowych usług.

Nie ma też listy regionów z GPU. Akamai podaje, że ma ponad 4350 lokalizacji brzegowych i główne regiony z klastrami GPU i CPU, a Agent Sandbox kieruje zapytania do najbliższej instancji. Firmy z UE, które muszą trzymać dane w określonej lokalizacji, powinny przed testami zapytać o konkretne regiony.

Co to oznacza dla polskich zespołów

W naszej ocenie najciekawszy jest Agent Sandbox. Firmy wdrażające agentów, które wykonują kod, mają dziś do wyboru wyspecjalizowane startupy, takie jak chorwacka Daytona, albo budowę własnej izolacji. Rozwiązanie oparte na otwartym projekcie Spin można przetestować lokalnie przed wdrożeniem w chmurze Akamai.

Akamai Inference wchodzi na zatłoczony rynek usług z otwartymi modelami, na którym działają już m.in. Cloudflare, Vercel i dostawcy wyspecjalizowani. Zgodność z API OpenAI ułatwia porównanie jakości i opóźnień na tych samych zapytaniach. Bez cennika trudno jednak ocenić, czy usługa będzie tańsza od konkurencji.

Ograniczenia i niewiadome

Obie usługi są we wczesnej fazie i mogą się zmienić przed ogólną dostępnością. Akamai nie wymienił klientów testujących usługi ani nie opublikował niezależnych pomiarów opóźnień. Sandbox ogranicza skutki błędów agenta, ale nie zastępuje kontroli uprawnień, przeglądu kodu i monitorowania tego, do jakich danych agent ma dostęp.