Jak co tydzień cykl AI Decoded przybliża najważniejsze kwestie związane ze sztuczną inteligencją. Tym razem opisano akcelerowaną przez platformę RTX aplikację LM Studio, oferującą unikatową funkcjonalność. Pozwala ona na uruchamianie modeli LLM lokalnie na swoim komputerze, nawet jeśli nie można ich w pełni załadować do pamięci operacyjnej lub VRAM.

Wpływ sztucznej inteligencji na nasze życie i pracę jest coraz większy, a złożoność sieci neuronowych nieustannie rośnie. Z tego względu zwiększa się też zapotrzebowanie na wydajny sprzęt i zoptymalizowane oprogramowanie. LM Studio korzysta z mocy kart graficznych NVIDIA RTX oraz GeForce RTX, aby maksymalnie uprościć i dostosować uruchamianie modeli LLM za pomocą funkcji odciążania procesora graficznego (GPU offloading).

GPU offloading wykorzystuje moc obliczeniową platformy RTX w celu zwiększenia wydajności, nawet jeśli cały model językowy nie mieści się w pamięci karty graficznej. Dane przetwarzane są w mniejszych fragmentach, co pozwala wielkim modelom działać efektywnie w całym ekosystemie RTX, zwiększając szybkość i dostępność AI.

Odciążanie karty graficznej z pomocą offloadingu to niezwykle potężne narzędzie odblokowujące pełny potencjał wielkich modeli językowych, takich jak Gemma-2-27B, zaprojektowanych do działania w centrach danych, aby działały lokalnie na komputerach RTX AI. Funkcja ta powoduje, że złożone modele stają się dostępne na całej gamie komputerów osobistych z kartami graficznymi GeForce RTX oraz NVIDIA RTX.

Więcej informacji na temat aplikacji LM Studio i zaawansowanej sztucznej inteligencji można znaleźć w najnowszym wpisie na blogu AI Decoded.