Użytkownicy najnowszej odsłony aplikacji LM Studio 0.3.15 zyskują większą wydajność oraz szybsze ładowanie modeli dzięki dodanemu wsparciu kart graficznych NVIDIA GeForce RTX serii 50, wykorzystaniu bibliotek CUDA 12.8 i głębokiej integracji z llama.cpp, biblioteką open-source umożliwiającą lokalne uruchamianie modeli językowych na różnych platformach sprzętowych.

Wraz z rosnącą liczbą zastosowań AI, od prostych eksperymentów nad tekstami po tworzenie dedykowanych agentów, twórcy i entuzjaści szukają szybszych, bardziej elastycznych sposobów na uruchamianie dużych modeli językowych (LLM). Uruchamianie modeli lokalnie na komputerach z kartami graficznymi NVIDIA GeForce RTX umożliwia wydajne wnioskowanie, zwiększoną ochronę danych i pełną kontrolę nad wdrażaniem oraz integracją AI. Bezpłatneg narządzie LM Studio sprawia, że jest to możliwe, dając użytkownikom prosty sposób na eksplorację i budowanie projektów AI lokalnie na własnym sprzęcie.

LM Studio zostało stworzone z myślą o swobodzie użytkowania. Sprawdza się zarówno w spontanicznych działaniach, jak i pełnej integracji z niestandardowymi procesami. Użytkownicy mogą wchodzić w interakcję z modelami poprzez interfejs czatu na pulpicie lub włączyć tryb deweloperski, aby korzystać z punktów końcowych API zgodnych z OpenAI. Dzięki temu łatwo połączą lokalne modele LLM z aplikacjami, takimi jak Obsidian czy VS Code lub niestandardowymi agentami desktopowymi, zyskując szybsze odpowiedzi, sprawniejsze interakcje i pełną kontrolę nad swoimi projektami AI.

Aktualizacja wprowadza także nowe funkcje dla twórców oprogramowania. W tym bardziej precyzyjną kontrolę narzędzi dzięki parametrowi „tool choice” oraz zaktualizowany edytor systemowych promptów, ułatwiający dostosowywanie i skalowanie lokalnych procesów AI przy jednoczesnym zachowaniu prywatności i przechowywaniu danych na lokalnym urządzeniu.