NVIDIA wyjaśnia w ramach cyklu RTX AI Garage, w jaki sposób miłośnicy sztucznej inteligencji wykorzystują popularne aplikacje takie jak Langflow, wizualną platformę typu low-code do projektowania własnych procesów, do łączenia generatywnych modeli AI.

Dzięki natywnej integracji z oprogramowaniem Ollama użytkownicy mogą teraz tworzyć lokalne procesy AI i uruchamiać je bezpłatnie oraz z zachowaniem pełnej prywatności, korzystając z kart graficznych NVIDIA GeForce RTX oraz RTX PRO.

Langflow może uruchamiać modele językowe z chmury lub lokalnie z pełną akceleracją kart graficznych RTX poprzez interfejs Ollama. Lokalne uruchamianie procesów zapewnia wiele kluczowych korzyści:

• prywatność danych: dane wejściowe, pliki i prompty pozostają na urządzeniu,
• niskie koszty i brak kluczy API: ponieważ dostęp do interfejsu programowania aplikacji w chmurze nie jest wymagany, nie ma ograniczeń dotyczących tokenów, subskrypcji usług ani kosztów związanych z uruchamianiem modeli AI,
• wydajność: karty graficzne RTX umożliwiają wnioskowanie z niskim opóźnieniem i wysoką przepustowością, nawet w przypadku długich okien kontekstowych,
• funkcjonalność offline: lokalne procesy AI są dostępne bez internetu.

Użytkownicy mogą teraz także sterować komputerami z kartami RTX za pomocą Project G-Assist w Langflow.

NVIDIA Project G-Assist to eksperymentalny asystent AI działający lokalnie na komputerach z kartami GeForce RTX. Umożliwia użytkownikom sprawdzanie informacji o systemie czy dostosowywanie ustawień systemowych. Wszystko to za pomocą prostych poleceń.

Dzięki komponentowi G-Assist w Langflow funkcje te można wbudować we własne procesy pracy agentów. Użytkownicy mogą poprosić G-Assist o „sprawdzenie temperatury karty graficznej” lub „dostosowanie prędkości wentylatorów”, a jego odpowiedź i działania będą przepływać przez łańcuch komponentów.

Więcej informacji w artykule na stronie https://blogs.nvidia.com/blog/rtx-ai-garage-langflow-agents-remix/.