NVIDIA ogłosiła współpracę z OpenAI w celu udostępnienia użytkownikom nowej rodziny otwartych modeli językowych gpt-oss. Dzięki temu najnowocześniejsza sztuczna inteligencja, która kiedyś była dostępna wyłącznie w chmurowych centrach danych, może działać z niesamowitą prędkością na komputerach i stacjach roboczych wyposażonych w karty graficzne RTX.

Wprowadzenie na rynek tych modeli zapowiada nadejście nowej generacji szybszej i inteligentniejszej AI wbudowanej w urządzenia, wspomaganej mocą kart graficznych GeForce RTX i RTX PRO. Dostępne są dwa warianty, zaprojektowane z myślą o całym ekosystemie:

• model gpt-oss-20b jest zoptymalizowany pod kątem maksymalnej wydajności na kartach z co najmniej 16 GB pamięci VRAM, zapewniając do 250 tokenów na sekundę na karcie graficznej GeForce RTX 5090,
• większy model gpt-oss-120b jest obsługiwany na profesjonalnych stacjach roboczych akcelerowanych przez karty graficzne NVIDIA RTX PRO.

Modele wytrenowane na układach graficznych NVIDIA H100, jako pierwsze na świecie obsługują precyzję MXFP4 na kartach graficznych RTX, technikę, która zwiększa jakość i dokładność modelu bez wzrostu kosztów wydajności w porównaniu ze starszymi metodami. Oba modele obsługują do 131 072 długości kontekstu, co stanowi jedną z najdłuższych wartości dostępnych we wnioskowaniu lokalnym. Zostały one zbudowane w oparciu o elastyczną architekturę „mieszanka ekspertów” (MoE), oferującą funkcje łańcucha myśli (CoT) oraz obsługę wykonywania poleceń i używania narzędzi.

W ramach cyklu RTX AI Garage NVIDIA zaprezentowała, w jaki sposób entuzjaści AI i programiści mogą rozpocząć pracę z nowymi modelami OpenAI na kartach graficznych RTX:

• aplikacja Ollama – najłatwiejszym sposobem przetestowania tych modeli jest nowa aplikacja Ollama. Jej interfejs zawiera gotowe wsparcie dla modeli gpt-oss, które są w pełni zoptymalizowane pod kątem kart graficznych RTX.
• Llama.cpp – NVIDIA współpracuje ze społecznością związaną z oprogramowaniem open source w celu optymalizacji wydajności kart graficznych RTX, a wśród najnowszych projektów znalazły się CUDA Graphs, które zmniejszają obciążenie całego systemu. Programiści mogą rozpocząć pracę w repozytorium Llama.cpp na GitHub.
• Microsoft AI Foundry – programiści dla systemu Windows mogą uzyskać dostęp do modeli za pośrednictwem Microsoft AI Foundry Local (w wersji zapoznawczej). Wystarczy uruchomić polecenie „Foundry model run gpt-oss-20b” w terminalu.

Założyciel i dyrektor generalny firmy NVIDIA, Jensen Huang, podkreślił znaczenie tej premiery:

OpenAI pokazało światu, co można zbudować w oparciu o sztuczną inteligencję wspieraną przez firmę NVIDIA, a teraz rozwija innowacje w zakresie oprogramowania open source. Modele gpt-oss pozwalają programistom budować na tej najnowocześniejszej platformie, wzmacniając pozycję Stanów Zjednoczonych jako lidera technologicznego w dziedzinie sztucznej inteligencji, a wszystko to w oparciu o największą na świecie infrastrukturę obliczeniową AI.