OpenAI wprowadza modele GPT-Realtime-2.1 i GPT-Realtime-2.1-mini dla agentów głosowych o niskim opóźnieniu

OpenAI zaprezentowało dwa nowe modele z serii Realtime w swoim interfejsie API: gpt-realtime-2.1 oraz gpt-realtime-2.1-mini. Oba zostały stworzone z myślą o zastosowaniach głosowych i multimodalnych, gdzie kluczowe jest minimalne opóźnienie. Szczególną uwagę zwraca model mini, który jest kompaktowym modelem rozumowania przeznaczonym do interakcji głosowych w czasie rzeczywistym. Jego koszt pozostaje na tym samym poziomie co poprzednia wersja gpt-realtime-mini, a dodatkowo OpenAI udało się zredukować opóźnienie p95 (95. percentyl czasu odpowiedzi) o co najmniej 25% we wszystkich modelach głosowych Realtime, głównie dzięki ulepszonemu buforowaniu.

Kluczowe cechy i różnice modeli

gpt-realtime-2.1-mini to model rozumowania zaprojektowany do interakcji głosowych w czasie rzeczywistym, zdolny do przetwarzania zarówno danych audio, jak i tekstowych przez aktywne połączenie. OpenAI pozycjonuje go jako szybszą i bardziej ekonomiczną opcję. Jego główną zdolnością jest rozumowanie, co oznacza, że model może wewnętrznie przetwarzać informacje przed udzieleniem odpowiedzi. Wersja mini obsługuje również wywoływanie funkcji (tool use) za pośrednictwem API Realtime, co pozwala modelowi planować działania, wywoływać zdefiniowane funkcje, a następnie odpowiadać.

Większy model, gpt-realtime-2.1, stanowi aktualizację GPT-Realtime-2. Wprowadza ulepszone rozpoznawanie znaków alfanumerycznych, lepsze radzenie sobie z ciszą i szumem oraz bardziej naturalne zachowanie w przypadku przerwania wypowiedzi. Obsługuje konwersję mowy na mowę z konfigurowalnym poziomem wysiłku rozumowania, podążaniem za instrukcjami i wywoływaniem funkcji.

API Realtime przetwarza i generuje dźwięk za pomocą jednego modelu, co eliminuje potrzebę łączenia oddzielnych systemów zamiany mowy na tekst i tekstu na mowę. Taka architektura pojedynczego modelu znacząco redukuje opóźnienia i zachowuje niuanse w mowie.

Rozumowanie i zarządzanie interakcjami

Możliwość rozumowania jest kluczowa dla płynnych interakcji z agentami głosowymi. Często zdarza się, że agenci milkną podczas wywoływania funkcji, co może być mylnie interpretowane przez użytkowników jako zerwanie połączenia. Dzięki rozumowaniu i możliwości wypowiedzenia wstępu, model może powiedzieć na przykład: „Sprawdzam teraz to zamówienie”, zanim faktycznie wykona działanie. Utrzymuje to spójność wieloetapowych zadań głosowych.

Poziom wysiłku rozumowania jest konfigurowalny i obejmuje opcje takie jak: minimalny, niski, średni, wysoki lub bardzo wysoki. Domyślnie ustawiony jest niski poziom, co pomaga utrzymać niskie opóźnienia dla prostych interakcji. Wyższy poziom wysiłku zwiększa opóźnienie i zużycie tokenów wyjściowych. OpenAI zaleca rozpoczynanie od niskiego poziomu dla większości produkcyjnych agentów głosowych.

Optymalizacja kosztów i wydajności

Redukcja opóźnienia p95 o co najmniej 25% jest znacząca dla interakcji głosowych na żywo. Jest to efekt ulepszonego buforowania, które nie tylko obniża opóźnienia, ale także redukuje koszty. Buforowane tokeny wejściowe są rozliczane ze znaczną zniżką. Na przykład, dla gpt-realtime-2.1-mini, buforowany dźwięk wejściowy kosztuje 0,30 USD za 1 milion tokenów, w porównaniu do 10,00 USD za 1 milion tokenów dla świeżego dźwięku wejściowego. Długie sesje czerpią z tego największe korzyści, ponieważ prompt systemowy jest buforowany po pierwszej turze.

Ceny są naliczane za 1 milion tokenów, z podziałem na tekst, audio i obrazy. Model mini zachowuje poprzednią stawkę, jednocześnie oferując możliwości rozumowania. Stawka za wyjście audio dla mini wynosi 20,00 USD za 1 milion tokenów, podczas gdy pełny gpt-realtime-2.1 kosztuje 64,00 USD za tę samą ilość. To oznacza około trzykrotną różnicę w kosztach wyjścia audio, co pozwala zespołom na wymianę pewnych możliwości na niższe koszty, zachowując jednocześnie funkcje rozumowania.

Integracja techniczna

Klienci przeglądarkowi łączą się za pośrednictwem WebRTC. Serwer generuje krótkotrwały klucz klienta, a przeglądarka łączy się bezpośrednio z API Realtime. Potoki mediów serwera wykorzystują WebSockets, a telefonia SIP. Proces ten obejmuje stworzenie efemerycznego klucza klienta na serwerze, który następnie jest przekazywany do przeglądarki, umożliwiając jej nawiązanie połączenia WebRTC i przesyłanie danych audio oraz zdarzeń.

Wprowadzenie nowych modeli Realtime przez OpenAI stanowi istotny krok w rozwoju agentów głosowych, oferując deweloperom większą elastyczność w zarządzaniu wydajnością i kosztami. Możliwość konfiguracji wysiłku rozumowania oraz zoptymalizowane buforowanie otwierają drogę do tworzenia bardziej responsywnych i ekonomicznych rozwiązań w dziedzinie interakcji głosowych opartych na sztucznej inteligencji.

Źródło: marktechpost.com