OpenAI wprowadza GPT-Live: Nowa generacja modeli głosowych z pełnym dupleksem i delegowaniem zadań do GPT-5.5

OpenAI ogłosiło premierę GPT-Live, nowej generacji modeli głosowych, które od teraz zasilają doświadczenie ChatGPT Voice. Głównym celem jest zapewnienie naturalnej, prowadzonej w czasie rzeczywistym konwersacji z AI. Dwie wersje, GPT-Live-1 i GPT-Live-1 mini, są już dostępne dla użytkowników ChatGPT na całym świecie.

Architektura pełnego dupleksu i delegowanie zadań

GPT-Live opiera się na architekturze pełnego dupleksu, co oznacza, że model może jednocześnie słuchać i mówić. Podczas rozmowy jest w stanie wtrącać krótkie sygnały, takie jak „mhmm” czy „tak”, angażować się w szybką wymianę zdań lub pozostawać cicho, gdy użytkownik się zastanawia. W przypadku pytań wymagających wyszukiwania w sieci, głębszego rozumowania lub złożonych operacji, GPT-Live deleguje zadanie do zaawansowanego modelu działającego w tle. W momencie premiery tym modelem jest GPT-5.5. Gdy model bazowy pracuje, GPT-Live utrzymuje ciągłość konwersacji, zapewniając płynne doświadczenie użytkownika.

Ewolucja systemów głosowych OpenAI

Poprzednie systemy głosowe OpenAI dążyły do naturalnej konwersacji, ale wiązały się z pewnymi kompromisami:

• Kaskadowe systemy głosowe (np. pierwsze wersje ChatGPT Voice) łączyły trzy oddzielne modele na każdą turę: model zamiany mowy na tekst, duży model językowy generujący odpowiedź oraz model zamiany tekstu na mowę. Choć umożliwiło to rozmowy z zaawansowanymi modelami, informacje mogły być tracone między modelami, a odpowiedzi były wolne i nienaturalne.
• Modele głosowe oparte na turach (np. ChatGPT Advanced Voice Mode) przetwarzały dźwięk w ramach jednego modelu, co zmniejszało opóźnienia i wygładzało konwersacje. Nadal jednak działały w dyskretnych turach, czekając, aż użytkownik przestanie mówić. Wykrywanie końca tury opierało się na ciszy, co mogło prowadzić do błędnego interpretowania krótkich przerw lub szumów tła jako zakończenia wypowiedzi i przerywania w nienaturalnych momentach.

GPT-Live rozwiązuje te ograniczenia dzięki dwóm kluczowym zmianom:

1. Nowe oceny ludzkie: OpenAI opracowało nowe metody oceny przyjemności i płynności konwersacji. W testach porównawczych, gdzie ewaluatorzy oceniali modele w pięcio- do dziesięciominutowych rozmowach, GPT-Live-1 i GPT-Live-1 mini były znacznie preferowane nad Advanced Voice Mode. Oceniano ogólne preferencje, przejmowanie tur, przerywanie, płynność i naturalność interakcji.
2. Ulepszenia w benchmarkach automatycznych: Na zautomatyzowanych benchmarkach, GPT-Live-1 również wykazało poprawę w stosunku do Advanced Voice Mode. Zespół OpenAI użył dostosowanego modelu użytkownika dla oceny τ³-Voice Telecom, zasilanego najnowszymi modelami rozumowania.

Co zmienia się w ChatGPT Voice?

Ponad 150 milionów ludzi korzysta co tydzień z funkcji ChatGPT Voice i Dictation. Teraz, po naciśnięciu przycisku głosu, aktywowane jest doświadczenie GPT-Live. Rozmowy wspierają przerywanie, pauzowanie i prośby o spowolnienie. Model potwierdza zrozumienie za pomocą sygnałów takich jak „mhmm” czy „rozumiem”. OpenAI przeprojektowało dziewięć różnych głosów dla GPT-Live. Użytkownicy mogą również wybrać poziom rozumowania: Instant, Medium lub High, co odpowiada różnym wariantom GPT-5.5 (GPT-5.5 Instant, GPT-5.5 Thinking z umiarkowanym i wysokim wysiłkiem rozumowania).

Ulepszone słuchanie oznacza, że model czeka, zamiast przerywać w trakcie pauz, a także lepiej skupia się w hałaśliwym otoczeniu. Funkcja głosowa może teraz wyświetlać wizualne karty z informacjami o pogodzie, giełdzie czy wynikach sportowych, a także nadal wspiera wyszukiwanie, pamięć, obrazy i przesyłanie plików.

Michal Sutter, specjalista ds. data science z tytułem magistra z Uniwersytetu w Padwie, podkreśla, że te innowacje są wynikiem solidnych podstaw w analizie statystycznej, uczeniu maszynowym i inżynierii danych, które umożliwiają przekształcanie złożonych zbiorów danych w praktyczne wnioski. Wprowadzenie GPT-Live stanowi znaczący krok w kierunku bardziej intuicywnej i efektywnej interakcji człowieka z AI, co może mieć szerokie konsekwencje dla przyszłości asystentów głosowych i interfejsów konwersacyjnych. Umożliwienie AI płynnego prowadzenia rozmowy, jednocześnie delegując złożone zadania do potężniejszych modeli, otwiera nowe możliwości dla zastosowań w wielu branżach, od obsługi klienta po edukację.

Źródło: marktechpost.com