Google DeepMind wprowadza pierwsze na świecie podwójnie ślepe testy modeli AI

Google DeepMind ogłosiło uruchomienie pierwszych na świecie podwójnie ślepych ewaluacji modeli sztucznej inteligencji. Celem tej inicjatywy jest zwiększenie zaufania do wyników testów zastrzeżonych modeli AI poprzez eliminację ryzyka zanieczyszczenia benchmarków. Nowa metodologia ma zapewnić, że modele nie będą miały wcześniejszego dostępu do pytań testowych, co mogłoby sztucznie zawyżyć ich wyniki i podważyć wiarygodność ocen.

Wyzwanie zanieczyszczenia benchmarków

Branża AI mierzy się z poważnym wyzwaniem, jakim jest zanieczyszczenie benchmarków. Sytuacja ta ma miejsce, gdy model AI ma już dostęp do pytań testowych przed właściwą ewaluacją. Można to porównać do studenta, który przypadkowo zobaczył pytania egzaminacyjne z wyprzedzeniem – osiągnięcie idealnego wyniku w takich okolicznościach nie odzwierciedla prawdziwej wiedzy. W przypadku zaawansowanych modeli AI, wcześniejszy kontakt z danymi testowymi może prowadzić do sztucznego zawyżania wyników, co zniekształca obraz rzeczywistych możliwości i bezpieczeństwa systemu.

Potrzeba wiarygodnych benchmarków jest kluczowa dla decydentów, badaczy i przedsiębiorstw, którzy muszą mieć pewność, że oceny AI dokładnie odzwierciedlają prawdziwe zdolności i poziom bezpieczeństwa modeli. W odpowiedzi na to wyzwanie, Google DeepMind wprowadza podwójnie ślepą ewaluację, która ma na celu zapewnienie, że zarówno dane testowe, jak i model pozostają poufne dla ich właścicieli.

Jak działają podwójnie ślepe ewaluacje?

Kluczowym elementem nowej metodologii jest wykorzystanie kryptograficznie zabezpieczonych środowisk. Ewaluacje zewnętrzne są przeprowadzane w swego rodzaju kryptograficznym „pudełku”, co uniemożliwia modelom wykorzystanie danych testowych do optymalizacji wydajności przed właściwym badaniem. Google DeepMind współpracuje z Singapore AI Safety Institute, OpenMined, AVERI oraz MLCommons, aby przetestować model Gemini Flash Lite w środowisku zachowującym prywatność, używając poufnych benchmarków.

Historycznie, wysokiej stawki ewaluacje zewnętrzne wymagały kompromisu: albo oceniający udostępniali swoje pytania testowe (ryzykując, że dostawca modelu zobaczy je z wyprzedzeniem), albo dostawca modelu udostępniał wagi swojego modelu (ryzykując utratę własności intelektualnej). Podwójnie ślepe ewaluacje eliminują ten dylemat. Dzięki wykorzystaniu Confidential Space w ramach portfolio Confidential Computing Google Cloud, możliwe jest kryptograficzne zweryfikowanie, że zarówno zewnętrzne dane ewaluacyjne, jak i zastrzeżony model, pozostają prywatne dla ich właścicieli. Oznacza to, że oceniający nie widzi wag modelu Gemini, a Google nie widzi pytań testowych oceniającego.

Znaczenie dla przyszłości AI

To kryptograficzne zabezpieczenie pomaga zapobiegać zanieczyszczeniu benchmarków i chroni wrażliwe dane. W miarę jak modele AI stają się coraz bardziej zaawansowane, jest to szczególnie ważne dla wysoce wrażliwych ewaluacji, takich jak te stosowane w cyberbezpieczeństwie czy przez instytucje rządowe. Podwójnie ślepe ewaluacje umożliwiają niezależnym organizacjom rygorystyczne testowanie zaawansowanych modeli bez naruszania suwerenności danych czy bezpieczeństwa.

Google DeepMind wyraża nadzieję, że ten pilotażowy program ustanowi nową granicę w nadzorze nad modelami, pomagając całej branży w budowaniu bezpieczniejszych, bardziej niezawodnych i powszechnie zaufanych systemów AI. Inicjatywa ta podkreśla zaangażowanie w odpowiedzialny rozwój sztucznej inteligencji, co jest kluczowe dla jej długoterminowego wpływu na społeczeństwo i gospodarkę.

Źródło: deepmind.google