Inżynieria pętli: Jak "autoresearch" i "Bilevel Autoresearch" przekształcają agentów AI w autonomiczne pętle badawcze ML

Współczesne wykorzystanie sztucznej inteligencji często przypomina korzystanie z wyszukiwarki z 2015 roku – użytkownik wprowadza zapytanie, analizuje wyniki, a następnie ponownie wpisuje kolejne instrukcje. Nowe podejście, określane mianem inżynierii pętli, zastępuje tę manualną interakcję autonomicznym procesem. Niniejszy przewodnik wyjaśnia koncepcję inżynierii pętli, opierając się na dwóch kluczowych osiągnięciach: repozytorium autoresearch Andreja Karpathy'ego oraz artykule naukowym Bilevel Autoresearch. Koncepcja ta jest rozwijana w oparciu o analizę @0xCodila.

Podstawowa różnica polega na sposobie interakcji. Tradycyjny prompt to pojedyncza instrukcja, po której użytkownik decyduje o kolejnym kroku. Pętla natomiast to cel, który model realizuje autonomicznie, aż do jego osiągnięcia. Model samodzielnie planuje, działa, weryfikuje swoje wyniki, a następnie powtarza proces. Użytkownik definiuje cel tylko raz, a pętla zajmuje się iteracją. Kluczowe jest, że pętla jest opłacalna tylko wtedy, gdy jej praca jest mierzalna.

Czym jest prawdziwa pętla i jak działa autoresearch?

To, co odróżnia prawdziwą pętlę od powtarzającego się chatbota, to trzy fundamentalne komponenty, które musi posiadać każda niezawodna pętla. Te części nie są jedynie teoretyczne. 7 marca 2026 roku Andrej Karpathy udostępnił autoresearch – otwarte repozytorium na licencji MIT, składające się z trzech głównych plików i około 630 linii kodu. Projekt szybko zyskał popularność, osiągając blisko 90 000 gwiazdek na GitHubie i został później nazwany "Pętlą Karpathy'ego".

Projekt Karpathy'ego charakteryzuje się celową prostotą i rygorystycznością. Agent modyfikuje wyłącznie plik train.py, który zawiera model GPT, optymalizatory (Muon i AdamW) oraz pętlę treningową. Nie ma dostępu do narzędzi ewaluacyjnych w prepare.py. To rozdzielenie zapobiega sytuacji, w której agent ułatwiałby test zamiast faktycznie ulepszać model. Instrukcje dla agenta są natomiast zapisane przez człowieka w pliku program.md.

Każdy cykl pętli wykonuje jeden eksperyment. Agent odczytuje kod, proponuje zmianę, trenuje przez pięć minut, a następnie decyduje, czy zachować zmianę, czy ją wycofać. Metryką oceny jest val_bpb (validation bits per byte), gdzie niższa wartość oznacza lepszy wynik. Ten budżet czasowy pozwala na przeprowadzenie około 12 eksperymentów na godzinę, co przekłada się na około 100 eksperymentów w ciągu nocy.

Wyniki są konkretne. Karpathy zastosował autoresearch do swojego już zoptymalizowanego kodu treningowego nanochat GPT-2. Po dwóch dniach i około 700 eksperymentach, pętla zidentyfikowała 20 autentycznych ulepszeń. Skumulowane poprawki skróciły czas treningu modelu GPT-2 o 11%, z 2,02 do 1,80 godziny. Jednym z odkryć było brak skalara w implementacji QK-Norm, co powodowało zbyt rozproszoną uwagę w głowicach.

Co istotne, ludzie męczą się po około tuzinie eksperymentów, podczas gdy pętla działa nieprzerwanie. Niezależnie od tego, CEO Shopify, Tobi Lütke, uruchomił autoresearch na wewnętrznym modelu przez noc i odnotował 19% poprawę po 37 eksperymentach. Wniosek Karpathy'ego jest jasny: jeśli masz obiektywną metrykę, to ty jesteś wąskim gardłem.

Bilevel Autoresearch: Meta-badanie samej pętli

Zespoły inżynierów AI konstruują obecnie działające pętle z pięciu gotowych komponentów. Następnie badacze zadali sobie bardziej złożone pytanie: skoro autoresearch jest narzędziem badawczym, czy można poddać autoresearch samemu autoresearch? Artykuł naukowy Bilevel Autoresearch: Meta-Autoresearching Itself odpowiada twierdząco.

Wewnętrzna pętla odpowiada oryginalnemu projektowi Karpathy'ego: proponowanie, trenowanie, ocenianie, zachowywanie lub odrzucanie zmian. Zewnętrzna pętla monitoruje pętlę wewnętrzną, analizując jej kod i ślady działania. Identyfikuje miejsca, w których proces poszukiwania utyka. Następnie tworzy nowe mechanizmy w Pythonie, wstrzykuje je w czasie działania i ponownie uruchamia pętlę wewnętrzną.

Wyniki zostały potwierdzone na benchmarku Karpathy'ego dla pretreningu GPT. Zewnętrzna pętla zmniejszyła val_bpb pięć razy bardziej niż pojedyncza pętla (-0,045 vs -0,009). Co ważne, obie pętle używały tego samego modelu LLM, co oznacza, że poprawa wynikała z architektury, a nie z inteligentniejszego modelu. W praktyce projekt dzieli się na trzy poziomy:

• Poziom 1: uruchamia podstawową pętlę.
• Poziom 1.5: dostraja parametry wyszukiwania co pięć iteracji.
• Poziom 2: generuje mechanizmy poprzez czterorundową sesję.

Eksperymenty przeprowadzono z wykorzystaniem karty RTX 5090 32GB i budżetu 300 sekund. Powód skuteczności jest istotny: wewnętrzna pętla często wracała do tych samych założeń, nawet gdy przestawały działać. Zewnętrzna pętla przełamywała te wzorce, wymuszając nieznaną eksplorację.

Zastosowania inżynierii pętli poza pretreningiem

Te idee mają zastosowanie daleko poza pretreningiem modeli. W pracy z modelami pętla wyszukuje hiperparametry, aż val_bpb spadnie. W inżynierii oprogramowania refaktoryzuje kod, aż testy, typy i kompilacja przejdą pomyślnie. W tworzeniu treści przepisuje tekst, aż każdy wynik rubryki przekroczy próg. W obróbce danych dostraja potok, aż sprawdzenia schematu zostaną spełnione. Każdy przypadek łączy jedna cecha: automatyczna brama, która może odrzucić pracę.

Mechanizm ten można odczuć w praktyce bez zaawansowanych narzędzi, takich jak Claude Code czy Codex. Wystarczy wkleić poniższy protokół do dowolnego zdolnego modelu i obserwować, jak sam się koryguje:

Będziesz pracować w pętli, dopóki zadanie nie spełni wymagań.
ZADANIE: [dokładnie opisz, co chcesz uzyskać]
KRYTERIA SUKCESU (bądź rygorystyczny):
- [kryterium 1]
- [kryterium 2]
- [kryterium 3]
PROTOKÓŁ PĘTLI, powtarzaj w każdej turze:
1. PLANUJ - określ pojedynczy następny krok.
2. WYKONAJ - stwórz lub ulepsz pracę.
3. WERYFIKUJ - oceń wynik w skali 1-10 dla każdego kryterium. Bądź szczery.
4. DECYDUJ - jeśli każde kryterium wynosi 8+, wydrukuj FINAL i zatrzymaj się. W przeciwnym razie wydrukuj ITERATING i najpierw napraw najsłabszy punkt.
ZASADY:
- Nigdy nie uznawaj za zakończone, dopóki każde kryterium nie osiągnie 8 lub więcej.
- Każde przejście musi naprawić najsłabszy wynik z ostatniej weryfikacji.
- Nie zadawaj pytań. Przyjmij rozsądne założenie i kontynuuj.
Zacznij.

Poniżej, przepływ kontroli jest niewielki. Szkielet pokazuje te trzy części w Pythonie: weryfikator, decyzję i dwa warunki zatrzymania.

current = baseline
best = evaluate(current) # weryfikator: niższe val_bpb jest lepsze
for step in range(MAX_STEPS): # warunek zatrzymania 1: budżet eksperymentów
    candidate = propose_change(current) # agent edytuje train.py
    score = train_and_eval(candidate) # trenuj 5 min, następnie weryfikuj
    if score < best: # zachowaj tylko prawdziwe ulepszenia
        current, best = candidate, score # zatwierdź
    # else: odrzuć kandydata, przywróć stan początkowy
    if best <= TARGET: # warunek zatrzymania 2: cel osiągnięty
        break

Obie wersje mają ograniczenia: użytkownik nadal jest inicjatorem, a zamknięcie karty kasuje stan. Dodanie automatyzacji, pliku stanu i prawdziwej bramy przekształca to w autonomiczną pętlę. Interaktywne demo animuje pełną pętlę: proponowanie, trenowanie, weryfikowanie, a następnie zachowywanie lub wycofywanie zmian. Dostosowując cel i limit kroków, można obserwować, jak val_bpb spada, aż do uruchomienia warunku zatrzymania.

Inżynieria pętli, w szczególności z wykorzystaniem podejść takich jak autoresearch i Bilevel Autoresearch, stanowi znaczący krok w kierunku prawdziwie autonomicznych systemów AI. Przesuwa ona ciężar optymalizacji i eksploracji z człowieka na sam model, otwierając drogę do szybszego i bardziej efektywnego rozwoju sztucznej inteligencji w wielu dziedzinach, od uczenia maszynowego po inżynierię oprogramowania. To podejście podkreśla, że w wielu przypadkach to ludzkie ograniczenia, a nie możliwości AI, są głównym czynnikiem hamującym postęp.

Źródło: marktechpost.com