Laboratorium Thinking Machines proponuje spersonalizowaną AI z konfigurowalnymi wagami modeli

Laboratorium Thinking Machines Lab, kierowane przez Mirę Murati, opublikowało raport techniczny, w którym przedstawia nowatorskie podejście do rozwoju sztucznej inteligencji. Zamiast dominujących obecnie, statycznych modeli AI, trenowanych centralnie i następnie „zamrażanych”, laboratorium proponuje systemy rozproszone, konfigurowalne i aktywnie kształtowane przez samych użytkowników. Celem jest stworzenie AI, która rozszerza ludzką wolę i osąd, a nie wyklucza osoby, którym ma służyć.

Cztery filary rozwoju AI zorientowanej na człowieka

Raport Thinking Machines Lab identyfikuje cztery kluczowe kierunki techniczne, które mają umożliwić realizację tej wizji:

1. Trenowanie zaawansowanych modeli z multimodalną interakcją i możliwością dostosowania.
2. Tworzenie narzędzi umożliwiających użytkownikom samodzielne dostrajanie i trenowanie wag modeli.
3. Rozwój interfejsów, które poszerzają kanał komunikacji między człowiekiem a maszyną.
4. Publikowanie badań, aby inżynierowie mogli lepiej zrozumieć proces tworzenia modeli.

Te działania mają na celu zbliżenie zarówno wiedzy, jak i zgodności działania AI z potrzebami użytkowników. Podstawą tych założeń jest przekonanie, że znaczna część wiedzy jest ukryta, lokalna i nieustannie aktualizowana poprzez informacje zwrotne. Raport, powołując się na Michaela Polanyiego i Friedricha Hayeka, podkreśla, że taka wiedza, podobnie jak udoskonalanie przepisu przez szefa kuchni, nie może być po prostu zapisana w bazie danych. Ponieważ wiedza ta jest prywatna i ulotna, a nie rzadka, AI musi być rozproszona, aby móc z niej korzystać. Laboratorium dąży do tego, aby AI pomagała organizacjom kultywować tę wiedzę, zamiast ją wydobywać i zastępować. Wyjątkami są dziedziny takie jak szachy i matematyka, gdzie cele są statyczne, wyrażalne, a wiedza jawna, co sprzyja samodzielnemu uczeniu się i autonomicznemu rozwiązywaniu problemów.

Przełamywanie barier komunikacji i oceny

Raport przekształca dwa znane ograniczenia AI w cele inżynieryjne. Pierwszym jest kanał komunikacji, często ograniczony do małego pola tekstowego i długiego czasu oczekiwania. Modele interakcji opracowywane przez laboratorium mają temu zaradzić, przyjmując audio, wideo i tekst w sposób ciągły, z mikro-zwrotami trwającymi około 200 milisekund. Drugim ograniczeniem jest sama ocena. Obecne benchmarki, takie jak te stosowane przez METR, mierzą wydajność modelu działającego samodzielnie, pomijając to, co ludzie i maszyny osiągają wspólnie.

Wartości w wagach modeli, nie w promptach

Kluczowym elementem propozycji Thinking Machines Lab jest umiejscowienie wartości. Raport ostrzega, że pojedynczy autorytet odpowiedzialny za dostosowanie AI staje się pojedynczym punktem podatnym na przejęcie. Prompty mogą zmieniać zachowanie powierzchniowe, ale głębsze nawyki modelu pozostają niezmienione. Dlatego laboratorium argumentuje, że wartości powinny być zakodowane w wagach modeli, a nie w promptach. W tym kontekście pojawia się Tinker API, które staje się konkretnym narzędziem dla inżynierów.

Tinker umożliwia dostrajanie otwartych modeli, takich jak Llama i Qwen, za pomocą techniki LoRA. Udostępnia niskopoziomowe prymitywy i pozwala na eksport przenośnych wag adapterów. Przykładowy minimalny cykl uczenia nadzorowanego wygląda następująco:

import tinker
from tinker import types

# Reads TINKER_API_KEY from your environment
service_client = tinker.ServiceClient()

# LoRA fine-tuning client for an open-weights base model
training_client = service_client.create_lora_training_client(
    base_model="Qwen/Qwen3-8B",
    rank=32,
)

for batch in dataset:
    # batch: list[types.Datum]
    fwd_bwd = training_client.forward_backward(batch, "cross_entropy")
    optim = training_client.optim_step(types.AdamParams(learning_rate=1e-4))
    fwd_bwd.result() # accumulate gradients
    optim.result() # update the weights

# Save the trained LoRA weights, then get a client to use them
sampling_client = training_client.save_weights_and_get_sampling_client(
    name="my-adapter",
)

Praktyczne zastosowania i zmiana paradygmatu

Proponowane podejście ma konkretne zastosowania inżynierskie. Na przykład, szpital mógłby dostroić model do własnych protokołów, zachowując dane i wagi adapterów wewnątrz organizacji. Podobnie, kancelaria prawna mogłaby dostosować model do swojego stylu, ponownie trenując go za każdym razem, gdy zmieniają się wewnętrzne wytyczne. Zespoły wsparcia mogłyby korygować model w trakcie zadania, wykorzystując interakcję na żywo. W każdym z tych przypadków organizacja zachowuje własność i kontrolę nad modelem, zamiast wynajmować stały, zamrożony system.

Ta wizja Thinking Machines Lab stanowi znaczące odejście od obecnego, scentralizowanego paradygmatu AI. Przeniesienie kontroli i możliwości dostosowania do użytkowników końcowych może fundamentalnie zmienić sposób, w jaki organizacje wykorzystują sztuczną inteligencję, promując większą autonomię, bezpieczeństwo danych i lepsze dopasowanie do specyficznych potrzeb, co jest kluczowe dla budowania zaufania i efektywności w erze AI.

Źródło: marktechpost.com