Token Saver: Nowe narzędzie do radykalnego cięcia kosztów tokenów Claude PDF o 90-99%

Deweloperzy, badacze i profesjonaliści zajmujący się sztuczną inteligencją często napotykają na problem ukrytych, narastających kosztów związanych z analizą dużych dokumentów za pomocą dużych modeli językowych (LLM). Wklejenie 200-stronicowego pliku PDF do czatu nie jest jednorazową opłatą, ponieważ historia rozmowy jest ponownie wysyłana do modelu przy każdej kolejnej interakcji, co oznacza, że za ten sam dokument płaci się wielokrotnie.

Zespół Marktechpost AI opublikował właśnie Token Saver – otwarte rozszerzenie protokołu kontekstu modelu (MCP) dla Claude Desktop (na licencji MIT, obecnie w wersji 1.0). Narzędzie zostało opracowane w Marktechpost AI Media Inc. przez Arnava Raia, studenta informatyki z Rochester Institute of Technology, podczas jego stażu, pod nadzorem Jean-marca Mommessina i Asifa Razzaka. Token Saver fundamentalnie zmienia sposób, w jaki Claude wchodzi w interakcje z lokalnymi dokumentami, umożliwiając zadawanie pytań o obszerne pliki PDF bez konieczności przesyłania ich do modelu.

Jak działa Token Saver?

Token Saver znacząco zmniejsza zużycie tokenów, osiągając redukcję od 92% do 99%. Gwarantuje także prywatność danych, ponieważ pliki nigdy nie opuszczają lokalnego dysku użytkownika. Konfiguracja narzędzia nie wymaga żadnych środowisk Python ani konfiguracji terminala, co ułatwia jego wdrożenie.

Większość użytkowników zakłada, że po wgraniu pliku PDF do Claude, model po prostu wyodrębnia tekst. W rzeczywistości domyślne zachowanie Claude polega na konwersji każdej strony na obraz w celu zachowania wykresów i układów, jednocześnie oddzielnie wyodrębniając tekst. Zanim jeszcze zostanie zliczony jakikolwiek token obrazu, sam tekst może generować od 1500 do 3000 tokenów na stronę. Chociaż funkcje takie jak Prompt Caching i Claude Projects pomagają złagodzić ten problem, nie rozwiązują podstawowej kwestii: cały dokument nadal przekracza granice i trafia na serwery dostawcy. Ponadto, jeśli użytkownik potrzebuje tylko dwóch istotnych akapitów z 1000-stronicowego podręcznika, zmuszanie LLM do przeszukiwania całego dokumentu jest zarówno nieefektywne, jak i podatne na halucynacje.

Token Saver działa jako lokalny serwer MCP

Źródło: marktechpost.com