Знайдено спосіб економити до 60% токенів: GitHub-проєкт pxpipe здивував новим способом роботи з Fable 5
Як pxpipe допомагає економити токени у Fable 5?
На GitHub представили проєкт pxpipe, який стискає великі текстові промпти, перетворюючи їх на зображення з текстом перед надсиланням до моделі Fable 5, який є частиною Claude. За словами авторів, це дозволяє скоротити витрати токенів до 60% і суттєво зменшити вартість роботи.
Важливо! У демонстрації одна й та сама задача коштувала 6,06 долара замість 42,21 долара, а використання контекстного вікна скоротилося до 73,5 тисячі токенів.
Принцип роботи полягає в тому, що моделі обробляють зображення за кількістю пікселів, а не символів. Саме тому великі блоки тексту, документації чи журналів можуть займати значно менше токенів після перетворення у PNG.
Чому цей спосіб поки не можна назвати універсальним?
Розробники наголошують, що технологія має обмеження. Вона добре працює для великих масивів коду, JSON, документації чи журналів, але може помилятися під час зчитування точних ідентифікаторів, хешів або інших критично важливих рядків, тому для таких даних рекомендують залишати звичайний текст.
Попри це, результати перших випробувань виглядають багатообіцяльними. Автори повідомляють, що під час тестування Fable 5 без проблем прочитав увесь текст на 39 підготовлених зображеннях, а експерименти на SWE-bench Lite також показали збереження якості виконання завдань при суттєвому скороченні кількості токенів.
Водночас розробники підкреслюють, що економія залежить від типу контенту. Найкращий ефект спостерігається при роботі з великими технічними текстами та кодом, тоді як для звичайної прози або коротких повідомлень використання pxpipe може не дати відчутної переваги.
Читайте по темі:
- Кінець епохи бюджетників: чому бум штучного інтелекту знищить дешеві смартфони до 2027 року.
- ChatGPT став точнішим: компанія OpenAI представила новий GPT-5.5 Instant для користувачів – що змінилось.
- Генеративний ШІ став загрозою для науки: чому вчені попереджають про кризу довіри.