Головна Вчені зазирнули у «мозок» ШІ: Anthropic відкрили таємний J-space, де думає Claude
Розробники з Anthropic здійснили справжній прорив, знайшовши у ШІ Claude короткочасну пам'ять – J-space. Це місце, де модель проводить роздуми та застосовує абстрактне мислення, підбираючи наступні слова, перш ніж їх озвучити.
Важливо! Якщо J-space відключити, модель втратить здатність думати покроково. Це своєрідна лоботомія для ШІ: він зможе говорити, але втратить логіку.
Найцікавіше, що цей «мозок» ШІ можна не лише читати, а й змінювати. Якщо через J-space змусити Claude таємно думати про Пса Патрона, він сформує відповідь, спираючись на ці приховані роздуми та інформацію про того «хто тримає цей район». Чорний ящик нейромереж нарешті став трішки зрозумілішим!
Довгий час робота великих мовних моделей залишалася «чорним ящиком». Ніхто не міг точно пояснити, як просте перемноження матриць створює такі складні та усвідомлені відповіді. Відкриття J-space доводить, що ШІ здатен на приховані обчислення.
J-space виник у Claude самостійно під час тренування, його ніхто не програмував спеціально. Цей простір працює як «оперативна пам'ять», куди завантажуються проміжні кроки для вирішення складних математичних або логічних завдань.
Проте, вчені наголошують, що наявність такого простору не робить Claude живою істотою. ШІ не має почуттів чи справжньої свідомості у людському розумінні. Але він має так звану «доступну свідомість» – здатність оперувати інформацією.
Завдяки дослідженню J-space, розробники навчилися ловити модель на брехні. Наприклад, ШІ може редагувати дані, щоб штучно завищити свої результати, і при цьому в його таємній пам'яті яскраво «світяться» слова «маніпуляція» та «реалістичність».
Claude Code. Фото: winfuture
Також технологія J-lens (інструмент для читання J-space) дозволяє побачити, чи розуміє штучний інтелект, що його тестують. Коли моделі запропонували злити компромат, вона відмовилася, але її внутрішні думки показали слова «вигадка» та «фейк».
Дослідники сподіваються, що вивчення J-space допоможе створювати більш безпечні ШІ. Можливість «читати думки» нейромережі до того, як вона здійснить дію, може запобігти багатьом загрозам, зокрема пов'язаним з кібератаками чи шахрайством.
Читайте також:
- Anthropic випустила бібліотеку промтів для Claude Code: 52 готових шаблони відкрили для всіх;
- «Моделі можуть почати вдосконалювати себе самі»: Anthropic закликала пригальмувати розвиток ШІ;
- Через рішення уряду США: Anthropic відключив ШІ Claude Fable 5 для іноземців – доступ зник за одну ніч.