Представьте: вам передали
бинарник, который блестяще пишет код, переводит и шутит. Документации нет, исходников нет — только файл на сотни гигабайт.
Это метафора того, как исследователи сегодня пытаются понять
AGI. Вместо того чтобы копаться в весах
нейросети, они предлагают искать программы — когнитивные алгоритмы, которые модель выучила сама.
Смена фокуса с весов на программы может дать ключ к интерпретируемости. Если такие программы найдут, мы сможем чинить и улучшать модели, а не гадать по результатам.
Пока это гипотеза, но она объясняет, почему большие модели работают лучше маленьких: в них больше программ, а не просто параметров.