Стартап Anthropic, созданный бывшими сотрудниками компании OpenAI, расширил контекстное окно ввода своего чат-бота Claude до 75 тысяч слов. Благодаря этому ИИ-инструмент теперь может обрабатывать и анализировать сотни страниц текста буквально за несколько секунд, а также поддерживать беседу с человеком на протяжении многих часов.
Низкий объем памяти — одно из основных ограничений всех чат-ботов. Даже такой сложный инструмент, как ChatGPT, может обрабатывать всего около 3000 слов за один раз. Из-за этого ограничена и функциональность чат-ботов: например, нехватка памяти не позволяет им составлять краткие содержания больших книг или резюмировать объемные статьи.
Стартап Anthropic, активно развивающий свой чат-бот Claude (находящийся на стадии закрытого бета-тестирования), пытается совершить прорыв в этой области. На днях его разработчики объявили, что им удалось расширить контекстное окно ввода Claude с 9000 токенов до 100 000 токенов. Под контекстным окном ввода в данном случае понимается текст, который модель анализирует перед генерированием своего текста (например, анализируя статью перед генерированием ответа на заданный вопрос), а токены — это семантические единицы необработанного текста (например, слоги в словах).
До этого первенство по размеру контекстного окна ввода было у GPT-4 от OpenAI — он может обрабатывать до 32 000 токенов за раз.
Получив расширенную память, Claude теперь способен поддерживать связный диалог на протяжении нескольких часов подряд — по сравнению с предыдущим показателем в несколько минут. Кроме того, он должен меньше отклоняться от темы и реже выдавать ошибочную информацию.
В новостном сообщении на своем сайте Anthropic рассказал и о других преимуществах увеличения памяти ИИ-модели: теперь она умеет обрабатывать и анализировать сотни страниц текстовых материалов, правильно извлекать необходимую информацию из объемных документов и даже книг, и быстро отвечать на вопросы, требующие “знания” информации из разных частей текста.
Для проверки своего инструмента стартап загрузил в чат-бот полный текст романа “Великий Гэтсби”, чей объем составляет около 44 тысяч слов, а затем изменил в нем одну строку и дал боту задание найти отличие. Claude правильно справился с этой задачей всего за 22 секунды.
Среднестатистическому человеку только для прочтения такого объема текста понадобилось бы не менее 4 часов, а для анализа информации — еще больше.
В статье в блоге Anthropic также перечислил несколько возможных вариантов использования расширенной версии чат-бота:
- Анализ, резюмирование и объяснение сложных объемных документов, таких как финансовые отчеты или исследовательские работы;
- Анализ рисков и возможностей для компании на основе ее годовых отчетов;
- Объяснение законодательных актов и ответы на связанные с ними вопросы;
- Анализ юридических документов, выявление по ним рисков и генерирование аргументаций;
- Обработка сотен страниц документации по разработке программных инструментов, поиск ответов на технические вопросы;
- Быстрое создание прототипов программных продуктов путем переноса всей кодовой базы в контекст, “умное” дополнение или модификация.
Несмотря на то, что такое расширение контекстного окна ввода является большим прорывом в области развития чат-ботов, оно не решает всех проблем, связанных с памятью больших языковых моделей. Так, один из крупных недостатков Claude — неспособность сохранять информацию от предыдущего сеанса к последующему. Кроме того, инструмент обрабатывает каждую часть информации как одинаково важную, не умея отделять основную информацию от второстепенной. Как считают некоторые эксперты по ИИ, для решения этих проблем потребуется разрабатывать уже совершенно новые архитектуры моделей.
На данный момент чат-бот Claude с расширенными возможностями по-прежнему доступен только по закрытому приглашению для партнёров стартапа Anthropic.
