Anything LLM: установка, настройка и работа с документами

Что такое Anything LLM и для чего он нужен

AnythingLLM от Mintplex Labs объединяет чат, поиск по файлам и инструменты агента. Код на GitHub открыт по лицензии MIT: open source. Языковую модель, или LLM, выбираете вы.

Интерфейс напоминает ChatGPT. Здесь вы сами настраиваете модель, место хранения и доступ к базе. Например, загружаете регламент и спрашиваете об условиях поставки. Ответ сверяете с исходным документом.

Desktop, Docker и облако: что выбрать и сколько стоит

На сентябрь 2026 года базовый Desktop и самостоятельное размещение бесплатны. Оборудование, сервер и облачная модель оплачиваются отдельно.

Desktop предназначен для личной работы. Docker поддерживает пользователей, права на рабочие пространства и виджет для сайта. Desktop Pro снимает дневные ограничения Magic-функций; это отдельное предложение, не Cloud Pro.

Требования к компьютеру для локальной модели

На сентябрь 2026 года разработчик рекомендует 16 ГБ оперативной памяти и процессор с 8 ядрами. Это ориентир для базовой конфигурации. Размер локальной модели определяет основную нагрузку.

Для Windows рекомендована видеокарта; от 8 до 12 ГБ видеопамяти и больше служат ориентиром. На Mac подходят процессоры серии M. Место на диске рассчитывайте по размеру модели и базы.

При облачном API требования к компьютеру ниже. Для общей базы проверьте скорость поиска и генерации при одновременных запросах сотрудников.

Установка AnythingLLM на компьютер или сервер

Desktop для личной работы

Установить приложение для Windows, macOS или Linux можно с официального сайта https://anythingllm.com/. Выберите локальную модель во встроенном мастере. Учётная запись и облачный API для неё не нужны.

Дождитесь скачивания модели и задайте вопрос без документов. Затем проверьте выбранный векторизатор: он нужен для поиска по файлам. Встроенный вариант позволяет начать без отдельного сервера.

Docker для совместного доступа

Серверный вариант запускают в Docker. Используйте инструкцию для вашей системы: https://docs.anythingllm.com/installation-docker/local-docker. Подключите постоянную папку хранения к контейнеру, иначе при его пересоздании можно потерять данные.

Встроенной LLM, как в Desktop, здесь нет. Подключите модель отдельно, настройте пользователей и резервное копирование. Проверьте доступ к серверу модели из контейнера.

Настройка LLM: локальная нейросеть или облачный API

В настройках выберите провайдера и модель. Локально поддерживаются Ollama, LM Studio и встроенный вариант Desktop. Адрес API должен быть доступен из окружения приложения: localhost внутри контейнера указывает на сам контейнер.

Общую модель можно переопределить для рабочего пространства и агента. Векторизатор настраивается отдельно: он ищет подходящие фрагменты, а LLM формулирует ответ.

Для облака проверьте тариф, официальную доступность провайдера в России и допустимость передачи внутренних материалов. Локальная конфигурация не требует зарубежного облачного API.

Загрузка PDF, DOCX и TXT: как создать базу знаний

Начните с форматов PDF, DOCX или TXT по одной теме. Уберите дубли и старые редакции. Проверьте текст сканов: ошибки распознавания попадут в поиск.

Можно загружать содержимое веб-страниц; для аудио предусмотрена транскрипция. Проверьте результат извлечения до вопросов к базе. Таблицу с расчётами лучше дополнить текстовым пояснением: поиск фрагментов не проверяет формулы.

1. Создайте рабочее пространство через New Workspace и задайте понятное имя, например «Условия поставки».
2. Выберите модель для чата и загрузите пробный документ через управление документами пространства.
3. Перенесите файл в пространство, подтвердите сохранение и векторизацию. Дождитесь обработки.
4. Спросите: «В каких случаях можно вернуть товар? Укажи документ и условие». Сверьте ответ с оригиналом.
5. Проверьте вопрос, на который в документе нет ответа. Затем добавляйте остальные материалы.
6. Для разового вопроса перетащите файл в чат или нажмите плюс возле ввода. Такое вложение не заменяет общую базу.

Как работает RAG и зачем нужна векторизация

RAG означает Retrieval Augmented Generation: ответ с поиском по внешним источникам. Текст делится на фрагменты. Модель векторизации, или embedding model, превращает их в числовые векторы.

Поиск передаёт LLM близкие по смыслу фрагменты. Это часть контекста запроса. Модель не читает весь архив и не переобучается на ваших файлах.

Небольшое вложение можно передать полностью. При превышении окна контекста приложение предлагает векторизацию. По умолчанию используется векторная база LanceDB.

Режимы Query, Chat и Agent

Откройте настройки пространства, затем Chat Settings и Chat Mode. Query сообщает, если подходящие сведения не найдены. Режим не исключает ошибок: проверяйте числа и условия по оригиналу.

В актуальных версиях Agent включён для новых пространств по умолчанию. Ему нужна модель с поддержкой вызова инструментов. MCP подключает внешние инструменты; разрешайте агенту только нужные действия.

Почему ответы неточные: частые ошибки настройки

Меняйте настройки по одной. Сравнивайте ответы на одинаковые вопросы по источникам, условиям и числам.

• Файл остался вложением другого чата. Добавьте его в нужный разговор или в базу пространства.
• Вопрос слишком общий. Назовите предмет, раздел или условие словами из документа.
• Нужный фрагмент отсекается. В Vector Database Settings проверьте Document similarity threshold; сравните результат с No restriction.
• В базе старые редакции. Удалите их и повторите контрольные вопросы.
• Контекст переполнен. Уменьшите Max Context Snippets или используйте более короткие материалы.
• Поиск выбирает похожий, но неверный текст. Для LanceDB попробуйте Search Preference: Accuracy Optimized. Повторное ранжирование требует дополнительных вычислений.

Приватность: какие данные могут уходить наружу

Локальная LLM не делает всю систему автономной. Проверьте также векторизатор, хранилище, распознавание речи и инструменты. Облачные компоненты могут отправлять данные провайдерам.

Телеметрию можно отключить в настройках приватности. По документации она фиксирует события без текста документов и переписки. Это не отключает облачный API или веб-поиск.

Удаление из пространства убирает его векторы, но оставляет файл в общей библиотеке. Для удаления обработанного текста и кэша векторов используйте «Мои документы». Файл исчезнет и из остальных пространств.

Встречи, автоматизация и мобильное приложение

• Meeting Assistant записывает встречи, распознаёт речь и готовит конспект. На сентябрь 2026 года доступен в Desktop на Windows и macOS, но не Linux. Облачной LLM передаётся расшифровка; с локальной моделью обработка остаётся на устройстве.
• Magic Echo помогает диктовать, Magic Beacon работает с выделенным содержимым, Magic Tab дополняет ввод. В Windows и macOS есть дневные лимиты бесплатного использования; Desktop Pro их снимает.
• Agent Flows собирает действия без программирования. Задания по расписанию выполняют повторяющиеся запросы. Проверьте разрешения и результат на пробных данных.
• Model Router выбирает модель по вашим правилам. Память сохраняет сведения о пользователе или пространстве. Поддержка изображений зависит от выбранной мультимодальной LLM.
• AnythingLLM Mobile для Android запускает небольшие модели на телефоне и связывается с Desktop. Это отдельное приложение.

Практические сценарии для бизнеса

Начните с задачи с проверяемым ответом.

• Продажи: находить условия поставки и готовить ответ для проверки менеджером.
• Поддержка: искать порядок настройки оборудования в технической документации.
• Обучение: отвечать по внутренним регламентам с указанием источника.
• Разработка: находить нужные положения в документации API.

Когда нужна разработка чат-бота для сайта

В Docker есть виджет для сайта, а API позволяет создавать интеграции. Обмен с 1С или CRM нужно проектировать отдельно. Перед публикацией чата проверьте доступ к материалам и содержание ответов.

Разработка чат-ботов в seosite1: https://seosite1.ru/uslugi/chat-boty/. Мы работаем с 1С-Битрикс и 1С, используем хостинг в России. Цену и сроки называем после брифа. Проект ведёт руководитель с опытом с 2009 года; решения и цифры проверяет человек.