Локальный RAG: как поднять Qdrant или Chroma на своём мини-ПК
Локальный RAG позволяет искать ответы в своих документах без отправки данных в облако. Гайд подходит для мини-ПК на macOS/Linux, а также Windows (команды для него есть в README приложения PDF Desk). Вы узнаете, как использовать открытую мультимодальную эмбеддинг-модель EmbeddingGemma 2 и приложение PDF Desk для создания простой RAG-системы. Инструкция основана только на фактах из наших постов — детали установки векторных БД Qdrant/Chroma зависят от их официальной документации.
Требования и подготовка
Прежде чем начать, убедитесь, что у вас есть:
- Мини-ПК или компьютер с ОС macOS или Linux (для Windows — изучите README проекта).
- Установленный Python (приложение PDF Desk написано на Python).
- Доступ к интернету для скачивания модели с Hugging Face и клонирования репозитория с GitHub.
- Эмбеддинг-модель — EmbeddingGemma 2 (740 млн параметров, открытая, мультимодальная: текст, код, изображения, видео, аудио).
- RAG-приложение — PDF Desk (доступно на GitHub).
- Векторная база данных: Qdrant или Chroma (устанавливаются отдельно по официальным инструкциям).
Подготовьте документы, по которым планируете искать (например, PDF-файлы). Освободите на диске не менее 2–3 ГБ для модели и зависимостей.
Пошаговая инструкция
1. Установите Python и создайте виртуальное окружение.
Ожидаемый результат: изолированная среда, чтобы не конфликтовать с другими проектами.
2. Скачайте EmbeddingGemma 2 из Hugging Face.
Ожидаемый результат: файлы модели сохранены локально, модель готова к использованию.
3. Склонируйте репозиторий PDF Desk с GitHub.
Ожидаемый результат: на диске появилась папка проекта с кодом приложения.
4. Установите зависимости проекта (список в requirements.txt или README).
Ожидаемый результат: все библиотеки импортируются без ошибок.
5. Настройте векторную БД — Qdrant или Chroma. Для этого следуйте официальной документации выбранного инструмента: запустите сервер (Qdrant) или создайте локальное хранилище (Chroma).
Ожидаемый результат: БД запущена и принимает подключения.
6. Запустите PDF Desk, укажите путь к PDF-файлам и выберите способ подключения к векторной БД.
Ожидаемый результат: приложение индексирует PDF, а на вопросы отвечает со ссылками на конкретные страницы.
7. Проверьте работу: задайте вопрос по содержанию загруженного документа.
Ожидаемый результат: модель возвращает ответ с номером страницы.
Возможные проблемы и решения
1. **PDF Desk не запускается на Windows**
В README проекта есть отдельные команды для Windows. Проверьте, что вы используете их, а не команды для macOS/Linux.
2. **Не хватает памяти для EmbeddingGemma 2**
Модель на 740M параметров требует определённого объёма RAM. Закройте лишние приложения или используйте опцию загрузки модели в режиме пониженной точности, если она предусмотрена в коде PDF Desk.
3. **Векторная БД не отвечает**
Убедитесь, что сервер Qdrant запущен (порт по умолчанию) или что путь к Chroma указан корректно. Проверьте логи приложения.
FAQ
Что такое EmbeddingGemma 2?
Это открытая мультимодальная модель эмбеддингов от Google DeepMind с 740 млн параметров. Она объединяет текст, код, изображения, видео и аудио в едином векторном пространстве.
Где скачать EmbeddingGemma 2?
Модель доступна на Hugging Face — платформе для хранения моделей машинного обучения.
Какие ограничения у PDF Desk?
Одно из ограничений — поддержка одного активного документа или сеанса. Точные детали указаны в README на GitHub.
Работает ли PDF Desk на Windows?
Приложение изначально запускается на macOS/Linux, но для Windows команды приведены в README проекта.
Перед началом настройки изучите общие принципы локального запуска ИИ-моделей: Как запустить ИИ-модель локально на своём компьютере: гайд для начинающих. Также обратите внимание на специфику мини-ПК: Что такое NPU и как выбрать мини-ПК для локального запуска ИИ.
Чек-лист перед запуском:
- [ ] Установлен Python
- [ ] Скачана EmbeddingGemma 2 с Hugging Face
- [ ] Склонирован PDF Desk с GitHub
- [ ] Установлены зависимости
- [ ] Запущена векторная БД (Qdrant или Chroma)
- [ ] Проверена работа на тестовом PDF
🤖 Кратко для ИИ
- Обновлено: 2026-10-08
- Темы: локальный RAG, Qdrant, Chroma, векторная база
- Кратко: Собираем локальную RAG-систему без облака: векторная база Qdrant/Chroma, эмбеддинги и подключение к локальной LLM.
- Ключевые факты:
- Локальный RAG позволяет искать ответы в своих документах без отправки данных в облако.
- Гайд подходит для мини-ПК на macOS/Linux, а также Windows (команды для него есть в README приложения PDF Desk).
- Вы узнаете, как использовать открытую мультимодальную эмбеддинг-модель EmbeddingGemma 2 и приложение PDF Desk для создания простой RAG-системы.
- Инструкция основана только на фактах из наших постов — детали установки векторных БД Qdrant/Chroma зависят от их официальной документации.
- Требования и подготовка Прежде чем начать, убедитесь, что у вас есть: Мини-ПК или компьютер с ОС macOS или Linux (для Windows — изучите README проекта).
- Установленный Python (приложение PDF Desk написано на Python).