Перейти к основному содержимому

Общение с локальными моделями ИИ

Почему локальные модели ИИ?​

Локальная работа с моделями ИИ дает важные преимущества:

  • По умолчанию безопасно - ваши данные остаются на вашем компьютере и никогда не отправляются на внешние серверы
  • Нет дополнительных затрат - локальные модели не имеют затрат на использование API
  • Гарантированная конфиденциальность - идеальны для чувствительных документов и информации

Почему Ollama?​

Ollama — инструмент, который позволяет легко запускать локальные модели ИИ. Он устанавливается отдельно на каждом компьютере, поэтому ограничений по числу пользователей нет — не нужна общая серверная часть.

Установка Ollama​

  1. Перейдите на страницу загрузки Ollama download page
  2. Скачайте версию для вашей операционной системы (Windows, macOS или Linux)
  3. Установите Ollama, следуя мастеру установок
  4. После установки Ollama автоматически запустится в фоновом режиме

Установка языковой модели​

После установки Ollama необходимо просмотреть как минимум одну языковую модель:

  1. Откройте интерфейс Ollama (через значок системного трея или терминал)
  2. Скачайте языковую модель по выбору

Рекомендуемая модель​

Предпочитайте модель с возможностями tool и vision:

  • Tool capabilities - модель может использовать все инструменты, доступные в приложении, такие как поиск в интернете и генерация изображений
  • Vision capabilities - модель может анализировать и описывать изображения
Рекомендуемая модель

qwen3-vl:4b предлагает хорошее сочетание скорости и возможностей инструментов/vision. Установите эту модель через терминал:

ollama pull qwen3-vl:4b

Выбор модели в зависимости от аппаратного обеспечения​

Производительность модели в значительной степени зависит от аппаратного обеспечения вашего компьютера:

Аппаратное обеспечениеРекомендация
Ограниченное (8GB RAM, без GPU)Выбирайте меньшие модели (1-4B параметров)
Среднее (16GB RAM, базовый GPU)Модели до 7B параметров
Мощное (32GB+ RAM, современный GPU)Возможны более крупные модели (13B+)
Скорость vs. качество

Маленькая модель обычно быстрее, но может давать менее точные ответы. Экспериментируйте, чтобы найти лучший баланс для вашей ситуации.

Конфигурация в настольном приложении​

Как только Ollama запущен с установленной моделью, настольное приложение обнаружит это автоматически. Затем вы можете в чате выбрать локальную модель как альтернативу облачным моделям.

Доступные модели с поддержкой tool/vision​

Полный список смотрите на ollama.com/library. Фильтруйте по моделям с:

  • тегом Tools для возможностей инструментов
  • тегом Vision для распознавания изображений

Популярные варианты:

  • qwen3-vl:4b - Компактная, быстрая, tool + vision
  • llama3.2-vision - Возможности vision
  • mistral - Быстрые общие задачи
WhatsApp