Перейти до основного змісту

Чат із локальними моделями штучного інтелекту

Чому локальні моделі ШІ?​

Локальна робота з моделями ШІ має важливі переваги:

  • Зафіксована безпека - ваші дані залишаються на вашому комп’ютері і ніколи не надсилаються на зовнішні сервери
  • Немає додаткових витрат - локальні моделі не мають витрат API за використання
  • Гарантована конфіденційність - ідеально для чутливих документів та інформації

Чому Ollama?​

Ollama — інструмент, який дозволяє легко запускати локальні моделі ШІ. Він встановлюється на кожному комп’ютері окремо, тому немає обмежень за кількістю користувачів — не потрібен спільний сервер.

Встановлення Ollama​

  1. Перейдіть на сторінку завантаження Ollama
  2. Завантажте версію для вашої операційної системи (Windows, macOS або Linux)
  3. Встановіть Ollama, дотримуючись майстра встановлення
  4. Після встановлення Ollama працює у фоновому режимі

Встановлення мовної моделі​

Після встановлення Ollama потрібно завантажити принаймні одну мовну модель:

  1. Відкрийте інтерфейс Ollama (за значком системного трея або в терміналі)
  2. Завантажте мовну модель на вибір

Рекомендована модель​

Краще обирати модель з можливостями tool та vision:

  • Tool capabilities - модель може використовуюти всі інструменти, доступні в застосунку, такі як пошук в Інтернеті та генерація зображень
  • Vision capabilities - модель може аналізувати та описувати зображення
Рекомендована модель

qwen3-vl:4b забезпечує хороший баланс між швидкістю та можливостями інструментів/vision. Встановіть цю модель через термінал:

ollama pull qwen3-vl:4b

Вибір моделі залежно від апаратури​

Продуктивність моделі залежить від апаратного забезпечення вашого комп’ютера:

Апаратне забезпеченняРекомендація
Обмежено (8GB RAM, без GPU)Вибирайте менші моделі (1-4B параметрів)
Середнє (16GB RAM, базовий GPU)Моделі до 7B параметрів
Потужне (32GB+ RAM, сучасний GPU)Можливіші більш великі моделі (13B+)
Швидкість vs. якість

Менша модель зазвичай швидша, але може давати менш точні відповіді. Експериментуйте, щоб знайти найкращий баланс для вашої ситуації.

Налаштування у настільному застосунку​

Як тільки Ollama працює з встановленою моделлю, настільний застосунок автоматично її визначає. Потім у чаті ви можете обрати локальну модель як заміну для моделей у хмарі.

Доступні моделі з підтримкою tool/vision​

Перегляньте повний перелік на ollama.com/library. Фільтруйте за моделями з:

  • тегом Tools для можливостей інструментів
  • тегом Vision для розпізнавання зображень

Популярні варіанти:

  • qwen3-vl:4b - Компактна, швидка, інструменти + vision
  • llama3.2-vision - можливості Vision
  • mistral - швидкі загальні завдання
WhatsApp