Вы определились с размером. Следующий вопрос: откуда взять саму модель? Сегодня это не только технический, но и стратегический, финансовый и юридический выбор. Разберем все варианты на карте.  

Сектор 1: Open Source модели (Прозрачность, контроль, экономия)  

Где искать:  

• Hugging Face Hub — «GitHub для моделей». Основной источник. Тысячи моделей с рейтингами, тестами, лицензиями. Фильтры по задачам, размеру, языку.  

• Официальные репозитории разработчиков: Meta (Llama), Microsoft (Phi), Mistral AI, Google (Gemma), Alibaba (Qwen). Там всегда самые свежие и канонические версии.  

Плюсы:  

• Полный контроль и суверенитет данных: Модель работает внутри вашего периметра. Данные никуда не уходят.  

• Бесплатная лицензия на использование: (Внимательно читайте лицензию! Llama 3 — коммерческая, но с ограничениями).  

• Гибкость: Можете модифицировать, дообучать, оптимизировать под свое железо.  

• Прозрачность и аудируемость: Можно (теоретически) исследовать архитектуру, что важно для регулируемых отраслей.  

• Прогнозируемая стоимость (CapEx): Разовые затраты на железо. При больших объемах трафика — дешевле API в долгосрочной перспективе.  

Минусы:  

• Требует экспертизы: Нужна команда ML Ops для развертывания, оптимизации, мониторинга.  

• Инфраструктурные затраты: Покупка/аренда GPU, администрирование.  

• Качество может отставать: Хотя лидеры (Llama 3 70B, Mixtral) догоняют GPT-4, в самых сложных задачах разрыв еще есть.  

• Ответственность за обновления лежит на вас.  

Сектор 2: Облачные API (Скорость, простота, SOTA-качество)  

Ключевые игроки:  

• OpenAI (GPT-4o, GPT-4 Turbo): Лидер по качеству рассуждений и экосистеме.  

• Anthropic (Claude 3 Opus/Sonnet/Haiku): Сильные в безопасности, следовании инструкциям, работе с длинным контекстом.  

• Google AI (Gemini Pro/Ultra): Интеграция с экосистемой Google, силен в мультимодальности.  

• Российские/локальные: Yandex GPT, GigaChat, SberBank AI. Ключевой фактор — геолокация данных и поддержка русского языка/контекста.  

Плюсы:  

• State-of-the-Art качество: Доступ к самым передовым, дорогим в обучении моделям.  

• Нулевые операционные расходы на инфраструктуру: Не нужно думать о GPU.  

• Простота и скорость старта: Подключил API ключ — и работаешь.  

• Автоматическое масштабирование и обновления: Провайдер всегда дает самую свежую, отлаженную версию.  

• Часто лучшая latency за счет гигантских инференс-кластеров провайдера.  

Минусы:  

• Выходные данные — ваши, входные — их? Главный риск. Нужно тщательно читать политику данных (Data Processing Agreement). Azure OpenAI и некоторые другие предлагают гарантии, что ваши данные не идут на обучение.  

• «Черный ящик»: Не знаете, как работает модель. Сложно гарантировать полное отсутствие bias или следование специфичным правилам.  

• Постоянные расходы (OpEx): Платите за токены. При высоком трафике счет может быть огромным.  

• Зависимость от провайдера: Риски изменения цен, правил, блокировок, простоев.  

Сектор 3: Приватные/корпоративные модели (Максимальная безопасность, кастомизация)  

Что это: Провайдер (часто крупный вендор: Nvidia, Sber AI, MTS AI) развертывает и обслуживает модель на вашем собственном железе или в выделенном облачном контуре (private cloud/VPC).  

• Примеры: Nvidia NIM, решения от SberCloud AI, Yandex Cloud с приватным развертыванием.  

Плюсы (объединяет плюсы OSS и API):  

• Суверенитет данных: Модель физически в вашем контуре.  

• Качество и поддержка: Модель настраивается и поддерживается вендором (часто это форк OSS-моделей с доработками).  

• Соглашения об уровне услуг (SLA): Гарантии uptime, поддержки.  

Минусы:  

• Самый дорогой вариант: Сочетает CapEx (железо) и OpEx (лицензия/поддержка вендору).  

• Вендор-лок (Vendor Lock-in): Привязка к конкретному вендору и его стеку.  

Сектор 4: Специализированные и нишевые модели  

• Для кодирования: DeepSeek-Coder, CodeLlama, Starcoder (от ServiceNow). Обучены на коде, имеют расширенный контекст для работы с целыми файлами.  

• Мультимодальные: LLaVA, Qwen-VL, Fuyu (от Adept). Умеют «понимать» изображения.  

• Для математики/науки: DeepSeek-Math, WizardMath.  

• Крошечные для edge: Phi-3, TinyLlama.  

Стратегия выбора: Дерево решений  

Задайте себе вопросы по порядку:  

1. Где находятся ваши данные и каковы требования к compliance?  

   • *Персональные данные (GDPR, ФЗ-152), гостайна, финансы? * → Open Source (self-hosted) или Приватная модель в вашем контуре. Облачные API — только с гарантированным DPA и в регионе, где это разрешено (например, Yandex Cloud РФ).  

   • Публичные, неконфиденциальные данные? → Все варианты открыты.  

2. Какова ваша экспертиза и бюджет на команду?  

   • Нет ML-инженеров, нужен быстрый старт? → Облачные API.  

   • Есть сильная ML Ops команда, хотим контроль и долгосрочную экономию? → Open Source.  

   • Есть бюджет, нужны гарантии и безопасность без головной боли? → Приватная модель от вендора.  

3. Насколько критично максимальное качество (SOTA)?  

   • Пилотный проект, внутренний инструмент, задача не высшей сложности? → Open Source 7B-70B часто достаточно.  

   • Ключевой customer-facing продукт, где качество ответа напрямую влияет на выручку? → Облачной API (GPT-4/Claude) или топовая OSS-модель (Llama 3 70B).  

4. Какой объем трафика (количество запросов)?  

   • Низкий/средний трафик: Облачные API могут быть выгодны.  

   • Высокий/постоянный трафик (тысячи запросов в час): Self-hosted OSS становится экономически неизбежным.  

Гибридная стратегия — стратегия чемпионов:    
Не выбирайте одно. Используйте миксы:  

• «Слоеная» архитектура: Легкие OSS-модели (7B) для простых/рутинных запросов и фильтрации. Сложные запросы маршрутизируются на тяжелую облачную модель (GPT-4).  

• Развитие: Начать с Облачного API для прототипа и сбора данных. Параллельно строить инфраструктуру для OSS-модели. Когда OSS-модель дообучена и показывает адекватное качество — перенести на нее основной трафик, оставив облако как fallback для сложных кейсов.  

Вывод для CTO/Product Manager:    
Выбор источника LLM — это выбор между контролем, стоимостью, качеством и скоростью выхода на рынок. Составьте таблицу с оценкой по этим критериям для вашего проекта. Помните: самый популярный путь сегодня — начать с облачного API для валидации идеи, затем перейти на self-hosted OSS-модель для контроля и масштабирования. И всегда, всегда читайте лицензионные соглашения и политики данных.