Расшифровать интервью можно на видеокарте с несколькими гигабайтами памяти. Для разговора с большой языковой моделью на том же компьютере памяти может не хватить уже после нескольких страниц текста. Перед покупкой полезно взять один рабочий пример — свою запись, договор или переписку — и проверить, где именно компьютер начинает ждать.
Три задачи, для которых известны цифры
| Задача | Модель и требования | Что попробовать |
|---|---|---|
| Чат по короткому тексту | Файл Qwen2.5-1.5B-Instruct в варианте Q4_K_M занимает 1,12 ГБ на диске. При запуске программе нужна дополнительная память для вычислений и истории разговора. | Задайте один вопрос по абзацу, затем повторите с несколькими страницами. Сравните точность ответа и время до первого слова. |
| Расшифровка интервью | Разработчики Whisper указывают около 2 ГБ видеопамяти для small и 5 ГБ для medium. Для разговора на русском нужна многоязычная версия. | Возьмите минуту записи с фоновым шумом. Сравните имена, числа и профессиональные термины в двух расшифровках. |
| Скорость ответа в локальном чате | В тесте Puget Systems Phi-3 Mini Q4_K_M на RTX 5060 8 ГБ выдавала 131,94 токена/с, на RTX 5060 Ti 16 ГБ — 136,40. Использовался llama.cpp версии 5122, измеряли генерацию 128 токенов. | В этом тесте компактная модель поместилась на обеих картах. На время обработки длинного документа эти две скорости переносить нельзя. |
Почему файл помещается на диске, а видеопамять заканчивается
У языковой модели есть веса — большой файл, который вы скачиваете. Во время разговора программа дополнительно хранит данные о предыдущих словах. Чем длиннее история, тем больше места они занимают. Поэтому надпись «модель весит 6 ГБ» сама по себе ещё не даёт ответа, будет ли ей удобно на карте с 8 ГБ.
В llama.cpp часть вычислений можно передать процессору. Модель тогда использует обычную оперативную память и способна запуститься на компьютере с небольшой видеокартой. Посмотрите, насколько быстро появляется первый ответ и устраивает ли вас темп длинной переписки.
Что можно проверить на своём ноутбуке
В Windows откройте «Диспетчер задач → Производительность» и выберите дискретную видеокарту. Запишите объём выделенной памяти и сколько уже занято. Запустите модель на коротком запросе, затем повторите с настоящим документом. Для расшифровки удобнее замерить, сколько минут компьютер обрабатывает десятиминутную запись и сколько правок остаётся сделать вручную.
Два примера настольных компьютеров
В каталоге 20 ноября встречалась сборка KWIK с RTX 3050 на 6 ГБ и 16 ГБ оперативной памяти. Объём видеопамяти покрывает опубликованный разработчиками ориентир для Whisper small и medium.
Второй пример — KWIK с RTX 5060 Ti на 16 ГБ и 32 ГБ оперативной памяти. Здесь больше места для весов и длинного диалога. В подборке с RTX 5060 и RTX 5060 Ti встречаются и версии на 8 ГБ, поэтому проверьте объём в выбранной комплектации. Для облачного чата такой расчёт не требуется — ответ готовит сервер сервиса.