Блог
Практические материалы о VRAM, Mac, квантовании, моделях для кода и локальных vision-моделях.
Руководство по видеопамяти
От 6 ГБ, 8 ГБ, 12 ГБ, 24 ГБ до 48 ГБ объясните, как объем параметров модели, квантованная версия, кэш KV и системные издержки объединяются, чтобы определить, можно ли его загрузить.
Читать статьюApple чип
Объясните, почему всю память Mac нельзя использовать в качестве видеопамяти и как выбрать подходящую модель для компьютеров с памятью 16 ГБ, 32 ГБ, 64 ГБ и 128 ГБ.
Читать статьюКоличественная оценка
Более распространенная количественная оценка GGUF использования памяти, потери качества и компромисса в скорости помогает пользователям понять три предпочтения: приоритет качества, баланс и длинный контекст.
Читать статьюмодель программирования
Используя четыре сценария генерации кода, интерпретации, реконструкции и длинного контекста, объясните, почему в целях программирования нельзя просто учитывать размер модели и объем загрузки.
Читать статьюмультимодальный
В этой статье рассматриваются дополнительные проблемы графической памяти, кодирования изображений, контекста и внутренней поддержки рассуждений, которые необходимо учитывать в визуальных моделях по сравнению с текстовыми моделями.
Читать статьюВыбор инструмента
Объясните обычным пользователям процесс установки, управление моделями, настройку производительности и применимые группы из трех распространенных методов локального запуска.
Читать статью