정량화는 메모리 문제를 해결합니다
로컬 대형 모델은 일반적으로 전체 FP16 가중치가 있는 소비자급 그래픽 카드에서 직접 실행할 수 없으므로 GGUF, AWQ 및 GPTQ와 같은 양자화 형식은 가중치를 더 작은 표현으로 압축합니다. Q4, Q5, Q6 및 Q8은 다양한 정밀도와 크기의 절충안을 나타냅니다. 정확도가 높을수록 품질이 더욱 안정적이고 점유율도 높아집니다. 정확도가 낮을수록 점유율은 작아지지만 추론 안정성, 긴 컨텍스트 성능 또는 복잡한 작업 기능이 손실될 수 있습니다.
일반 사용자의 경우 먼저 수량화의 모든 세부 사항을 숙지할 필요가 없습니다. 보다 실용적인 판단은 다음과 같습니다. 비디오 메모리를 완전히 로드할 수 있습니까? 귀하의 작업은 품질에 민감한가요? 긴 맥락이 필요합니까? 이 세 가지 질문은 Q4, Q5/Q6 또는 Q8을 선호할지 여부를 결정합니다.
Q4: 가장 일반적인 입학 선택
Q4의 장점은 직업이 적고 작전 범위가 넓다는 점이다. 7B, 14B 및 심지어 더 큰 모델 중 다수는 Q4 없이는 일반 데스크탑 하드웨어에 들어가기가 어렵습니다. Q4는 채팅, 요약, 경량 코드 설명 및 탐색 모델 기능을 위한 합리적인 시작점이 되는 경우가 많습니다.
단점은 품질 손실이 더 명백하고 특히 복잡한 추론, 수학, 긴 코드 생성 및 다중 라운드 컨텍스트에서 더 불안정할 수 있다는 것입니다. 사용자가 "그냥 달리기"를 추구한다면 Q4가 좋은 선택입니다. 사용자가 안정적인 출력을 추구한다면 Q5, Q6 이상의 그래픽 메모리 구성을 우선적으로 선택해야 합니다.
Q5 및 Q6: 대부분의 사람들을 위한 고품질 디저트
Q5/Q6은 일반적으로 장기간 사용 시 더 나은 절충안입니다. Q4보다 더 많은 공간을 차지하지만 많은 작업에 대한 품질이 더 안정적이며 프로그래밍, 긴 기사 요약, 지식 Q&A 및 환상이 덜 필요한 시나리오에 특히 적합합니다. 많은 현지 LLM 사용자는 일상적인 사용을 위해 Q5_K_M 또는 Q6_K를 선호하는 선택으로 간주합니다.
Local LLM의 이퀄라이제이션 모드는 이러한 유형의 버전에 더 편향되어야 합니다. 품질을 위해 불안정한 Q8을 강제로 선택하거나 메모리를 절약하기 위해 가장 낮은 양자화를 기본값으로 설정하지 마십시오. 사용자가 비디오 메모리를 입력한 후 권장 결과의 메모리 분할은 현재 양자화를 위한 공간이 아직 있는지 확인하는 데 도움이 될 수 있습니다.
Q8: 품질은 더 안정적이지만 직업은 더 높습니다.
Q8은 고정밀 경험에 가깝고 일반적으로 그래픽 메모리가 더 큰 장치나 사용자가 명시적으로 품질 우선 순위를 선택한 경우에 적합합니다. 장점은 양자화 손실이 더 작고 출력이 더 안정적이라는 것입니다. 단점은 비디오 메모리 사용량이 낮은 압축 상태에 가까워서 KV 캐시와 실행 여유가 줄어든다는 것입니다.
Q8에서 CPU 메모리에 대한 부분적인 오프로드가 필요한 경우 실제 경험은 덜 양자화되었지만 전체 GPU 실행 버전만큼 좋지 않을 수 있습니다. 추천 시스템은 정량적 정확성만으로는 분류할 수 없으며 작동 방법, 속도 범위 및 사용자 용도도 고려해야 합니다.
긴 컨텍스트는 최적의 양자화를 변경합니다.
많은 사용자는 모델 가중치만 보고 KV 캐시를 무시합니다. KV 캐시는 컨텍스트가 4K에서 32K, 128K로 증가함에 따라 크게 증가합니다. 4K에서 실행할 수 있는 Q6 모델은 Q4로 다운그레이드하거나 장기적으로 더 작은 모델로 전환해야 할 수도 있습니다.
따라서 "긴 컨텍스트 우선" 모드는 단순히 가장 큰 모델을 권장하는 것이 아니라 더 많은 메모리 마진을 유지해야 합니다. RAG, 긴 문서 읽기, 코드 기반 분석의 경우 단일 답변의 이론적 품질보다 안정적인 처리 컨텍스트가 더 중요합니다.
로컬 LLM의 선호도를 이해하는 방법
품질 우선순위는 더 높은 품질, 더 큰 매개변수 또는 더 높은 양자화를 갖춘 후보를 선택하려고 시도합니다. 균형을 맞추면 품질, 메모리 마진 및 속도가 절충됩니다. 긴 컨텍스트는 KV 캐시가 실행 공간을 차지하는 것을 방지하기 위해 보수적으로 더 작은 점유를 선택합니다.
여기가 블로그와 도구가 함께 작동해야 하는 곳입니다. 이 기사에서는 Q4/Q5/Q6/Q8의 기본적인 장단점을 설명합니다. 이 도구는 사용자의 하드웨어 및 Hugging Face 모델 데이터를 기반으로 현재 실행 가능한 버전을 제공하고 해당 모델 페이지에 대한 다운로드 링크를 가리킵니다.