pe 어쩌고 수치로는 5비트 이하부터 못 쓸 손실 %라고 나오던데 실제로는 4비트도 차이가 거의 없네요 
근데 70b 1비트 지린다 ㄷㄷ

개인적으로 mmlu 80은 최소한 넘어야 뭔가 해볼 수 있는 마지노선인거같은데
70b 3bit이면 되네요

4090으로 Llama3 8B 잘 쓰고 있었는데  Llama3-ChatQA-1.5-70B.i1-IQ2_M.gguf (24.12GB) 다운받아 해볼게요. 몇 주전에 5Q는 넘어야 쓸만하다고 들어서 Llama3-70B 40GB 짜리 받아서 해봤는데 vram full, cpu/gpu full, ram 100GB 먹으면서 3분동안 '안녕' 에 대한 대답을 못했었네요.

13900K, RAM128, 4090. Llama3-ChatQA-1.5-70B.i1-IQ2_M.gguf (24.12GB) 모델 테스트 결과 
  context length: 1024, GPU Max(24GB) 로 설정.
  RAM 50GB 정도 추가로 로드되고 GPU 메모리 23.4GB 로딩.
  '한국어로만 설명해줘' 를 입력하면 약 2~3분 후에 응답.
  결론: 모델 삭제 후 다시 Llama-3-8B 로 변경.

근데 70B의 Q5-K-M 버전이 48기가 vram에 들어가긴 하던가...? exl2하곤 좀 다르게 계산해야 하던데

그런데 24기가여도 시스템에서 꼭 1-2기가는 잡아먹고 있어서 22기가 안쪽으로 들어와야 사용 가능하던데 70B-IQ2-S는 얼마나 먹을까요?

오 항상 뭐가 좋을지 고민했는데 자료 감사합니다!

듀얼 구성을 해야하나... 쩝