동결하고 레이어 20~27 8개 레이어만 한국어 raw 학습 이어서 하면 내 한국어 도메인 raw를 성능 저하 없이 채팅 모드로 이용할 수 있다는것 같네요.(추측) 상세한 정보는 없네요. (llama pro 논문과 , 이 챈에서 비슷한 개념을 이야기 했던거 같아요)

레딧에 올라온 글을 읽어봤는데, 성능저하가 없다 라는 부분이 조금 모시깽합니다.
모델 머징으로 늘린 후 중반 8개 레이어를 훈련시켰는데 원본 모델의 성능 손실이 없다...?
정량적 평가결과 나오기 전에는 부정적인 입장입니다.

흠.. 이렇게 확장모델에는 늘 똑같은 고질병이 존재하네요.. ㅜ.ㅜ (다른 모델들도 똑같은 문제들을 겪고 있다고 함)
그게 뭐냐면..?
질문에 대한 답변이 반복되네요..
그냥 딱 보면 한글로 대답이 잘 나오는거 같아 보이지만..
딱 몇번 테스트 해보면 답변을 중복해서 길게 빼내는구나라는걸 알게됩니다.
템플릿 바꿔가면서 테스트도 해밨지만.. 똑같습니다.
결론은,.. 기존의 모델을 확장하면 답변반복 문제가 발생한다. 끝~