Jan으로 첫 로컬 AI 대화를 해보면 더 자연스러운 한국어 모델, 모델별 답변 차이와 내 PDF를 인터넷에 올리지 않고 요약하는 방법이 궁금해진다.
LM Studio는 모델을 직접 검색하고 크기와 양자화를 골라 내려받은 뒤 원하는 모델을 메모리에 불러와 대화하는 앱이다.
설치와 첫 모델 선택
LM Studio는 Apple Silicon 맥과 Windows, Linux를 지원한다. 공식 문서는 16GB RAM을 권장하며 Windows에서는 전용 VRAM 4GB 이상을 권장한다.
공식 사이트에서 앱을 설치하고 Discover 메뉴에서 모델을 찾는다.
- RAM 8GB: 1B~4B 작은 Q4 모델
- RAM 16GB: 7B~8B급 Q4 모델
- RAM 32GB: 14B급 전후를 여유에 맞춰 시험
처음부터 가장 큰 파일보다 앱이 호환 또는 권장으로 표시하는 모델을 고르는 편이 안전하다.
모델을 불러와 비교하기
다운로드 뒤 Chat 화면의 모델 선택기에서 모델을 선택한다. 이를 모델 로드라고 하며 파일을 RAM이나 GPU 메모리에 올리는 과정이다.
같은 한국어 문장 다듬기 질문을 여러 모델에 입력해 속도와 표현을 비교한다. 모델 순위보다 내가 자주 하는 작업으로 시험하는 것이 정확하다.
내 문서와 대화하기
문서를 채팅에 끌어다 놓고 핵심 내용과 날짜, 금액을 정리하게 할 수 있다. LM Studio는 문서 처리가 기기 안에서 이뤄지고 입력 자료가 앱 밖으로 나가지 않는다고 설명한다.
처음에는 공개된 짧은 PDF로 시험하고 숫자와 날짜는 원문과 대조한다. 긴 문서는 작은 모델이 내용을 놓칠 수 있어 적당한 단위로 나누는 편이 좋다.
오프라인과 속도 확인
모델과 실행 엔진을 받은 뒤 인터넷을 끄고 질문해본다. 기본 채팅과 문서 처리, 로컬 서버는 오프라인으로 작동한다. 모델 검색과 다운로드, 외부 MCP와 웹 검색에는 인터넷이 필요하다.
느리다면 더 작은 모델로 바꾸고 메모리를 많이 쓰는 앱을 닫는다. 문맥 길이를 무작정 늘리지 않는 것도 중요하다.
모델은 수GB씩 저장 공간을 차지하므로 쓰지 않는 버전을 정리한다. 로컬 API 서버는 다른 앱과 AI를 연결할 때 유용하지만 일반 채팅만 한다면 켤 필요가 없다.
가장 빨리 첫 대화를 하려면 Jan, 모델과 문서를 직접 비교하려면 LM Studio, 터미널과 개발 자동화가 목적이면 Ollama가 어울린다.
관련 글
같은 맥락에서 이어서 읽기 좋은 글들입니다.