반응형
폐쇄망에서 슬프게 코딩하는 사람은 OpenAI, Cluade 를 쓸수가 없다...
하지만, GPU 가 있는 기계가 있다면 오픈 AI 모델을 이용해서 어느정도 사용이 가능하다!
1. 하드웨어
Server : Dell Pro Max ( https://www.dell.com/ko-kr/shop/cty/pdp/spd/dell-pro-max-fcm1253-micro )
Nvidia Blackwell 칩 통합메모리 128G
Client : Windows 11
2. 구성
2.1 서버
ollama 설치하고, 적당한 ai 모델을 pull 해 놓으면 설정완료! ( gpt-oss:120b, qwen3-coder:30b)
로컬 기동으로 실행한다. ( 클라이언트에서 SSH 를 이용한 포워딩 설정으로 접속 )
2.2 클라이언트
SSH 를 이용해 서버 접속을 포워드 터널링?으로 셋팅한다. 올라마를 기본포트(11434)로 실행했다면, 다음과 같이 서버에 접속 하면 된다.
ssh -L 11434:127.0.0.1:11434 사용자명@서버IP
그리고 서버를 로컬같이 브라우저에서 접근하면!
준비 완료!
이제 vscode 를 설치하고, continue extension 을 설치한다.
왼쪽에 컨티뉴 플러그인의 창을 열고, 하단의 Add Chat Model 을 클릭해서 아래와 같이 Ollama / Autodetect 선택 후,
Connect 를 하면 자동으로 모델이 등록된다.
이제 맘껏 써보자!
반응형