Openclaw + Ollama 사용기 - 1

1주일 사용 요약

• 유튜브에서 홍보하는 것 만큼 만능이 아니다. (그렇게 할 수는 있겠지만 큰 힘에는 큰 책임이 따르고, 큰 자유는 내 모든 개인정보가 탈탈 털리는 결과가 될 것이다.)
• 원래 개발을 하던 사람이 아니면 Openclaw 사용을 추천하지 않는다. 조만간 더 보안이 뛰어나고 완성도가 높은 툴이 나올 것이다. 실제로도 나오고 있는 중이다. Openclaw는 경악스러울 정도로 보안이 되어있지 않다. 신경써야 할게 너무 많다. 게다가 뭐만 하면 에러가 나고, 경로가 꼬이고, 실행이 멈춘다.
• Ollama 로컬로 돌리기 위해 맥미니를 샀다면, 램 32도 부족하다. 답변 하나가 나오는데 한세월이 걸린다. 램은 다다익선이지만, 결국 유료 모델을 이기지 못한다.
• 그래도 Agent의 미래가 어떻게 흘러가는지에 대해 흥미가 있고, 여러 Model들에 대한 것들을 공부해보고자 하는 것에 초점을 둔다면 그럴 가치가 있다고 생각한다. 아이디어 자체는 굉장히 앞서간다. Openclaw 붙이면서 공부한 것도 정말 많다.
• Ollama로 전부 돌리지 말고 Openrouter의 무료 LLM 여러개를 돌려쓰고 하위 동작들 중 일부는 로컬로 돌려서 사용하는 것도 좋다. 나는 이미지 분석의 경우 로컬로 돌리고 나머지는 Openrouter LLM을 사용했다.

로컬로 돌리는 개인 비서

최근 알고리즘에 끊임없이 올라오는 moltbot의 등장과 함께 개인 AI 비서가 세상을 휩쓸었다. 진짜 뭐든 해주는 AI라니. 유튜브에서 모두가 이 moltbot, 아니, 이제 openclaw가 된 Agent를 찬양하는 이야기가 가득해졌지만 문득 의문이 들었다. 그렇게나 대단한 AI인데 왜 정작 결과물에 대한 이야기는 들리지 않는 걸까. 맥미니만 있으면 누구나 local에서 Ollama를 통해 무제한으로 AI를 사용할 수 있다고 하는데, 왜 그럼 모두가 Ollama를 사용하지는 않는 걸까.

 

결국 해보지 않으면 알 수 없다. 그래서 맥미니를 구입했다. 극단적 결정이지만 나는 이런 신기술은 무조건 직접 사용해야 직성이 풀린다.

 

스팩

* 맥미니 M4

* 32g RAM

* 512GB 저장공간

 

주문을 하는 것 까지는 좋았지만, 주문 후 배송까지 거의 3주가 걸렸다. 나만 로컬에서 AI를 돌리겠다는 생각을 하는게 아니었던 탓이었다. 지금 와서 생각하는 거지만.... 조금 더 기다렸다가 당근에 나오는 매물을 구했어도 나쁘지 않았을 것 같다는 생각이 들었다. 이미 늦은 생각이었지만.

 

실행 방식

보안

Docker로 실행했을 때 파일 조작과 브라우저 작업 등을 실행하는게 잘 되지 않았다 보니, 공식 홈페이지에서 말하는 직접 설치가 본래 목적에 맞게 사용할 수 있는 방법이기는 하다. 하지만 도커도 아니고 컴퓨터에 직접 설치해서 쓰는 건 당연히 위험하다. 많이 업데이트 했다고는 하지만, LLM을 완전히 통제할 수 없으면 의미가 없으니까.

 

그래서 나는 다음과 같은 방법을 사용했다.

 

1. 방화벽 세우기 (맥미니 외부 원격 접근 차단)
2. 모든 계정은 절대 개인 계정이 아닌 Openclaw 전용 계정을 생성해서 주기(구글 자녀 계정 생성)
3. Mac 미니에서 관리자 계정이 아닌 서브 계정을 하나 더 만들어서 격리하기
4. 환경변수는 .env로만 관리하기
5. 어떤 개인정보도 주지 않기. (가명 사용)

일단 이정도로 해두고 이후에 LLM과 연결한 후에는 한번 전체적으로 문제가 되는 부분이 없는지 스캔을 실행하게 하고, 추가 작업을 수행했다. LLM에 프롬프트로 민감 정보는 늘 마스킹하고 유출하지 않도록 약속을 걸 수도 있다. 하지만 이 부분은 우회하면 금방 뚫리기에 확실하게 환경변수로 관리해야 한다.

모델

우선, 처음 목적은 100% 로컬로 돌리는 것이었다. 적어도 붙여서 테스트할 때 까지는 그렇게 생각했다. 로컬 모델은 다음과 같이 사용했다. 정말, 정말 많이 시도해보며 가장 잘 맞는 것을 찾아보려 했다.

 

• glm-4.7-flash (돌아감, 그나마 베스트)
• qwen2.5-coder-14b (간신히 돌아감)
• qwen2.5-coder-32b (못씀)
• qwen3-coder-30b (못씀)
• glm-4.6v-flash (못씀)
• qwen2-vl-7b-instruct (이미지 분석 전용으로는 쓸만함)
• qwen2.5-coder-7b-instruct - 돌아감. 애매한 성능
• gemma-3-4b-it - 돌아감. 애매한 성능
• meta-llama-3.1-8b-instruct - 돌아감. 대화 능력이 좋지 않음. 툴 사용에 특화됨
• google/gemma-3-4b - 돌아가지만 사용하기 애매함

Ollama로 돌리는 방법도 있지만, 여러가지 확인해봤을 때 애플 실리콘 칩을 최대한으로 활용하고 부족한 램을 관리하기 위해서는 LM Studio를 사용하는게 가장 좋다. 여러 모델의 양자화 버전을 huggingface에서 바로 받을 수도 있다. 게다가 어떤 모델이 실행중인지, 램을 얼마나 사용하게 할지도 모두 관리할 수 있기 때문에 여러개의 모델 사용에 있어서는 좋은 선택이라고 할 수 있다.

 

위의 모델을 모두 맥미니에서 실행을 시도하려 했을 때, 우선 절반은 사용하지 못했다.

• qwen2.5-coder-32b
• qwen3-coder-30b
• glm-4.6v-flash  (못씀)

이유는 램이 부족해서였다. 32기가 램이지만 32를 모두 사용할 수 있는게 아니고, Openclaw도 같이 사용하다보니 이것저것 램을 쓰면 남은 것은 거의 17~20기가 램이다. LM Studio에서 경고를 끄면 사용할 수는 있지만, 컴퓨터가 버벅거릴 수도 있고, 갑자기 꺼질 가능성도 있다 보니 그냥 Strict 내에서 최대한으로 사용하려 했다.

 

결국 Ollama 모델 중 가장 쓸만한 건 glm-4.7-flash였다.

 

glm-4.7-flash

 

간단하게 테스트를 해보려고 HTML을 생성해 보라 명령을 했을 때, 생각 이상으로 깔끔한 결과를 내뱉었다. 물론 이 간단한 HTML, CSS 파일을 받기까지 6분의 시간이 걸렸지만 해당 glm-4.7-flash를 사용했을 때 스크린샷까지도 브라우저를 열어서 보내주었다.

 

하지만 조금 더 복잡한 요청, 간단한 Javascript 게임 개발 요청을 했을 때 중간에 뻗어버렸다. 일상 대화를 하는 것도 거진 3분 이상이 걸린다면 대화도 의미가 없었다.

 

때문에 google/gemma-3-4b로 조금 더 속도를 빠르게 해보려 했으나, 이 모델도 가장 빠를 때 1분정도가 걸렸다. Tool을 부르는 건 GLM보다 못하다 보니 쓰기가 애매하다. 

 

 

결국 무료는 이유가 있다.

무제한 로컬 LLM을 통한 개인 비서는 그저 이론상의 존재였다. 이 속도와 이 퀄리티면 그냥 StackOverflow를 찾아가며 만드는게 훨씬 좋을 것이다. 정말로 무제한 로컬 LLM을 사용하려면 RAM은 128을 넘어야 매끄럽게 돌릴 수 있을 것이지만, 개인이 이 거대하고 비싼 기계를 감당하기에는 너무 비싸다. 차라리 돈을 주고 토큰을 지불하는 편이 훨씬 나을 것이다. 

 

그래도 나는 포기할 수 없었다. 이미 맥미니에 너무 많은 비용을 썼는데, 추가금을 내고 싶지 않았고, 무엇보다도 얼마나 토큰을 사용하는지 모르는 상황에서 함부로 결제를 하고 싶지는 않았다. 때문에 열심히 리서칭을 한 끝에서야 나는 몇몇 모델이 토큰 제한 상태에서 무료로 쓸 수 있다는 사실을 알았다.

 

https://openrouter.ai/

OpenRouter

 

Open Router에서 (free)라고 적혀있는 LLM들을 일정 토큰 안에서 사용할 수 있도록 되어있었다. 일전에는 gemini-flash도 있었다고 하는데, 아쉽게도 지금은 유료로 전환된 상태였다.

 

때문에 가장 Openclaw에서 많이 사용되는 LLM NVIDIA: Nemotron 3 Super (free)와 StepFun: Step 3.5 Flash (free) 두 가지를 골랐다.

 

 

 LLM NVIDIA: Nemotron 3 Super (free)

 

이상하게 두번씩 대답한다. 말도 반복해서 하고, 지나치게 길게 하는 문제로 인해 두 세번 질문하는 동안 토큰을 다 써버렸다. 애초에 제공되는 토큰 자체도 많지 않았다. 

 

그러다 두번째 LLM에서 신세계를 보았다.

 

StepFun: Step 3.5 Flash (free)

 

툴 호출 성능도 확실하고

 

일상 대화도 굉장히 빠르게 답변이 온다.

 

ㅈ

 

해당 모델 자체에는 이미지 분석 기능이 없지만, 일전에 LM Studio에 qwen2-vl-7b-instruct 모델을 올려둔 것이 있다. vision 분석에 특화된 LLM인데, 로컬에만 올려두고 해당 모델 연결을 부탁하자 알아서 테스트를 하며 model 연결을 시도했다. 결과적으로 성공했고, Manager 모델이 필요한 기능에 대해 하위 model을 호출해서 별개로 돌리는 것이 가능한 것을 확인했다. 그러나 한 3~4시간 정도 사용한 결과 이 모델도 토큰을 소진했다. 아무래도 코딩 작업을 너무 하드하게 돌린 모양이다.

 

정리

우선 현재까지 로컬에서 Openclaw와 LLM 모델을 다양하게 테스트 한 결과, 결국 결론은 하나였다.

 

성능이 좋은 Manager 모델을 하나 두고, 반복작업과 특수 작업 (이미지 분석) 등은 로컬로 돌려서 토큰 사용을 줄이는 것이다. 결국 제대로 Agent를 사용하기 위해서는 로컬에서 모두 해결할 수 없기 때문에 유료 모델과의 타협이 필요하다.

 

1주일간의 사용기를 간단하게 정리했으니, 다음 포스트에서는 지금까지 개발한 부분에 대해 Openclaw + LiteLLM + LM Studio 를 연결한 플로우를 정리해보려 한다.