Ollama + MCP Server 붙이기 - 3

로컬 MCP 후기(?)

사실 대부분의 MCP 서버는 Claude나 Cursor, VScode를 사용한다는 전제 하에 동작하다 보니, 로컬에서 설계한 MCP client의 한계는 명확했다. 특히 여러번의 피드백과 그에 따른 재조정이 이뤄져야 하는 MCP에 대해서는 로컬에서 개발하는 것에 한계가 있었다. 날씨와 같은 정보나, 간단한 검색 등은 잘 가져오지만, Notion에서 페이지를 생성하거나 blender에서 모델을 생성하는 것 등의 MCP는 제대로 동작하지 않았다. (애초에 첫 번째 요청에 대한 응답 까지만 return 하고 그 이후의 작업은 이뤄지지 않으니 어쩔 수 없다.)

 

결국 MCP server를 Ollama에 붙이는 건, 어디까지나 제3의 툴이 필요로 하지 않고 단순히 input에 대한 답변을 가져오는 부분 까지였다. 완전하게 내게 커스텀된 LLM을 만드는 것에 대해서는 시간 대비 성능이 나오지 않았다. 물론 설계를 잘못 했다는 문제도 존재하지만, 고려해야 할 예외사항이 너무 많다 보니, 가볍게 개발하기에는 무리가 있었다.

 

어떻게 해야 할까...

Ollama를 로컬에서 돌리고 MCP server를 붙이려 한 것은 어디까지나 장기적인 구독 비용을 줄이려고 한 목적이었다. 하지만 현재 대부분의 MCP server는 이미 상용에서 운용되는 AI 어시스턴트에 대해서 지원을 하지, 로컬에서 돌렸을 때 제대로 동작하는 것에 대한 보장을 하지는 않는다. (물론 이건 필자가 MCP client를 잘못 설계한 탓일 수도 있다). 때문에 로컬 Ollama와 서버가 통신하기 위해서는 제대로 해당 서버의 결과가 답변될 때 까지 반복적으로 요청을 해야 할 필요가 있다. 문제는 이 경우, 그만큼 더 많은 시간이 소요되는 것은 당연하다. 

 

여러가지 방법을 실험하고 window와 mac에서 다양한 테스트를 해본 결과 필자의 결론은 어떻게 하면 더 효율적으로 사용할 수 있는가 이다. 로컬의 LLM은 원하는대로 커스텀이 가능하다는 엄청난 장점이 있지만, 상용 서비스와 대비해서는 성능이 너무 떨어진다. 효율성을 따지면, 그냥 클로드나 커서, VScode를 사용하는 것이 맞다.

 

 

그럼 여기서 마무리해야 할까?

MCP server를 붙이는 것에 대해서는 더 이상 성능을 기대하는 것은 무의미할 것 같다. 이미 VScode에서 제공하는 MCP도 훌륭하게 동작하고 있다 보니, 시간 대비로 효용이 나오지 않는다. 때문에 개인적으로 원래 목적으로 헀던 LLM 학습에 더 치중해볼 생각이다. 현재는 MCP server를 연결하여 성능을 개선하는 것에 기대하고 있었지만, 그냥 일상 대화를 더 자연스럽게 하는 쪽을 고려하고 있다. MCP server을 연결하는 것은 어디까지나 재가공이 필요하지 않은 부분으로 한정하고, Notion이나 Figma등이 필요할 경우에는 클로드와 커서를 사용하는 것이 더 좋을 것 같다.

 

이제는 로컬 MCP를 제3의 툴에 연결하는 작업보다도, LLM 자체를 커스터마이즈 하는 쪽으로 방향을 전환하는 것을 고려하고 있다.

 

커스텀을 위한 데이터는 허깅페이스에서 가져오는 것을 고려중에 있다. 해당 LLM 학습을 위해 Python 코드를 작성하는 것을 다음 포스팅으로 염두하고 있다.

 

정리...

결과적으로 MCP server를 연결하는 건 여기까지로 하고, LLM 모델 튜닝쪽으로 방향을 틀어볼 예정이다.MCP server는 1년정도 경과를 두고 본 후에 성능이 안정화된 이후에야 제대로 사용할 수 있을 것 같다. 유튜브나 다양한 교육 프로그램에서는 다양한 활용 방법을 열심히 올리고 있지만, 아직 내가 원하는 성능을 끌어올리기에는 다소 부족한 부분이 많다 보니, 시간이 필요할 것 같다.