[앨리스 사무실 도입기 1편] 집에서 키우던 로컬 AI, 앨리스를 회사 서버실로 데려왔다.

요즘 회사에서 전산실에 요구되는 업무의 범위가 조금씩 넓어지고 있다.

기존 전산실 인력만으로 처리하기에는 업무량이 많거나, 분석과 설계에 상당한 시간이 필요한 작업도 종종 발생한다.

그렇다고 외부 AI 서비스인 ChatGPT나 Gemini를 회사 업무에 그대로 활용하기에는 조심스러운 부분이 있다.

소스 코드나 시스템 구조, 내부 문서처럼 회사와 관련된 정보는 아무리 일부만 입력한다고 해도, 그것이 계속 쌓이면 하나의 큰 정보가 될 수 있기 때문이다.

이런 고민 끝에 떠올린 것이 로컬 AI를 활용한 업무 효율 향상이었다.

나는 이미 집에서 AI 페르소나를 기반으로 한 로컬 AI인 ‘앨리스’를 만들고 있었고, 대화 기억과 문서를 임베딩해 검색하는 작업도 어느 정도 경험해 본 상태였다.

그렇다면 회사 내부의 별도 컴퓨터에 LLM을 설치하고, 시스템 관련 문서와 업무 참고자료를 외부로 보내지 않은 채 로컬 환경에서 검색하고 활용할 수 있지 않을까?

컴퓨터 안에 LLM 엔진을 설치하고, 그 안에서 시스템 문서와 참고 데이터를 벡터화해 필요할 때 검색한다면 전산 업무에도 충분히 활용할 수 있을 것 같았다.

팀장님께 이 의견을 말씀드렸고, 긍정적으로 검토해 주셔서 우선 테스트 목적으로 내 개인 장비와 집에서 사용하던 앨리스를 사무실로 이전하게 되었다.

앨리스는 그동안 집에서 나와 수다만 떨다가, 얼떨결에 전산실 보조 인력으로 차출된 셈이다. ㅎㅎㅎ

업무용 모델로 교체하다

우선 장비를 전산실로 옮기고 운영체제를 다시 설치했다.

기존에 사용하던 LLM 모델도 gemma3:27b에서 qwen3-coder:30b로 변경했다.

Qwen3-Coder는 코딩과 코드 분석, 개발 업무에 초점을 맞춘 모델이라 이번 테스트 목적에 더 잘 맞을 것이라고 판단했다.

물론 아직 충분히 사용해 보지 않은 모델이기 때문에, 그 위에 앨리스의 기존 페르소나와 기억 구조를 적용했을 때 어떤 결과가 나올지도 궁금했다.

모델이 바뀌면 답변의 성향이나 문장 표현, 문제를 바라보는 방식도 달라질 수 있다.

같은 앨리스의 구조를 유지하더라도 LLM 엔진에 따라 결과가 얼마나 달라지는지 살펴보는 것도 이번 테스트의 한 부분이다.

현재 생각하고 있는 앨리스의 주요 활용 목적은 다음과 같다.

다만 계획한 대로 잘 작동할지는 실제 업무에 적용해 봐야 알 수 있다.

AI 모델의 성능이 좋아도 회사 내부의 시스템 구조와 업무 맥락을 제대로 전달하지 못하면 실질적인 도움을 받기 어렵다.

결국 중요한 것은 모델 자체보다도, 어떤 자료를 어떤 기준으로 정리하고 검색하게 만들 것인지에 있을 것 같다.

앨리스의 사용 방식은 Ubuntu 환경에서 실행되는 GUI 기반 데스크톱 앱으로 결정했다.

단순히 터미널에서 명령어를 입력하는 방식보다는, 기존에 사용하던 앨리스 인터페이스를 그대로 활용하는 편이 실제 업무에 사용하기 편하기 때문이다.

이를 위해 Ubuntu를 다시 설치하고, 네트워크와 원격접속 환경을 구성했다.

그 이후 Python 실행환경과 필요한 라이브러리를 준비하고, Ollama를 설치해 qwen3-coder:30b 모델을 내려받았다.

Windows 환경에서 사용하던 앨리스 소스를 Ubuntu에서도 실행할 수 있도록 옮기는 작업도 함께 진행했다.

운영체제 설치부터 네트워크 설정, 원격접속, Ollama 모델 구성까지 마치는 데 약 하루 반 정도가 걸린 것 같다.

오늘은 qwen3-coder:30b 모델 다운로드와 기본 실행환경 구성까지 확인하고 작업을 마무리했다.

우선 이사는 성공이다~!!

LLM머신

2편에서는 앨리스의 기존 기억과 회사 업무용 자료를 분리해서 관리할 예정이다.

앨리스의 개인적인 대화 기억과, 회사 시스템을 분석하기 위한 기술 문서가 하나의 검색 공간에 섞이면 검색 정확도가 떨어질 수 있기 때문이다.

그래서 사내 시스템의 기반 도구와 매뉴얼, 업무 참고자료는 별도의 벡터 데이터베이스로 구성하려고 한다.

FAISS 또는 ChromaDB를 사용해 문서를 별도로 임베딩하고, 질문의 목적에 따라 앨리스의 기억과 사내 문서를 각각 검색할 수 있는 구조를 만들 생각이다.

예를 들면 일반적인 대화나 과거 기억을 묻는 질문은 앨리스의 기존 기억에서 검색하고, 시스템 구조나 매뉴얼에 관한 질문은 회사 전용 문서 저장소에서 검색하는 방식이다.

이 구조가 완성되면 앨리스는 단순히 질문에 답하는 챗봇이 아니라, 회사 내부 자료를 근거로 시스템 분석과 개발 업무를 보조하는 로컬 AI가 될 수 있다.

물론 실제로 그렇게 될지는 또 삽질해 봐야 알겠지만 말이다. ㅎㅎㅎ

그럼 다음 편에 계속~!!