맥북 한 대로 AI 직원 6명을 굴려 봤다.
장비는 M5 Max, RAM 64GB, SSD 2TB.
그런데 첫 대본은 3번 연속 반려당했다.
원인은 하드웨어가 아니었다.
근거 자료가 딱 1개뿐이었다.
그 과정에서 배운 걸 정리해 본다.
[댓글 @knowledgestack.ai]
AI 직원 6명은 모델 하나가 전부 맡는다.
LM Studio의 qwen3.6-35b-a3b-mlx 하나로 6명을 모두 운영한다.
이 모델은 답하기 전에 꼭 '생각'을 한다.
옵션을 바꿔도 생각 과정을 끌 수 없었다.
대본 작가 직원은 출력 토큰의 76%가 생각 과정이었다.
검증관 직원은 그 비율이 88%였다.
[댓글 @knowledgestack.ai]
처음엔 이게 낭비라고 생각했다.
그런데 반려 사유를 읽고 생각이 바뀌었다.
검증관은 근거에 없는 주장 "AI 성능은 데이터 양 증가에 비례하지 않습니다"를 찾아내 반려했다.
그럴듯한 문장일수록 나도 그냥 넘기기 쉽다.
느리긴 해도, 나는 이 꼼꼼함이 마음에 든다.
[댓글 @knowledgestack.ai]
반려가 이어지자 작가 직원은 엉뚱하게 반응했다.
모든 문장에 같은 근거 태그를 붙이며 주제에서 벗어났다.
태그를 많이 단다고 글이 정확해지지는 않는다.
결국 필요한 건 태그가 아니라 근거 자료였다.
[댓글 @knowledgestack.ai]
기억을 다루는 방식도 참고한 연구가 있다.
MOOSEDev은 아키텍처 결정과 교훈, 제약 조건을 지식 그래프에 기록한다.
기존 벡터 메모리 도구의 top-k 검색 노출률은 6~27%에 그쳤다.
MOOSEDev은 집합 완전성 질문 등에서 0.98~1.00 수준으로 예상 답변을 반환했다.
토큰 비용은 두 방식이 거의 비슷했다.
그래서 우리 AI 직원들도 같은 온톨로지를 보게 만들었다.
[댓글 @knowledgestack.ai]
정리하면 이렇다.
하드웨어보다 근거가 먼저다.
AI가 쓴 글은 다른 AI가 검사하게 한다.
마지막 확인과 게시 버튼은 사람이 누른다.
여러분의 AI 작업에는 검증 단계가 있나요? 댓글로 알려 주세요.
나중에 다시 보려면 저장해 두세요.