[Tokit] Extra 4 - 최종 방향 정리

한 줄 정의

Tokit은 Claude Code나 Codex CLI 앞단에 붙어서 입력, 세션, 출력 형식을 정리해 토큰 비용과 지연을 줄이는 최적화 레이어다.

우리가 만들려는 것

형태는 복잡하게 갈 필요가 없다.

• 설치형 CLI 레이어
• 한국어 개발자 입력 처리
• 세션 단위 최적화
• patch 중심 출력 유도

정리하면 이렇다.

별도 AI 앱을 만드는 게 아니라, 기존 coding CLI를 더 효율적으로 쓰게 만드는 도구를 만든다.

이 방향이 유용한 이유

사용자 입장에서 제일 중요한 건 설치 후 바로 체감되는가다.

• 프롬프트 습관을 바꾸지 않아도 된다
• 기존 Claude Code, Codex CLI 흐름을 그대로 쓸 수 있다
• 설치 전후 비교가 쉬워 데모가 명확하다
• 반복 작업에서 절감 효과를 보여주기 좋다

이 구조면 Tokit의 가치는 설명보다 결과로 보여주기 쉽다.

실제로 효과가 큰 것

1. 세션 단위 최적화

한 번 입력을 줄이는 것보다 여러 턴에서 반복되는 맥락을 덜 보내는 쪽이 더 크다.

• 이전 작업 맥락 저장
• 고정 규칙 재사용
• 반복 prefix 유지
• benchmark로 절감량 확인

2. Prompt caching 친화적 구조

단순 압축보다 더 중요할 수 있다.

• 고정 instruction, tools, examples는 앞에 둔다
• 매번 바뀌는 입력은 뒤에 둔다
• cache hit이 잘 나는 prompt 구조를 만든다

3. 보호 구간 유지

코드, 경로, 에러 메시지, 명령어는 함부로 줄이면 안 된다.

• code block
• file path
• shell command
• error log
• 특수 prefix(/, @, !) pass-through

이건 절감 기능이라기보다 품질 방어 장치다.

4. 작업 유형 분류

debug, review, explain, generate를 같은 방식으로 처리하면 품질이 흔들린다.

• 요청 유형 분류
• 필요한 출력 형식 지정
• 불필요한 설명 제거
• 필요한 경우만 제약 추가

5. diff/patch 중심 출력

출력을 억지로 짧게 만드는 것보다, 원래부터 작게 나오게 만드는 편이 낫다.

• 전체 코드 재출력보다 patch 유도
• changed lines 중심 출력
• 수정 대상이 명확한 응답 형식 사용

6. 코드 컨텍스트 축소

문장을 줄이는 것보다 필요한 코드만 보내는 쪽이 더 실용적이다.

• 파일 전체 대신 관련 함수만 추출
• symbol 단위 context 제공
• 나중에는 AST 기반 탐색으로 확장

효과가 약하거나 지금 단계에서 과한 것

1. 한국어를 영어로 바꾸는 것만으로 승부하는 방향

필요한 기능이긴 하지만 이 자체가 핵심 차별점은 아니다.

• 짧은 입력에서는 절감 폭이 작을 수 있다
• 의미 손실이 생기면 바로 품질 저하로 이어진다
• 세션 재사용이나 prompt caching보다 효과가 작을 수 있다

2. 출력을 강하게 압축하는 것

짧아질 수는 있어도 실제 사용성은 떨어질 가능성이 크다.

• 코드 누락
• 조건 누락
• 설명 품질 저하
• 리뷰 정확도 저하

3. 무거운 멀티모델 파이프라인

초기에는 얻는 것보다 잃는 게 많다.

• 느려진다
• 디버깅이 어려워진다
• 데모가 복잡해진다

4. fine-tuning

지금 문제는 모델 자체보다 입력 구조와 세션 운용에 더 가깝다.

Tokit의 차별점

비슷한 공개 도구는 있다. 다만 Tokit은 조합 방식이 다르다.

• 한국어 개발자 입력을 받는다
• coding CLI 환경에 직접 붙는다
• 입력만이 아니라 세션까지 관리한다
• 출력도 patch 중심으로 유도한다

정리하면 Tokit의 차별점은 단일 기능이 아니라 흐름 전체다.

한국어 입력 -> prompt 정리 -> 세션 재사용 -> 작은 출력 유도

MVP에서 꼭 보여줘야 하는 것

보여줘야 하는 기능

• tokit init으로 바로 연결
• 한국어 개발 요청 입력
• 보호 구간 유지
• 영어 coding prompt 또는 정리된 실행 입력 생성
• 세션 저장
• 반복 요청에서 토큰 절감 비교

데모에서 보여줘야 하는 장면

• 설치 전과 후의 입력 길이 차이
• 첫 요청과 두 번째 요청의 세션 재사용 차이
• 전체 코드 응답 대신 patch 중심 응답 예시
• benchmark 결과

이 네 개가 보여야 Tokit이 실제 도구처럼 보인다.

지금 기준 최종 판단

해야 할 방향은 분명하다.

• 설치형 CLI 최적화 레이어로 간다
• 세션 관리와 prompt 구조 최적화를 중심에 둔다
• 한국어 입력 처리는 보조가 아니라 진입점으로 쓴다
• 출력은 압축보다 patch 유도로 푼다

반대로 지금은 미뤄도 된다.

• fine-tuning
• 복잡한 멀티모델 체인
• 과한 출력 압축
• 의미 없는 기능 확장

지금 Tokit에서 중요한 건 기술을 많이 붙이는 게 아니라, 실제로 절감이 생기는 구조를 먼저 만드는 일이다.