로컬 실행 · 비용 · 보안 · 재현성

AI를 논문 작업에 쓰다 보면 결국 두 가지 현실적 벽에 부딪힙니다. 하나는 "이 원고를 외부 서버에 올려도 되나"라는 보안 문제, 다른 하나는 "심사자가 재현을 요구하면 그때 답할 수 있나"라는 재현성 문제입니다. 이 두 벽은 상용 API를 편하게 쓰던 흐름을 갑자기 멈추게 만듭니다. 이 파트에서는 로컬(온프레미스, on-premise) 실행이 언제 필요한지, 비용을 어떻게 관리하는지, 데이터 보안과 재현성을 어떻게 확보하는지를 실무 기준으로 정리합니다. 원고 자체의 완성도(오탈자·규격)는 별도로 무료 논문 검증과 논문 규격에서 다루므로, 여기서는 AI 활용의 인프라·절차 측면에 집중합니다.

1. 언제 로컬(온프레미스) LLM이 필요한가

대부분의 경우 상용 API(commercial API)가 품질·편의 면에서 앞섭니다. 그럼에도 로컬 실행을 진지하게 검토해야 하는 상황은 다음과 같습니다.

• 외부 전송 불가 데이터 — 미공개 원고, 심사 중(under review)인 논문, 특허 출원 전 아이디어, 임상 데이터·개인정보(personal data), 기업 비밀이 포함된 자료. 상용 API가 "학습 미사용(no-training)"을 보장하더라도, 소속 기관 보안 규정이나 IRB(기관생명윤리위원회, Institutional Review Board) 승인 조건상 데이터가 기관 네트워크 밖으로 나가는 것 자체를 금지하는 경우가 있습니다. 이때는 로컬이 사실상 유일한 선택지입니다.
• 반복 대량 처리 비용 — 수천 건의 인터뷰 전사, 논문 초록 분류, 오픈 응답 코딩 등 동일 작업을 대량 반복하면 API 토큰 비용이 누적됩니다. 초기 GPU 투자 후 한계비용(marginal cost)이 전기료 수준인 로컬이 장기적으로 저렴해질 수 있습니다.
• 재현성(reproducibility) — 상용 API의 모델은 별도 고지 없이 갱신되어 같은 프롬프트가 다른 출력을 낼 수 있습니다. 로컬에서는 특정 모델 가중치 파일(weights)을 고정해 몇 년 뒤에도 동일 버전을 재실행할 수 있습니다. 심사 재현 요구가 예상되는 방법론 연구에서 특히 중요합니다.

현실적 조언: 위 조건에 해당하지 않으면 무리하게 로컬을 구축할 이유가 없습니다. GPU 확보·유지·모델 관리에 드는 시간과 비용이 상당하므로, "민감 데이터가 아니고 처리량도 크지 않다"면 학습 미사용 옵션을 켠 상용 API가 더 합리적입니다.

2. 로컬 실행 도구

2026년 7월 기준 널리 쓰이는 로컬 실행 도구를 용도별로 정리합니다. 크게 간편 실행(개인 PC) 계열과 고성능 서빙(서버·다중 사용자) 계열로 나뉩니다.

대략적 GPU/VRAM 감

모델 크기와 양자화 수준이 필요 VRAM을 좌우합니다. 아래는 널리 통용되는 Q4_K_M(4비트 양자화, 로컬의 사실상 표준) 기준의 대략적 수치이며, 정확한 값은 모델 구조·문맥 길이에 따라 달라집니다.

가중치 외에 문맥 창(context window)을 위한 KV 캐시와 OS·런타임 여유분으로 1~2GB(짧은 문맥) 이상을 추가로 잡아야 합니다. 긴 문맥(수만~십수만 토큰)은 여기에 4~8GB가 더 필요할 수 있습니다. 즉 "표의 숫자 + 여유분"으로 계산하는 것이 안전합니다.

3. 비용 관리

상용 API를 쓴다면 비용 구조를 이해하는 것만으로 지출을 크게 줄일 수 있습니다. 기본 공식은 단순합니다.

총비용 = (입력 토큰 수 × 입력 단가) + (출력 토큰 수 × 출력 단가)

여기서 실전 절감 지렛대는 다음과 같습니다.

• 프롬프트 캐싱(prompt caching) — 매 요청마다 반복되는 긴 시스템 프롬프트·지침·참조 문서를 캐시하면, 반복 부분의 입력 비용을 크게 줄일 수 있습니다(제공사에 따라 캐시 재사용분이 기본 단가의 일부만 청구). 다만 캐싱은 입력 토큰만 할인하며 출력 토큰 비용은 줄지 않습니다.
• 배치 처리(batch API) — 즉시 응답이 필요 없는 대량 작업(예: 수천 건 초록 분류)은 배치 엔드포인트로 제출하면 입력·출력 모두 약 50% 할인이 일반적입니다. 캐싱과 병행하면 반복 부분에서 추가 절감이 누적됩니다.
• 작은 모델로 1차, 큰 모델로 확정 — 대부분의 항목은 저렴한 소형 모델로 1차 처리하고, 애매하거나 중요한 소수만 고성능 모델로 확정하는 2단계 전략(routing)이 효과적입니다.
• 컨텍스트 절약 — 논문 전체를 매번 통째로 넣지 말고, 필요한 절·표·단락만 추려 넣습니다. 입력 토큰이 곧 비용이므로 문맥 다이어트가 직접적인 절감입니다.

비용 감각: 캐시 재사용분 + 배치 할인이 겹치는 반복 작업에서는 반복 부분 비용을 큰 폭으로(사례에 따라 수십~90% 이상) 줄일 수 있다는 보고가 있습니다. 다만 수치는 워크로드 구조에 크게 의존하므로, 본격 처리 전에 소규모 표본으로 실제 토큰 수와 청구액을 측정한 뒤 전체 규모를 추정하는 것이 안전합니다.

4. 데이터 보안·프라이버시

상용 API를 쓰되 민감도가 어느 정도 있는 경우, 다음을 순서대로 점검하세요.

• 학습 미사용(no-training) 확인 — 입력·출력이 모델 학습에 쓰이지 않는지 확인합니다. 주요 상용 제공사는 API·기업/기관 플랜에서 상업 약관상 고객 데이터를 학습에 쓰지 않는다고 명시하는 경우가 많으나, 무료·소비자 플랜은 정책이 다를 수 있으므로 사용 중인 플랜의 약관을 반드시 직접 확인해야 합니다.
• 영구 미보관(ZDR, Zero Data Retention) 옵션 — 요청 처리 후 입력·출력을 저장하지 않는 옵션입니다. 다만 "학습 미사용"과 "영구 미보관"은 별개의 통제입니다. 하나는 데이터가 학습에 쓰이는지를, 다른 하나는 저장 여부를 규율합니다. ZDR은 보통 사전 심사·승인이 필요하고 적용 엔드포인트가 제한되며, 법적 의무·오남용 감시를 위한 일부 메타데이터는 예외적으로 보관될 수 있습니다. "제로"가 문자 그대로 완전한 0을 의미하지는 않는다는 점을 유념하세요.
• 기업/기관 플랜 — 위 옵션들은 대체로 팀·엔터프라이즈 계약 또는 승인된 API 조직 단위에서 제공됩니다. 소속 기관이 계약을 맺고 있는지 산학협력단·전산실에 먼저 문의하는 편이 빠릅니다.
• 비식별화(de-identification) 후 입력 — 어떤 옵션을 쓰든, 실명·연락처·환자식별번호 등은 입력 전에 가명(pseudonym)·마스킹(masking)으로 치환하는 것이 안전합니다. "정책상 안전할 것"과 "애초에 민감정보를 보내지 않음"은 다릅니다. 후자가 사고를 원천 차단합니다.
• 소속기관 IRB·보안 규정 확인 — 사람 대상 연구 데이터라면, AI 도구 사용이 IRB 승인 범위와 데이터 관리 계획(DMP)에 부합하는지 반드시 사전 확인하세요. "외부 클라우드 전송 금지" 조항이 있으면 상용 API 자체가 불가하며, 이때가 바로 로컬로 전환할 시점입니다.

5. 재현성(Reproducibility)

방법론에 AI를 개입시켰다면, 심사자·후속 연구자가 "같은 절차로 같은 결과가 나오는가"를 물을 수 있습니다. 완벽한 비트 단위 재현은 LLM 특성상 보장하기 어렵지만(temperature=0으로도 완전한 결정성은 안 나올 수 있음), 절차와 조건을 기록하면 재현성을 크게 높이고 심사 요구에 대응할 수 있습니다. 최소한 다음을 기록·고정하세요.

• 모델 버전 고정 — 이동형 별칭(alias, 예: 최신을 가리키는 이름)이 아니라, 변하지 않는 스냅샷 버전을 지정합니다. 별칭만 쓰면 제공사 갱신 시 동작이 바뀔 수 있습니다. 로컬이라면 사용한 가중치 파일과 양자화 종류를 그대로 보관합니다.
• 프롬프트·파라미터 기록 — 프롬프트 템플릿(버전 포함), 시스템 프롬프트, temperature·top-p·max tokens, 그리고 지원되는 경우 seed 값. seed 지원 여부는 제공사·엔드포인트마다 다르므로 실제 지원 여부를 확인하고, 지원되지 않으면 "seed 미지원"임을 명시합니다.
• 데이터 스냅샷 — 입력에 사용한 데이터의 특정 시점 사본을 고정 보관합니다. 원본이 갱신되는 데이터셋이라면 버전·해시(hash)를 함께 남깁니다.
• 스크립트화 + 버전 잠금 — 수작업 대화가 아니라 재실행 가능한 스크립트로 파이프라인을 구성하고, 의존 라이브러리 버전을 잠급니다(예: requirements.txt의 정확한 버전 고정, 또는 lock 파일). "그때 그 환경"을 재구성할 수 있어야 합니다.
• 출력 원문 저장 — 모델의 전체 응답을 그대로 저장해 둡니다. 요약·가공본만 남기면 재현·검증이 어렵습니다.

6. 체크리스트 요약

이 다섯 영역을 갖춰 두면, 심사 과정에서 AI 활용의 투명성·안전성·재현성을 묻는 어떤 질문에도 근거를 갖고 답할 수 있습니다. 완성된 원고의 규격·제본·인쇄 단계로 넘어갈 준비가 되었다면 견적과 주문에서 이어서 진행할 수 있습니다.