Edge0 연재 5: M2 Air 16GB 실측 결과와 사내 PoC 확장 조건
한 요청에서 검색 완료까지 약 2.6초, Edge0 요청 기준 첫 콘텐츠 수신까지 53.47초, 스트림 수신 종료까지 82.11초를 기록했습니다. 콘텐츠 이벤트 119개로 계산한 약 4.15회/초의 처리율과 단일 실행의 한계를 구분하고 후속 비교 조건을 제시합니다.

한 요청에서 검색 완료까지 약 2.6초, Edge0 요청 기준 첫 콘텐츠 수신까지 53.47초, 스트림 수신 종료까지 82.11초를 기록했습니다. 콘텐츠 이벤트 119개로 계산한 약 4.15회/초의 처리율과 단일 실행의 한계를 구분하고 후속 비교 조건을 제시합니다.

작업 스레드가 Edge0 스트림을 수신하고 메인 스레드가 대기 상태와 한국어 답변을 표시하도록 구성합니다. TTFT와 요청 전체 시간을 나누어 기록하며 SSE 콘텐츠 이벤트 수로 계산한 출력 속도를 서버 내부의 순수 디코드 성능과 구분합니다.

Python 호스트가 질문 번역과 Microsoft Learn 검색을 수행하고 Edge0에는 선택한 자료를 읽어 답하도록 요청합니다. URL 중복 제거, 참고 자료 번호, 근거 부족 응답 규칙과 최근 두 턴의 요청 문맥을 통해 입력량과 답변 근거를 관리합니다.

Edge0-35B 서버와 Python 에이전트를 별도 터미널에서 실행하고 Microsoft Learn 검색과 온디바이스 번역을 연결합니다. 모델 경로, macOS 26.4 이상에서 사용하는 번역 API, 언어 리소스 설치와 한국어 간접 의문문 처리까지 준비합니다.

Edge0-35B를 M2 MacBook Air 16GB에서 실행하고 Microsoft Learn 자료를 제공해 기술 질문에 답하도록 구성했습니다. 실행 가능성, 근거에 따른 답변 변화, 입력 문서 길이에 따른 처리 시간을 구분해 로컬 RAG 에이전트의 역할 분담을 설명합니다.

배포된 AI 모델은 얼어있는 상태이므로 실시간으로 학습하지 않습니다. 대부분의 비즈니스 문제는 Fine-tuning 없이 좋은 모델 선택, 프롬프트 설계, RAG 구성만으로 해결됩니다.
