측정대 위의 노트북, 계측 장치와 데스크톱으로 표현한 PoC 실험

Edge0 연재 5: M2 Air 16GB 실측 결과와 사내 PoC 확장 조건

M2 MacBook Air 16GB에서 Microsoft Learn 검색, Edge0 스트리밍, 문장 단위 한국어 번역을 연결한 에이전트를 실행했습니다. 2026년 9월 13일 확인한 샘플 Gist에는 전체 코드와 함께 TTFT 53.47초를 기록한 실행 결과를 공개했습니다. 마지막 글은 측정에 사용한 질문, 검색과 첫 응답까지의 시간, 생성 답변의 근거, 출력 속도의 해석, 후속 최적화와 사내 PoC 확장 조건을 다룹니다. 4편에서 설명한 클라이언트 계측을 기준으로 결과를 읽습니다. 실행 로그와 측정값부터 살펴보겠습니다. 각 단계의 시간을 비교한 뒤 현재 결과로 판단할 수 있는 범위와 추가 실험이 필요한 범위를 나눠 설명합니다. ...

2026년 9월 17일 · 7 분 ·  rkttu
시간 측정 장치와 노트북 사이에 간격을 두고 이어지는 푸른 유리 패널

Edge0 연재 4: 스트리밍 응답의 TTFT와 출력 속도 계측

2026년 9월 13일 기준으로 연재의 Python 샘플은 Edge0의 SSE 응답을 수신하면서 첫 응답 대기 시간과 출력 속도를 기록합니다. 이번 글에서는 3편에서 만든 그라운딩 프롬프트를 실제 생성 요청으로 연결합니다. 이번 글은 측정 시점, 대기 상태 표시, 작업 스레드의 스트림 수신, 문장 단위 한국어 번역, 측정값 해석을 다룹니다. M2 MacBook Air 16GB 실험에서 첫 응답까지 수십 초를 기다렸으므로 생성 전후의 시간을 나누어 기록했습니다. 측정값의 정의부터 살펴보겠습니다. 서버 응답을 받는 코드와 화면 출력을 분리한 뒤 생성 문장을 번역하고 마지막에 지표를 출력하는 순서로 설명합니다. 전체 프로그램은 Gist의 microsoft_expert_agent.py를 기준으로 사용합니다. ...

2026년 9월 16일 · 7 분 ·  rkttu
문서의 강조 구절을 확대하는 돋보기와 선택한 문서 세 장을 담은 유리 상자

Edge0 연재 3: Microsoft Learn 검색을 연결한 로컬 RAG 에이전트

2026년 9월 13일 기준으로 샘플 Gist는 Edge0 서버, Microsoft Learn CLI, Apple Translation을 Python으로 연결하는 코드를 제공합니다. 2편에서 준비한 실행 환경을 바탕으로 이번 글에서는 검색 자료를 모델 입력으로 만드는 부분을 설명합니다. 이번 글에서는 호스트와 모델의 역할 분담, 질문 정규화와 번역, 검색 결과 선택, 그라운딩 프롬프트와 대화 문맥 관리를 다룹니다. 호스트가 검색 순서를 결정하고 모델은 전달받은 자료를 읽어 답을 구성합니다. 데이터 구조와 입력 처리부터 살펴보겠습니다. 검색한 구절에 출처 번호를 붙이고 현재 질문과 함께 전달한 뒤 후속 질문에 필요한 문맥을 구성합니다. 스트리밍 요청과 성능 계측은 4편에서 다룹니다. ...

2026년 9월 15일 · 6 분 ·  rkttu
노트북 앞의 연산 장치, 문서 카드와 반투명 말풍선을 연결한 구성

Edge0 연재 2: Microsoft Learn과 Apple Translation 실행 환경

2026년 9월 13일 기준으로 이 연재의 샘플은 Edge0-35B, Microsoft Learn CLI, macOS Translation 프레임워크를 사용합니다. 1편에서 정한 역할 분담에 따라 추론 서버와 Python 에이전트 호스트를 별도 터미널에서 실행합니다. 이번 글은 Edge0와 모델 설치, 스트리밍 서버 실행, 공식 문서 검색, 한국어와 영어 번역, 질문 정규화를 다룹니다. 전체 파일은 샘플 Gist의 README.md, apple_translate.swift, microsoft_expert_agent.py에서 확인할 수 있습니다. 실행 조건과 설치 순서부터 살펴보겠습니다. 첫 번째 터미널에서 서버를 시작한 뒤 검색 도구와 번역 CLI를 준비하고, 두 번째 터미널에서 에이전트를 실행할 수 있는 상태까지 구성합니다. ...

2026년 9월 14일 · 6 분 ·  rkttu
은색 노트북 위의 유리 블록과 옆에 쌓인 저장 장치로 표현한 로컬 모델 추론

Edge0 연재 1: 16GB Mac의 35B 로컬 LLM과 근거 기반 에이전트

2026년 9월 13일 기준으로 Edge0는 Apple Silicon용 MLX 백엔드와 Edge0-35B-A3B-preview 모델을 공개하고 있습니다. 저는 M2 MacBook Air 16GB에서 이 모델을 실행한 뒤 Microsoft Learn 자료를 근거로 답하는 기술 전문가 에이전트를 구성했습니다. 이 연재는 35B급 모델의 실행 조건, 검색 자료에 따른 답변 변화, 한국어 입출력 구성, 스트리밍 성능 측정, 사내 PoC로 확장할 때의 조건을 다룹니다. 전체 실행 코드는 Edge0 Microsoft Technology Expert Agent Gist에 정리했습니다. 첫 글에서는 모델을 실행한 경험부터 살펴보겠습니다. 외부 근거를 제공한 실험과 입력 자료의 길이를 줄인 결과를 비교한 뒤 나머지 연재에서 구현할 에이전트의 구조를 설명하겠습니다. ...

2026년 9월 13일 · 5 분 ·  rkttu