SalesAuto — 앱 매크로 레코더 + Claude 비전 파싱

어떻게 동작하나

녹화 → 비전 파싱 → 재생, 세 단계로 반복 업무를 자동화합니다.

STEP 1

⏺️

동작 녹화

대상 앱에서 평소처럼 클릭·입력하면 UI Automation이 버튼·입력창을 '요소' 단위로 인식해 단계로 기록. 창 위치가 바뀌어도 안정적입니다.

STEP 2

👁️

비전 파싱

"이 화면에서 고객명·전화·주문금액을 추출"처럼 지시하면 스크린샷 → Claude 비전 → JSON으로 구조화. 프롬프트 캐싱으로 비용을 절감합니다.

STEP 3

▶️

재생 · 저장

기록된 단계를 자동 실행하고 파싱 결과를 수집. 매크로는 macros/*.json으로 저장돼 언제든 재사용할 수 있습니다.

⏺️ 녹화 → 📸 스크린샷 → 👁️ Claude 비전 → 🧾 JSON → ▶️ 재생

LIVE DEMO · 실시간 시뮬레이션

👆 지금 바로 체험해보세요 — 녹화 → 파싱 → 저장을 직접 실행

설명 화면이 아니라 실제로 클릭하면 돌아가는 데모예요. 아래 '🔴 녹화 시작'을 눌러 3단계 자동화 흐름을 눈으로 확인하세요.

1녹화

2비전 파싱

3저장

ERP 매출현황

날짜	거래처	품목	금액	담당자
2026-07-01	㈜한국물산	사무용품 세트	4,200,000	김도현
2026-07-01	대성유통	A4 용지 박스	2,850,000	박서준
2026-06-30	거래처 A	레이저 토너	6,120,000	이지은
2026-06-30	거래처 B	모니터 암	1,740,000	최민아
2026-06-29	거래처 C	무선 키보드	3,960,000	최담당

👁️ Claude Vision 파싱 중...

▲ '🔴 녹화 시작'을 눌러 체험을 시작하세요

핵심 기술

화면 좌표가 아닌 'UI 요소'를 인식해, 깨지지 않는 자동화를 구현했습니다.

UI Automation · 요소 단위 인식

pynput · 마우스/키보드 전역 후킹

mss + Pillow · 화면 캡처

Claude Vision · 스크린샷→JSON

Prompt Caching · 파싱 비용 절감

Tkinter · 데스크톱 GUI

요소 인식 우선순위

재생 시 클릭 대상을 아래 순서로 찾아, 실패하면 다음 방식으로 폴백합니다.

1AutomationId가장 안정적

2Name + ControlType이름·유형 매칭

3ClassName + Name클래스·이름 매칭

4녹화 당시 좌표최종 폴백

구조

녹화·인식·재생·파싱을 모듈로 분리한 클린 아키텍처.

src/ main.py 진입점 (.env 로드 → GUI) core/ models.py Step / Macro / ElementSelector 데이터 모델 ui_inspector.py 좌표→요소 인식, 셀렉터 재검색 (UI Automation) recorder.py 마우스/키보드 전역 후킹 녹화 (pynput) player.py 단계 재생 (요소 매칭 → 좌표 폴백) screenshot.py 화면 캡처 (mss + Pillow) claude_parser.py 스크린샷 → Claude 비전 → JSON (캐싱) storage.py 매크로 JSON 저장/불러오기 gui/ app.py Tkinter GUI