정확도와 한계

2026-10-19 06:10 처리 기록

557건

읽은 열린 공고 (기업마당 340, K-Startup 217)

39묶음

두 곳에 같이 뜬 같은 공고

3,705개

생성형 AI가 공고 519건에서 뽑은 자격 조건

4개

규칙으로 옮기지 못해 자동 점검에서 뺀 조건

894항목

신청 전 점검(자부담·한도·지급·마감·서류) 328건, 원문에서 찾음 653

10-19 13:10

다음 처리 예정(하루 두 번 06:10, 13:10)

원자료: 게시 데이터(manifest, extractions, precheck). 처리 시각은 마지막 게시 시각이며 화면은 다음 게시까지 바뀌지 않습니다.

자격 판정(가능·조건부·불가)

80.8% / 81.8%

자격 판정 일치율 (평가 세트 test2 / test3)

채택 엔진 v1+guard, 세트마다 공고 60건 × 가상 프로필 10개 = 600쌍

0/76 · 0/75

정답이 '가능'인데 엔진이 '불가'라고 한 경우

가능한 공고를 놓치지 않도록 설계했습니다. 애매하면 '조건부'로 둡니다

98.9~100%

엔진과 정답이 둘 다 가능/불가로 확정한 쌍의 일치

틀리는 곳은 대부분 '조건부' 경계입니다

측정: 2026-10-16 내부 시험. LLM 합의 라벨 기준, 사람 검수 전입니다. 가상 회사 프로필 10개로 측정했고, 평가 세트 일부를 설계 선택에 써서 약간의 선택 편향이 있습니다.

신청 전 점검(자부담·지원 한도·지급 방식·마감·서류)

169/178

점검 항목이 원문과 맞음

94.9%. 일부만 맞음 7개, 틀림 1개, 놓침 1개(기업마당 공고 30건, 6개 항목)

27/29

지원 한도

93.1%. 표의 한 줄을 놓친 경우 1건

25/29

마감

86.2%. 마감일 숫자를 따로 담지 못해 일부만 맞음 4건

105/121

자격 조건이 원문과 정확히 맞음

86.8%. 어긋난 곳은 주로 업종을 넓게 잡은 경우(업종 조건을 빼면 101/107)

자동 검수 · 다른 AI 모델(Claude Opus 5.5)이 기업마당 공고 30건의 원문과 첨부를 다시 읽고 채점했습니다. 2026-10-18 게시본 기준. 사람이 검수한 결과가 아닙니다. 심판 하나, 표본 30건이라 실제 정확도와 다를 수 있습니다.

자주 틀리는 곳

• 규칙으로 옮기지 못한 자격 문장은 판정하지 않고 '조건부 · 해석 모호'로 둡니다. 원문 구절을 직접 확인하세요.
• 업종은 대분류로만 비교합니다. 실제 사업 내용으로는 해당될 수 있어 '조건부 · 업종 확인'으로 둡니다.
• K-Startup 공고는 첨부 문서를 받지 못해 자부담·지급 방식 같은 점검 항목을 '원문 확인 필요'로 둡니다.
• 표 안의 금액·비율은 첨부 문서를 글자로 바꾸는 과정에서 틀릴 수 있습니다. 숫자 옆의 원문 구절과 함께 보세요.
• 자격 조건 추출에 생성형 AI를 사용합니다. 판정은 고정 규칙으로 계산하며, 오류가 있을 수 있으니 공고 원문을 확인하세요.

판정이 이상하면 알려 주세요. 확인 후 고칩니다. genie@codewithgenie.com