AI가 받은 점수는, 누가 매겼을까?

이런 제품입니다

공공기관 입찰 공고서는 수백 쪽짜리 한글 파일입니다. 제안서를 쓰려면 사람이 전부 읽어야 했죠. 아래는 팀이 만든 실제 챗봇 화면입니다. “내 데이터 표시”를 켜면 이 화면의 어느 부분이 제 손을 거쳤는지 보입니다.

데이터가 흘러가는 길

“성능 0.940” ― 이 점수는 어디서 나왔나

시험 점수를 매기려면 정답지가 있어야 합니다. AI도 똑같습니다. 사람이 미리 “정답은 이 문서 이 부분”이라고 정해둔 목록이 없으면 성능은 측정이 안 되는 게 아니라 계산식 자체가 성립하지 않습니다.

이름표 붙이기 ― 흩어진 표기를 하나로

문서마다 발주 기관 이름이 제각각 적혀 있습니다. 사람은 같은 곳인 줄 알지만 AI는 글자가 다르면 다른 곳으로 봅니다. 100건 전부의 기관명·사업명·예산·마감일을 하나의 표기로 정리해 문서 조각 14,606개에 붙였습니다.

솔직한 단서 하나 ― 정리 전후로 기관 고유 수는 87개 그대로였습니다. 정규화의 목적은 문서끼리 합치는 게 아니라, 사용자가 입력한 표기를 문서의 표기에 맞추는 것이었으니까요. 11개 기관이 2건 이상 발주했고, 그게 “같은 기관 사업 다 보여줘” 질문의 정답 근거가 됩니다.
경계 이름표를 사용하는 3단계 검색 필터는 검색 담당자가 구현했습니다. 제 몫은 필터가 먹는 재료입니다.

정답지 만들기 ― 954개를 직접 판정했다

앞의 체크리스트 화면이 잘 뽑았는지 채점하려면 항목 단위 정답지가 필요합니다. 공고서 8건을 처음부터 끝까지 읽으며 하나하나 판정했습니다. 기준은 하나 ― “입찰에 참여하는 회사가 알고 대비해야 할 일인가?”

직접 해보세요. 네 항목 중 채점 대상은 몇 개일까요? 예시 · 가명

정답지가 조용히 망가지는 순간

정답지는 “몇 번째 문서 조각”으로 정답 위치를 가리킵니다. 팀이 문서 자르는 방식을 바꾸면 그 번호가 통째로 어긋납니다. 정답지는 멀쩡해 보이는데 엉뚱한 곳을 가리키게 되죠. 눈으로는 못 잡습니다. 그래서 자동 검사를 만들었습니다.

결과

각 칸에 마우스를 올리면 그 점수를 매기는 데 쓰인 정답지가 선명해집니다. 전부 제가 만든 정답지 위에서 나온 숫자입니다.

거절 질문 13개는 위 점수의 분모에서 빠지고, “제대로 거절했는가”를 따로 채점하는 데 쓰입니다. 의무항목 추출의 문서별 성적은 0.831~0.922 범위로 안정적이었습니다(개별 문서 수치는 비공개).

숨기지 않는 숫자

역할