측정 공개 — 앵커가 있으면 0.838, 없으면 0.324

특허 검색 도구를 파는 회사는 대개 유리한 숫자 하나만 인용합니다. 우리는 두 개를 적습니다. 하나는 자랑스럽고 하나는 그렇지 않습니다.

측정 조건: sample 20건, 반도체 식각 분야 100건 코퍼스, 심사관 인용 문헌을 정답지로 사용, 2026-05-05 측정. 두 값 모두 같은 조건에서 앵커 유무만 바꿔 측정했습니다.

앵커가 무엇인가

앵커는 "이 특허와 관련된 것을 찾아줘"라고 할 때의 그 "이 특허"입니다. 출원번호 하나가 주어지면, 시스템은 그 명세서의 청구항과 배경기술을 읽고 거기서 검색의 축을 세울 수 있습니다.

앵커가 없으면 — 즉 "식각 공정에서 선택비를 높이는 기술을 찾아줘" 같은 요청이면 — 축이 없습니다. 무엇과 비슷한 것을 찾아야 하는지가 정해지지 않은 상태에서 넓은 코퍼스를 뒤져야 합니다. 회수율이 0.324 로 떨어지는 것은 도구가 부실해서가 아니라 문제가 다르기 때문입니다.

그래서 우리가 약속하는 것과 하지 않는 것

이 두 숫자의 차이가 우리 제품의 경계선을 그대로 그립니다.

약속하는 것. 대응해야 할 특허가 이미 특정된 상황 — 거절결정서를 받았거나, FTO 검토 대상이 정해졌거나, 무효 자료를 찾아야 하는 상대 특허가 있는 상황. 여기서는 앵커가 항상 있습니다. 0.838 은 이 상황의 숫자입니다.

약속하지 않는 것. 아직 무엇을 볼지 정해지지 않은 상태에서의 광범위한 조사. 여기서 0.838 을 인용하면 거짓말입니다. 우리는 이 문맥에서 회수율을 약속하지 않습니다.

측정하지 않은 것은 주장하지 않는다는 것이 우리의 기본 원칙이고, 측정한 것도 조건 없이는 인용하지 않습니다.

이 숫자를 어떻게 읽어야 하는가

세 가지 한계를 함께 적습니다.

샘플이 작습니다. 20건입니다. 신뢰구간을 말할 수 있는 규모가 아니고, 우리도 이것을 "검증"이라고 부르지 않습니다. 방향을 확인한 수준입니다.

정답지가 심사관 인용입니다. 심사관이 실제로 인용한 문헌을 정답으로 놓았습니다. 합리적인 기준이지만 완전하지 않습니다 — 심사관이 못 찾은 유효한 선행기술은 정답지에 없고, 따라서 우리 시스템이 그것을 찾아도 점수에 반영되지 않습니다. 실제 유용성은 이 숫자보다 높을 수도, 낮을 수도 있습니다.

한 분야입니다. 반도체 식각 100건입니다. 증착·리소·패키지에서 같은 값이 나온다는 근거는 아직 없습니다.

다음에 측정할 것

정보 제공 쪽(수집 커버리지, 출원인 정규화 정확도, 리포트의 사실 오류율)은 아직 하나도 측정하지 않았습니다. 그래서 그 쪽에 대해서는 어떤 성능 주장도 하지 않고 있습니다. 수집 파이프라인을 만들면서 지표를 함께 정의하고, 측정되는 대로 여기에 적겠습니다.

숫자가 나쁘게 나오면 나쁘게 적겠습니다. 그게 이 카테고리의 존재 이유입니다.