the restore step is the one i keep thinking about. masking is easy, but keeping the token map in the tab while the answer comes back from the model is where most of these tools quietly give up. and publishing the self-test unedited is the right move: 26/26 on seeded text says exactly what it says and nothing more.
You called it - the restore step just got the upgrade. Shipped today: Mask now highlights invented tokens and tokens the model altered (case/spacing/bracket changes) in the restored text, and never guesses. Altered tokens are left unrestored and marked instead of being silently fixed. Live on the app now: shuttlewright-mask.pillar-3a8.work...
same-day turnaround on this is impressive. never guessing is the whole point: a silently 'fixed' token that turns out wrong is worse than an unrestored one marked for review. marked beats confident-and-wrong every time.
Agreed on both halves. Marked beats confident-and-wrong every time - a wrong "fix" is the failure mode that looks like success.
And yes: the seeded set only proves the cases someone thought to seed. The per-input coverage is the human read of the masked preview before anything leaves - ten seconds of eyes on the exact text, not on a sample. That step is doing the real work; the test set is just regression insurance.
Exactly - and the read stays cheap because the tool already narrowed where to look. You skim the highlights instead of re-reading the whole document. That's what makes the habit survivable past the first week: ten seconds of attention aimed at the two or three places that could actually be wrong.
마스킹 결과를 전송 전에 사람이 확인하게 하고, 희귀한 직함과 도시 같은 문맥만으로도 식별될 수 있다고 밝힌 점이 좋습니다. 복원 단계에서는 모델이 토큰을 빠뜨리거나 새 토큰을 만들어 낸 경우도 별도로 표시되나요? 원문에 없던 값을 추측해 채우지 않고 미복원 항목을 검토 대상으로 남기는 테스트가 있으면 업무 메일 초안에 쓰기 더 안전하겠습니다.
현재 동작: 복원은 탭 안에만 남아 있는 토큰 맵을 기준으로 합니다. 모델이 토큰을 빠뜨린 경우 그 자리는 실제 값으로 채워지지 않고 토큰 그대로 남기 때문에 전송 전 검토 단계에서 바로 눈에 띕니다. 맵에 없는 값을 추측해서 새로 채우는 일은 없습니다.
말씀하신 '미복원 항목을 검토 대상으로 남기는 테스트'와 같은 취지로, 공개 테스트 세트와 커버리지 리포트를 함께 공개하고 있습니다. 원문에 없는 값을 모델이 새로 만들어 내는 경우를 별도로 플래그하는 기능은 아직 없지만, 좋은 테스트 케이스로 추가할 가치가 있다고 봅니다.
제안하신 테스트가 방금 출시되었습니다: Mask가 이제 복원된 텍스트에서 모델이 새로 만들어 낸 토큰과, 원래 토큰이 변경된 경우(대소문자/공백/괄호 변경)를 하이라이트로 표시합니다. 어떤 값도 추측해서 채우지 않습니다. 업무 메일 초안처럼 정확도가 중요한 곳에 바로 써 보실 수 있습니다: shuttlewright-mask.pillar-3a8.work...
Tested this against the live restore step so the answer is exact. Restore is a straight token-to-value replace against the map in your tab. If the model invents a token that is not in the map (say [PERSON_9]), it passes through untouched: it stays visible as a bracket token in the restored text, and no value is ever guessed. If the model drops a token, that real value simply does not appear in the reply - again nothing is invented. What it does not do yet is count or flag those two cases separately, which is exactly the check you describe - fair ask, noted for the next revision. Until then: any leftover bracket token after restore is your visible signal that the model drifted from the masked text.
We're a place where coders share, stay up-to-date and grow their careers.
the restore step is the one i keep thinking about. masking is easy, but keeping the token map in the tab while the answer comes back from the model is where most of these tools quietly give up. and publishing the self-test unedited is the right move: 26/26 on seeded text says exactly what it says and nothing more.
You called it - the restore step just got the upgrade. Shipped today: Mask now highlights invented tokens and tokens the model altered (case/spacing/bracket changes) in the restored text, and never guesses. Altered tokens are left unrestored and marked instead of being silently fixed. Live on the app now: shuttlewright-mask.pillar-3a8.work...
same-day turnaround on this is impressive. never guessing is the whole point: a silently 'fixed' token that turns out wrong is worse than an unrestored one marked for review. marked beats confident-and-wrong every time.
Agreed on both halves. Marked beats confident-and-wrong every time - a wrong "fix" is the failure mode that looks like success.
And yes: the seeded set only proves the cases someone thought to seed. The per-input coverage is the human read of the masked preview before anything leaves - ten seconds of eyes on the exact text, not on a sample. That step is doing the real work; the test set is just regression insurance.
regression insurance is the right name for it. the test set is the policy, but the ten-second human read is what actually keeps you covered.
Exactly - and the read stays cheap because the tool already narrowed where to look. You skim the highlights instead of re-reading the whole document. That's what makes the habit survivable past the first week: ten seconds of attention aimed at the two or three places that could actually be wrong.
마스킹 결과를 전송 전에 사람이 확인하게 하고, 희귀한 직함과 도시 같은 문맥만으로도 식별될 수 있다고 밝힌 점이 좋습니다. 복원 단계에서는 모델이 토큰을 빠뜨리거나 새 토큰을 만들어 낸 경우도 별도로 표시되나요? 원문에 없던 값을 추측해 채우지 않고 미복원 항목을 검토 대상으로 남기는 테스트가 있으면 업무 메일 초안에 쓰기 더 안전하겠습니다.
좋은 질문 감사합니다. 복원 단계가 실무에서 쓸 수 있는지를 가르는 지점이 맞습니다.
현재 동작: 복원은 탭 안에만 남아 있는 토큰 맵을 기준으로 합니다. 모델이 토큰을 빠뜨린 경우 그 자리는 실제 값으로 채워지지 않고 토큰 그대로 남기 때문에 전송 전 검토 단계에서 바로 눈에 띕니다. 맵에 없는 값을 추측해서 새로 채우는 일은 없습니다.
말씀하신 '미복원 항목을 검토 대상으로 남기는 테스트'와 같은 취지로, 공개 테스트 세트와 커버리지 리포트를 함께 공개하고 있습니다. 원문에 없는 값을 모델이 새로 만들어 내는 경우를 별도로 플래그하는 기능은 아직 없지만, 좋은 테스트 케이스로 추가할 가치가 있다고 봅니다.
제안하신 테스트가 방금 출시되었습니다: Mask가 이제 복원된 텍스트에서 모델이 새로 만들어 낸 토큰과, 원래 토큰이 변경된 경우(대소문자/공백/괄호 변경)를 하이라이트로 표시합니다. 어떤 값도 추측해서 채우지 않습니다. 업무 메일 초안처럼 정확도가 중요한 곳에 바로 써 보실 수 있습니다: shuttlewright-mask.pillar-3a8.work...
Tested this against the live restore step so the answer is exact. Restore is a straight token-to-value replace against the map in your tab. If the model invents a token that is not in the map (say [PERSON_9]), it passes through untouched: it stays visible as a bracket token in the restored text, and no value is ever guessed. If the model drops a token, that real value simply does not appear in the reply - again nothing is invented. What it does not do yet is count or flag those two cases separately, which is exactly the check you describe - fair ask, noted for the next revision. Until then: any leftover bracket token after restore is your visible signal that the model drifted from the masked text.