評価会議：「50%の夢と、32%の本物」

Mei: “Reporting the results of the verification. On the trial build made from the top 100 FAQs, the first-contact resolution rate was thirty-two percent.” — Miura: “…Thirty-two, is it.” — Mei: “Yes. That is the figure at a stage where the FAQ preparation is not finished. Once it is complete, we expect it to rise to around thirty-eight percent.” — Miura: “Well — to be honest with you… the board has been led to expect that half of it can be automated.” — Mei: “There is a path towards fifty percent. If we loosen the conditions for answering, the number goes up. But in that case wrong answers increase — a wrong answer also gets counted as ‘resolved.’ Which number would you rather protect your trust with? Let us decide that together.” — Miura: “…Wrong answers would be a problem. We handle addresses.” — Mei: “Then I will propose a plan that grows thirty-eight into a solid number.” — Miura: (a small sigh) “Explaining it to the board is going to be hard again…” — Mei: (after a beat) “If it would help, shall we prepare the explanation material for the board on our side? Set beside the wrong-answer rate, thirty-eight can be made to read as the honest number.” — Miura: “…That helps. Truly.”

梅：「汇报验证的结果。用前 100 件 FAQ 构建的试验版，一次解决率是 32%。」——三浦：「……32 啊。」——梅：「是。这是 FAQ 整备还没结束的阶段的数字。整备完成后，预计能上到 38% 前后。」——三浦：「那个，老实说……董事会那边被期待成『有一半可以自动化』。」——梅：「往 50% 去的路，是有的。把回答的条件放宽，数字就会上去。不过那样的话，误导会增加。错的回答也会被算进『解决』里。要用哪个数字来守住信任，请让我们一起决定。」——三浦：「……误导可不行。我们是处理地址的。」——梅：「那么，我会以『把 38% 养成一个确实的数字』这个计划来提案。」——三浦：（小声叹气）「跟董事会解释，又要费一番工夫……」——梅：（停了一拍）「如果方便的话，给董事会用的说明资料，由我们来准备好吗？和误导率并排放，就能让 38% 读起来是个诚实的数字。」——三浦：「……帮大忙了。真的。」

梅：「報告驗證的結果。用前 100 件 FAQ 建置的試驗版，一次解決率是 32%。」——三浦：「……32 啊。」——梅：「是。這是 FAQ 整備還沒結束的階段的數字。整備完成後，預計能上到 38% 前後。」——三浦：「那個，老實說……董事會那邊被期待成『有一半可以自動化』。」——梅：「往 50% 去的路，是有的。把回答的條件放寬，數字就會上去。不過那樣的話，誤導會增加。錯的回答也會被算進『解決』裡。要用哪個數字來守住信任，請讓我們一起決定。」——三浦：「……誤導可不行。我們是處理地址的。」——梅：「那麼，我會以『把 38% 養成一個確實的數字』這個計畫來提案。」——三浦：（小聲嘆氣）「跟董事會解釋，又要費一番工夫……」——梅：（停了一拍）「如果方便的話，給董事會用的說明資料，由我們來準備好嗎？和誤導率並排放，就能讓 38% 讀起來是個誠實的數字。」——三浦：「……幫大忙了。真的。」

Mei: “Tôi xin báo cáo kết quả kiểm chứng. Trên bản thử dựng từ 100 mục FAQ đầu bảng, tỷ lệ giải quyết ngay lần đầu là ba mươi hai phần trăm.” — Miura: “…Ba mươi hai à.” — Mei: “Vâng. Đó là con số ở giai đoạn phần chuẩn bị FAQ chưa xong. Khi hoàn tất, chúng tôi dự kiến sẽ lên khoảng ba mươi tám phần trăm.” — Miura: “Thật lòng mà nói… ban lãnh đạo đang kỳ vọng là ‘một nửa có thể tự động hóa.’” — Mei: “Con đường tới năm mươi phần trăm là có. Nới điều kiện trả lời thì con số sẽ lên. Nhưng khi đó, hướng dẫn sai sẽ tăng — câu trả lời sai cũng được tính là ‘đã giải quyết.’ Ông muốn giữ niềm tin bằng con số nào? Xin cho phép chúng ta cùng quyết.” — Miura: “…Hướng dẫn sai thì không được. Chúng tôi xử lý địa chỉ mà.” — Mei: “Vậy tôi sẽ đề xuất kế hoạch nuôi ba mươi tám thành một con số chắc chắn.” — Miura: (khẽ thở dài) “Giải thích với ban lãnh đạo lại vất vả nữa rồi…” — Mei: (sau một nhịp) “Nếu tiện, tài liệu giải thích dành cho ban lãnh đạo, để bên chúng tôi chuẩn bị nhé? Đặt cạnh tỷ lệ hướng dẫn sai, có thể làm cho ba mươi tám đọc lên thành một con số trung thực.” — Miura: “…Cô giúp tôi nhiều lắm. Thật đấy.”

(On the screen, the number 32.0.) — …Thirty-two, huh. — If I just said “about thirty-five,” nothing would grate. Three points is practically measurement noise. — …No. — “Which is why the numbers stay honest.” His voice was low that day. — Round once and every number after it gets doubted. Thirty-two is thirty-two. Instead, I carry the meaning of thirty-two with me. — That the preparation is not finished. The route to thirty-eight. The price of fifty — which is wrong answers. — You do not send a number out naked. Not dressed up: given a map. — (After the meeting. The lift lobby.) — Miura-san’s “that helps” — his voice was a little damp. — We were talking about numbers, and it landed somewhere that was not numbers. — …Between the board and us, Miura-san has been interpreting alone this whole time. — Today, I think, I stood on Miura-san’s side for the first time.

（屏幕上，32.0 这个数字。）——……32 啊。——要是说「大概 35」，场面就不会难看。3 个百分点，差不多就是误差而已。——……不。——「数字要老实。」那时候部长的声音，很低。——圆滑一次，之后的数字就全都会被怀疑。32 就是 32。作为交换，我把 32 的意思一起带过去。——还没整备完这件事。到 38 的路径。50 的价钱，也就是误导。——数字不能光着出去。不是给它穿衣服，是给它配地图。——（会议之后。电梯厅。）——三浦先生那句「帮大忙了」，声音有点湿。——明明在谈数字，最后却落在了不是数字的地方。——……在董事会和我们之间，三浦先生一直一个人在做翻译。——今天，我大概是第一次，站到了三浦先生那一边。

（螢幕上，32.0 這個數字。）——……32 啊。——要是說「大概 35」，場面就不會難看。3 個百分點，差不多就是誤差而已。——……不。——「數字要老實。」那時候部長的聲音，很低。——圓滑一次，之後的數字就全都會被懷疑。32 就是 32。作為交換，我把 32 的意思一起帶過去。——還沒整備完這件事。到 38 的路徑。50 的價錢，也就是誤導。——數字不能光著出去。不是給它穿衣服，是給它配地圖。——（會議之後。電梯廳。）——三浦先生那句「幫大忙了」，聲音有點濕。——明明在談數字，最後卻落在了不是數字的地方。——……在董事會和我們之間，三浦先生一直一個人在做翻譯。——今天，我大概是第一次，站到了三浦先生那一邊。

(Trên màn hình, con số 32,0.) — …Ba mươi hai à. — Chỉ cần nói “khoảng ba mươi lăm” là chẳng có gì gợn. Ba điểm phần trăm thì gần như là sai số. — …Không. — “Các con số phải trung thực.” Hôm ấy giọng trưởng phòng trầm lắm. — Làm tròn một lần là mọi con số sau đó đều bị nghi. Ba mươi hai là ba mươi hai. Đổi lại, mình mang theo ý nghĩa của ba mươi hai. — Rằng phần chuẩn bị chưa xong. Lộ trình đến ba mươi tám. Cái giá của năm mươi, tức là hướng dẫn sai. — Không đưa một con số ra ngoài trần trụi. Không mặc áo cho nó — mà kèm cho nó một tấm bản đồ. — (Sau cuộc họp. Sảnh thang máy.) — Câu “cô giúp tôi nhiều lắm” của Miura-san — giọng ông hơi ẩm. — Đang nói chuyện con số, mà cuối cùng lại đáp xuống một chỗ không phải con số. — …Giữa ban lãnh đạo và bên mình, Miura-san đã một mình làm người phiên dịch suốt từ đầu. — Hôm nay, chắc là lần đầu tiên, mình đứng về phía Miura-san.

Souta: “First round of verification: first-contact resolution rate 32.0 percent. 160 out of 500.” — QA: “That 32.0 — if you run it again, do you get the same number?” — Souta: “…I have not checked.” — QA: “Run it. Generation has variance, so the second time might be 31. We need to know the spread before we report.” — Mei: “What is the quality of the ground-truth labels?” — QA: “All 500 were cross-checked by two people. Twelve disagreements came up, and we resolved them by fixing the definition of ‘correct.’” — Mei: “What is the breakdown of the four wrong answers?” — Souta: “Three came from an old version of the FAQ, one from a missing note about an exception in the pickup coverage area. They are not model errors, they are data errors.” — Mei: “I will use that sentence as it is tomorrow. If you can say where the cause lives, the number is not frightening.” — QA: “Tomorrow you are giving precision and recall separately, right?” — Mei: “I am. 91.4 and 35.0. It is those two that make the number 32 mean anything.” — Souta: “I will run the re-run tonight. If the second one comes out at 31.6, how do we report it?” — Mei: “I will know the spread myself. The report stays at the first run, 32.0. But if we are asked, I can give the spread.”

颯太：「第一次验证，一次解决率 32.0%。500 件里 160 件。」——QA：「那个 32.0，重跑一次还是同样的数字吗？」——颯太：「……还没确认。」——QA：「跑一次。生成是有波动的，第二次可能是 31。汇报之前，得知道幅度。」——梅：「正解标签的品质呢？」——QA：「500 件，两个人交叉核对过了。判定不一致的有 12 件，把正解的定义改了之后就解决了。」——梅：「误导 4 件的内訳呢？」——颯太：「3 件是 FAQ 旧版造成的，1 件是揽收可行地区的例外漏写。不是模型的错，是数据的错。」——梅：「那句话，明天原样用。能说出原因在哪里，数字就不可怕。」——QA：「明天，精度和召回率会分开给出吧。」——梅：「会。91.4 和 35.0。有这两个，32 这个数字的意思才立得住。」——颯太：「重跑今晚就跑。要是第二次是 31.6，怎么汇报？」——梅：「幅度我自己心里有数。汇报就用第一次的 32.0。不过，被问到的话，要能连幅度一起说出来。」

颯太：「第一次驗證，一次解決率 32.0%。500 件裡 160 件。」——QA：「那個 32.0，重跑一次還是同樣的數字嗎？」——颯太：「……還沒確認。」——QA：「跑一次。生成是有波動的，第二次可能是 31。報告之前，得知道幅度。」——梅：「正解標籤的品質呢？」——QA：「500 件，兩個人交叉核對過了。判定不一致的有 12 件，把正解的定義改了之後就解決了。」——梅：「誤導 4 件的細項呢？」——颯太：「3 件是 FAQ 舊版造成的，1 件是收件可行地區的例外漏寫。不是模型的錯，是資料的錯。」——梅：「那句話，明天原樣用。能說出原因在哪裡，數字就不可怕。」——QA：「明天，精確率和召回率會分開給出吧。」——梅：「會。91.4 和 35.0。有這兩個，32 這個數字的意思才立得住。」——颯太：「重跑今晚就跑。要是第二次是 31.6，怎麼報告？」——梅：「幅度我自己心裡有數。報告就用第一次的 32.0。不過，被問到的話，要能連幅度一起說出來。」

Souta: “Vòng kiểm chứng thứ nhất, tỷ lệ giải quyết ngay lần đầu 32,0 phần trăm. 160 trên 500.” — QA: “Con số 32,0 đó — chạy lại thì có ra đúng như vậy không?” — Souta: “…Em chưa kiểm.” — QA: “Chạy đi. Sinh văn bản có dao động, lần hai có thể là 31. Trước khi báo cáo, phải biết khoảng dao động.” — Mei: “Chất lượng nhãn đáp án chuẩn thì sao?” — QA: “Cả 500 mục đã được hai người đối chiếu chéo. Có 12 mục lệch nhau, đã xử lý bằng cách sửa lại định nghĩa ‘đúng.’” — Mei: “Bốn ca hướng dẫn sai thì chi tiết ra sao?” — Souta: “Ba ca do bản FAQ cũ, một ca do thiếu ghi chú về ngoại lệ vùng nhận hàng. Không phải lỗi mô hình, mà là lỗi dữ liệu.” — Mei: “Câu đó, mai chị dùng nguyên vẹn. Nói được nguyên nhân nằm ở đâu thì con số không đáng sợ.” — QA: “Mai chị sẽ đưa precision và recall riêng ra chứ?” — Mei: “Có. 91,4 và 35,0. Có hai con số đó thì con số 32 mới có nghĩa.” — Souta: “Tối nay em chạy lại. Nếu lần hai ra 31,6 thì báo cáo thế nào ạ?” — Mei: “Chị sẽ nắm cả khoảng dao động. Báo cáo thì giữ 32,0 của lần đầu. Nhưng nếu được hỏi, phải nói được đến cả khoảng.”