4　Part II：借別人的字典考試（TODO2 配分 10%、TODO3 配分 5%）

結論：用史丹佛做好的 GloVe 字典去考 19,544 題，答對 63.11%。首都、國名→國籍很準（將近九成），貨幣、反義字首、形容詞→副詞很差（14%～24%）。t-SNE 圖上，有些男女配對黏在一起（boy／girl、man／woman），也有分很開的（brother／sister）。

TODO2 的程式

for analogy in tqdm(data["Question"]):                  # 一題一題做（tqdm 只是顯示進度條）
      word_a, word_b, word_c, word_d = analogy.lower().split()   # ① 先轉小寫，再切成四個字
      golds.append(word_d)                              # 正確答案先記下來，等一下對答案
      if all(w in model.key_to_index for w in (word_a, word_b, word_c)):   # 邊界情況 2：三個字都查得到嗎？
          preds.append(model.most_similar(positive=[word_b, word_c],       # ② b − a ＋ c，③ 找最近的字
                                          negative=[word_a], topn=1)[0][0])
      else:
          preds.append(None)                            # 查不到 → 這題算答錯

主流程：三小步

邊界情況 2（同第 1 節）：題目的字查不到

字典裡沒有的字叫 OOV（查不到的字）。a、b、c 有一個查不到，就沒辦法算 b − a ＋ c，所以程式先檢查（model.key_to_index 是字典收的所有字，w in model.key_to_index 就是問「這個字查得到嗎？」）；查不到就記 None，這題算答錯。

如果沒有這個檢查，most_similar 遇到查不到的字會直接報錯、整個程式停下來。GloVe 字典收了 40 萬字（外部知識），這次 0 題查不到（In [12] 印的）。

邊界情況 1（同第 1 節）：答案不能是題目自己的字

most_similar 會自動排除題目裡的 a、b、c 三個字。原因見第 1 節「邊界情況 1」：算出來的點有可能離題目自己的字很近（外部知識：gensim 的設計）。

一題怎麼打分

電腦答的第 1 名跟正確答案 d 一樣，這題就算對。19,544 題全部做完，答對題數 ÷ 19,544 就是正確率。一題真題從頭到尾的完整例子在第 7 節（用 Wiki 20% 字典，因為筆記本只對它印了錯題）。

考出來的正確率

為什麼有的很準、有的很差

上面的原因是根據詞向量的原理推論的；要真的確認，要看錯題分析（第 12 節）。

TODO3：t-SNE 圖

把家人／性別小類（筆記本上叫 family）的 46 個字，從 100 維壓成 2 維畫出來。下圖是用跟筆記本 In [14] 完全一樣的設定重畫的（點的位置相同），只多加了圈和顏色，方便你找：

⟦IMG:glove_tsne_marked⟧

怎麼看這張圖：

• 有些男女配對黏在一起（灰線）：boy／girl、man／woman、dad／mom，還有 bride／groom、policeman／policewoman。但 brother／sister、uncle／aunt、son／daughter 沒有黏在一起。
• 有按「角色」分的群：皇室（藍圈）、「繼」字輩（綠圈）、代名詞（紅圈）、複數（褐圈）各一群。中間那一大塊則大致是左邊男性（son、brother、uncle）、右邊女性（daughter、mother、aunt）；例外是 husband，它在右邊跟 wife 黏在一起。
• 這張圖上「角色」和「性別」都看得到分群（推論：t-SNE 每次跑可能不同，這裡只看這一次）。另外，這是 2 維的圖，不能直接拿來推論 100 維裡的加減法。

7　Part III 用自己的字典考試（TODO6 配分 10%、TODO7 配分 10%）

結論：自己用 20% 維基百科訓練的字典（本文叫 Wiki 20% 字典），正確率 ⟦R:w20_overall⟧，比 GloVe 字典低約 15 個百分點。語法類掉得比語意類多。但有一個小類反而贏 GloVe：美國城市在哪州。

程式

跟 TODO2 一模一樣，只是把 model（GloVe 字典）換成 my_wv（程式裡的變數名，就是本文的 Wiki 20% 字典）。另外模板在 TODO6 後面沒有放評分的格子，所以我在同一格（In [23]）最後補了印成績的程式（照抄 Part II 評分格的寫法）。不然看不到成績。

先看一題真的題目：從頭到尾怎麼被打分

在看 19,544 題的正確率之前，先跟著一題走完。這題來自筆記本 In [38] 的錯題分析（家人／性別小類）：

boy girl father mother

1. 拆字：a＝boy、b＝girl、c＝father，正確答案 d＝mother。
2. 算 b − a ＋ c：用 Wiki 20% 字典算 girl − boy ＋ father。
3. 排除題目自己的字：boy、girl、father 不能當答案。
4. 找最近的字：第 1 名是 stepmother（繼母），mother 排第 2。
5. 打分：只看第 1 名 → stepmother ≠ mother，這題算錯。（如果改成「前 3 名有就算對」，這題就算對——第 12 節實驗 ④。）
6. 推廣：19,544 題每一題都照做，答對題數 ÷ 19,544 ＝ 正確率 ⟦R:w20_overall⟧。

跟 GloVe 比一比

為什麼比 GloVe 差

語法類為什麼掉比較多？（推論）比較級、最高級、-ing 這些字形，在百科全書裡比較少用（百科很少寫「最好的」「正在跑」）；GloVe 混了新聞，可能因此比較多。第 10 節的論壇實驗顯示「文體會影響語法類」，但論壇是網友口語，不是新聞，所以不能直接證明新聞的效果。而且 GloVe 跟我們同時差了方法、教材字數、教材種類，無法分開。

美國城市在哪州為什麼反而贏？維基百科每一個美國城市都有一篇文章，開頭常常是「X 是 Y 州的一個城市」，這種句型很多（推論，沒有數過）。我們讀的 100% 是維基百科，GloVe 混了新聞，所以這一類我們的比例比較高。（這是推論，沒有直接驗證。）

TODO7：Wiki 20% 字典的 t-SNE 圖

一樣是用跟筆記本 In [24] 完全相同的設定重畫、只加了圈和顏色：

⟦IMG:w20_tsne_marked⟧

可能的解釋：stepfather 這類字在維基百科出現得不多，我們的教材又只有 GloVe 的九分之一，還學不出「繼父」跟「父親」的差別。（推論；t-SNE 每次跑可能不同，這只是一次的圖。）