4　Part II：借別人的字典考試（TODO2 10%、TODO3 5%）

結論：用史丹佛做好的 GloVe 字典去考 19,544 題，答對 63.11%。首都、國籍很準（將近九成），貨幣、反義字首、加 -ly 很差（14%～24%）。t-SNE 圖看得出字是按「角色」分群，男女配對黏在一起。

TODO2 的程式（逐行講解）

for analogy in tqdm(data["Question"]):                  # 一題一題做（tqdm 只是顯示進度條）
      word_a, word_b, word_c, word_d = analogy.lower().split()   # ① 先轉小寫，再切成四個字
      golds.append(word_d)                              # 正確答案先記下來，等一下對答案
      if all(w in model.key_to_index for w in (word_a, word_b, word_c)):   # ② 三個字都查得到嗎？
          preds.append(model.most_similar(positive=[word_b, word_c],       # ③ b + c − a
                                          negative=[word_a], topn=1)[0][0])
      else:
          preds.append(None)                            # 查不到 → 這題算答錯

考出來的成績

為什麼有的很準、有的很差

上面的原因是根據詞向量的原理推論的；要真的確認，要看錯題分析（第 12 節）。

TODO3：t-SNE 圖

把 family 類的 46 個字，從 100 維壓成 2 維畫出來：

⟦IMG:glove_tsne⟧

怎麼看這張圖：

• 男女配對黏在一起：boy／girl、man／woman、dad／mom、bride／groom、policeman／policewoman。
• 按「角色」分群，不是按男女分群：皇室（king、queen、prince、princess）一群、「繼」字輩（stepfather…）一群、代名詞（he、she、his、her）一群、複數（brothers、sons…）一群。
• 看得出「角色」比「性別」更決定一個字在哪一群。（注意：這是 2 維的圖，不能直接拿來推論 100 維空間裡的加減法。）

t-SNE 的參數 perplexity（大約是「每個點要照顧幾個鄰居」）預設 30，但只有 46 個字，所以調成 15。它必須比點的數量小，不然會報錯。

7　Part III 用自己的字典考試（TODO6 10%、TODO7 10%）

結論：自己用 20% 維基百科訓練的字典，答對 ⟦R:w20_overall⟧，比 GloVe 低約 15 個百分點。語法類掉得比語意類多。但有一類反而贏 GloVe：美國城市在哪州。

程式

跟 TODO2 一模一樣，只是把 model（GloVe）換成 my_wv（自己訓練的字典）。另外模板在 TODO6 後面沒有放評分的格子，所以我在同一格最後補了印成績的程式（照抄 Part II 評分格的寫法）。不然看不到成績。

跟 GloVe 比一比

為什麼比 GloVe 差

語法類為什麼掉比較多？（推論）比較級、最高級、-ing 這些字形，在百科全書裡比較少用（百科很少寫「最好的」「正在跑」）；GloVe 混了新聞，可能因此比較多。第 10 節的論壇實驗顯示「文體會影響語法類」，但論壇是網友口語，不是新聞，所以不能直接證明新聞的效果。而且 GloVe 跟我們同時差了方法、資料量、文章種類，無法分開。

美國城市在哪州為什麼反而贏？維基百科每一個美國城市都有一篇文章，開頭幾乎都是「X 是 Y 州的一個城市」，這種句型重複了上萬次。我們讀的 100% 是維基百科，GloVe 混了新聞，所以這一類我們的比例比較高。（這是推論，沒有直接驗證。）

TODO7：自己字典的 t-SNE 圖

⟦IMG:w20_tsne⟧

可能的解釋：stepfather 這類字在維基百科出現得不多，我們讀的量又只有 GloVe 的九分之一，還學不出「繼父」跟「父親」的差別。（推論。）