9　報告第 2 題：讀 5%、10%、20%，差多少？（10%）

結論：資料越多，整體越好，但每多一倍只多約 1 分（46.12 → 47.15 → 48.39）。語法類的進步是真的（超過雜訊），語意類的進步太小、分不出是不是雜訊。

先學會一把尺：雜訊

同樣的設定、只換亂數種子，訓練 4 次，結果不會一模一樣（第 12 節實驗 ①）。最高和最低差多少，就叫「雜訊範圍」。

規則：兩個結果的差距，要比雜訊範圍大，才能說「真的有差」。比雜訊小的，可能只是運氣。

成績

報告要點：數字 → 觀察 → 原因

11　報告第 4 題：挑字，各找最像的 5 個字（10%）

結論：「最像的字」常常不是人想的那樣。四個最重要的觀察：①冷門字會擠進鄰居名單（king 的第一名是只出現 34 次的泰國國王）；②反義詞很近（good 的鄰居有 bad）；③一字多義被常見意思蓋掉（apple 前 15 名全是科技）；④鄰居反映教材內容（cat 的鄰居是卡通貓）。

挑字的原則（這也是加分點）

結果

兩個模型的相似度分數尺度不同，只能比「各自的排名」，不能拿分數互相比大小。

觀察 ①：冷門字會擠進鄰居名單

筆記本印出了每個鄰居在 20% 維基裡出現幾次：

字典門檻是 30 次，這些冷門字剛好卡在門檻上方。（推論）一個字只出現幾十次，而且幾乎每次都在國王或銀行的文章裡，它的座標就被拉到 king、bank 旁邊。

證據：只在「最常見的 5 萬個字」裡找鄰居，冷門字被排除，king 變成 queen, throne, prince, reigned, ruler；bank 變成 savings, bancorp, banking, lenders, jpmorgan——合理多了。

觀察 ②：反義詞很近

good 的鄰居有 bad，相似度 0.70。「這部電影很 ___」兩個字都能填，前後文一樣，詞向量分不出正反。

觀察 ③：一字多義被常見的意思蓋掉

• apple：前 15 名全部是科技相關（blackberry、iphone、tvos、ipad、android……；raspberry 在這裡是 Raspberry Pi 小電腦）。apple 跟 banana 只有 0.41、跟 fruit 0.37，跟 microsoft 卻有 0.65。
• bank：前 5 名都是金融，但 bank 跟 river（河）0.49，反而比跟 money（錢）的 0.40 還高。所以河岸的意思沒有消失，而是跟銀行的意思混在同一個座標裡，只是排不進前 5。

這就是「一個字只有一組座標」的限制。老師投影片 W1 p60 正是用 bank 舉例；要解決要用上下文詞向量（BERT，W2 p39）。

觀察 ④：鄰居反映教材內容

cat 的鄰居 sourpuss 是什麼？筆記本回到教材搜尋，找到「toon characters including … gandy goose sourpuss dinky duck …」——是一隻卡通貓的名字。印證老師說的「貓的鄰居不一定是貓」。