[人工智慧導論](https://app.notion.com/p/3e6fc631b0308131b213f0a3d93fe91d) › [W3(9/24)](https://app.notion.com/p/3e6fc631b0308137bbd8e73f5c6f1b62) › 07|影片 [2:29:37–2:53:55](https://www.youtube.com/watch?v=S1km7opW6rw&t=8977s)|投影片 Ch12 p.2–17|上一章 [06 部分觀察與線上搜尋(2:16–2:29)](https://app.notion.com/p/3e6fc631b0308161a1a1c05842cdd2c7)|下一章 無 跳過提示:(2:45:47–2:51:10) 老師用丟兩顆骰子算樣本空間、事件和條件機率,聽不懂可以直接跳到 [2:51:11](https://www.youtube.com/watch?v=S1km7opW6rw&t=10271s),接著講「小鎮蛀牙率和牙痛病人蛀牙率兩個都對」。 跳過的這段在做什麼(白話):老師拿兩顆骰子當例子,示範「所有可能情況有幾種、符合條件的有幾種、相除就是機率」。觀念在下面「樣本空間與事件」段都有用文字講,跳過不會漏掉重點。 跳過提示:(2:52:00–2:53:32) 老師把條件機率公式翻成白話、再移項成 product rule,聽不懂可以直接跳到 [2:53:33](https://www.youtube.com/watch?v=S1km7opW6rw&t=10413s),老師說這幾頁完全是複習,接著進入抽獎。 跳過的這段在做什麼(白話):把「在知道 b 的情況下,a 的機率」換個方向寫成「a、b 同時發生的機率 = b 的機率 × 在 b 之下 a 的機率」,只是同一句話換個寫法,沒有新觀念。 ## 重點 - 課本 Ch5–10(符號邏輯)整段跳過,直接進 Ch12。Agent 看不清環境、動作又不一定照做,所以永遠無法百分之百確定自己的狀態,要改用機率表達「有多大把握」。 - 牙醫例子說明邏輯規則寫不完(laziness、theoretical ignorance、practical ignorance)。機率把這些不確定性摘要成一個數字,而這個數字取決於目前已知的證據。 - 機率加上效用就是 decision theory,理性 agent 選 expected utility 最高的動作(MEU 原則)。工具面複習 sample space、event、條件機率 P(a | b) = P(a ∧ b) / P(b) 和 product rule。 符號怎麼讀:P(…) 是「…發生的機率」,是 0 到 1 之間的數字(0.8 就是八成);直線 | 讀作 given,意思是「在已經知道…的情況下」;∧ 是「而且」。所以 P(a | b) 就是「已經知道 b 發生了,a 也發生的機率」。 ## Exam-ready - **Uncertainty (partial observability, nondeterminism)**: "An agent may never know for certain what state it's in or where it will end up after a sequence of actions."(Ch12 p.2) - 中文:agent 可能永遠無法確定自己現在在哪個狀態,也不知道做完一串動作後會停在哪。原因是只看得到環境的一部分(部分可觀察),或動作結果不一定照預期(非確定性),或兩者都有。白話:agent 常常「不知道自己在哪」。難字:for certain(確定地)、a sequence of actions(一連串動作)。 - **Laziness**: "It is too much work to list the complete set of antecedents or consequents."(Ch12 p.5) - 中文:要把規則的所有前項(原因)或所有後項(結果)完整列出來,工作量太大。白話:規則列不完。難字:antecedents(前項)、consequents(後項)。 - **Theoretical ignorance**: "Medical science has no complete theory for the domain."(Ch12 p.5) - 中文:醫學本身對這個領域還沒有完整的理論。白話:連專家都還不知道全部的原因。難字:theoretical ignorance(理論上的無知)。 - **Practical ignorance**: "Even if we know all the rules, we might be uncertain about a particular patient because not all the necessary tests have been or can be run."(Ch12 p.5) - 中文:就算規則全都知道,對眼前這個病人還是可能不確定,因為該做的檢查沒有全部做、或根本做不到。白話:理論懂了,檢查也做不完。難字:particular(特定的)、necessary tests(必要的檢查)。 - **Probability theory**: "Probability provides a way of summarizing the uncertainty that comes from our laziness and ignorance, thereby solving the qualification problem."(Ch12 p.6) - 中文:機率提供一種方法,把「懶得列」和「不知道」造成的不確定性摘要起來,因此解決了 qualification problem(規則永遠要再加例外條件的問題)。白話:不用列完所有例外,給一個「有幾成把握」就好。難字:summarizing(摘要)、qualification(附加條件)。 - **Knowledge state**: "Note that these statements do not contradict each other; each is a separate assertion about a different knowledge state."(Ch12 p.7)【老師強調】(2:43:40) - 中文:0.8、0.4、接近 0 這幾句機率陳述彼此不矛盾,因為每一句都是在講不同的「已知資訊狀態」。白話:知道的事情變了,機率跟著變,這不是衝突。難字:contradict(矛盾)、assertion(主張)、knowledge state(知識狀態)。 - **Decision theory = probability theory + utility theory; MEU**: "an agent is rational if and only if it chooses the action that yields the highest expected utility, averaged over all the possible outcomes of the action."(Ch12 p.9) - 中文:決策理論把效用(偏好)和機率結合起來。它的核心想法是:agent 是理性的,若且唯若它選的動作,在所有可能結果上平均起來的期望效用最高,這叫 MEU 原則。白話:挑「機率 × 好壞」加總最高的動作。難字:yields(產生)、expected utility(期望效用)、averaged over(對…取平均)。 - **Sample space Ω and propositions, P(φ) = Σ P(ω) over ω ∈ φ**: "The probability associated with a proposition is defined to be the sum of the probabilities of the worlds in which it holds"(Ch12 p.12) - 中文:樣本空間 Ω 是所有可能世界的集合;一個命題(proposition,也就是 event)的機率,定義成「讓它成立的那些世界」的機率加總。白話:先找出哪些情況算符合,再把機率加起來。難字:associated with(對應到)、holds(成立)。 - **Conditional probability, P(a | b) = P(a ∧ b) / P(b)**: "It is important to understand that P(cavity)=0.2 is still valid after toothache is observed."(Ch12 p.15)【老師強調】(2:51:42) - 中文:要了解,觀察到牙痛之後,P(cavity) = 0.2 這個先驗機率仍然是對的;只是做決定時要用條件機率 P(cavity | toothache) = 0.6,因為 agent 要以它看到的全部證據為條件。白話:先驗和條件機率可以同時成立。難字:valid(有效的)、observed(被觀察到)。 - **Product rule, P(a ∧ b) = P(a | b) P(b)**: "for a and b to be true, we need b to be true, and we also need a to be true given b."(Ch12 p.17) - 中文:乘法規則是條件機率定義換個寫法:a 和 b 都要成立,就需要 b 成立,而且在 b 成立的前提下 a 也成立。白話:先發生 b,再在 b 之下發生 a,兩個機率相乘。難字:given(在…條件下)。 ## [2:29:37](https://www.youtube.com/watch?v=S1km7opW6rw&t=8977s) 從第四章跳到第十二章 課本第二部分 Ch5–10 講符號邏輯學派(把知識寫成只有真假的邏輯規則,再用推理證明結論),老師認為現在幾乎沒人用,所以 Ch4 講完直接進 Ch12。Ch12 開始把不確定性(uncertainty)放進 AI,時代感大約是 1980–90 年代 AI 開始引入機率的時候,內容大多是機率複習。為什麼搜尋講完會接到機率?前面決定「走哪一步」靠盲目嘗試(blind search)或 heuristic(A*),而機率天生就能表達「這條路有多大機會有用」。 (第 2 週學過:blind search 是不靠任何線索、照固定順序一個一個試,例如 BFS、DFS;A* 是用 heuristic,也就是對「離終點還有多遠」的估計,先試看起來最有希望的路。) 注意:本課不講 Ch5–10,老師的原話是「跳過」,沒有明說不考。
要先懂什麼? AI 的時間線(老師在第一週講過):1955–1956 年出現 AI 這個詞;很長一段時間(大約到冷戰時期)主流是符號邏輯學派,相信把知識寫成邏輯式子就一定能證明出答案;1980 年代起開始引入機率處理「不確定」。所以這一章等於從搜尋直接跳到機率時代。
老師原話是什麼? - 「那時候大部分的AI的學者,在走的是符號邏輯學派的那一些東西」(2:30:27) - 「所以我們直接跳過,我們直接進入到第十二章」(2:31:02) - 「因為機率天生,就是可以拿來表達所謂的不確定性」(2:31:57)
## [2:32:29](https://www.youtube.com/watch?v=S1km7opW6rw&t=9149s) 為什麼要處理不確定性 不確定性有兩個來源:partial observability(部分可觀察:agent 只看得到環境的一部分),以及 nondeterminism(非確定性:同一個動作做下去,結果不一定一樣),實體世界常常兩者混在一起。結果是 agent 可能永遠無法確定自己在哪個狀態,也無法確定做完一串動作後會停在哪裡。為什麼 Ch4 的 belief state(所有可能狀態的集合)還不夠?它只說「可能在 A 也可能在 B」,說不出哪個比較可能;機率可以替每個可能狀態加上權重(我補充)。 (第 3 週 06 章學過:belief state 是 agent 看不清楚時,把「我可能在的所有狀態」列成一張清單。吸塵器是第二章講 agent 時用的例子:兩格房間、會自己移動吸灰塵的小機器人。) 下面進階摺疊在算的事(白話):假設吸塵器每次往右只有九成會成功,算走兩步之後它在哪一格的機率。算出來是 99% 在右邊、1% 還卡在原地,代表就算把握很高,也永遠不是百分之百確定。
用生活例子講? 老師用第二章的吸塵器:你叫它往右走,它卻因為機器故障、控制誤差或雜訊(noise)沒有真的往右。再加上它的感測器也看不清楚,兩種毛病混在一起,它就搞不清楚自己在哪、下一步會怎樣。 像在地下停車場用手機導航:定位飄來飄去(看不清),你照著指示右轉,結果轉錯出口(動作沒照做)。
它到底怎麼運作?(進階,可跳過) (數字是我補充的)兩格世界 A、B,吸塵器從 A 出發。假設「往右」成功的機率是 0.9,失敗就留在原地;已經在 B 再往右會撞牆,還是在 B。 1. 第一次往右:P(在 B) = 0.9,P(在 A) = 0.1。 2. 第二次往右:原本在 B 的 0.9 留在 B;原本在 A 的 0.1 裡,有 0.9 的比例移到 B。所以 P(在 B) = 0.9 + 0.1 × 0.9 = 0.99,P(在 A) = 0.01。 3. 兩步之後還是有 1% 的機會卡在 A,這就是「may never know for certain」。Ch4 的 belief state 只會寫 {A, B},看不出 99% 和 1% 的差別。
老師原話是什麼? - 「你叫它往右走,它就沒有真的往右走,實體世界有這種情況啊」(2:33:15) - 「may never know for certain what state it's in or where it will end up after a sequence of actions」(2:33:48)
## [2:34:02](https://www.youtube.com/watch?v=S1km7opW6rw&t=9242s) 牙醫例子:邏輯規則寫不完 老師用 propositional logic(命題邏輯:每個敘述只有真或假,用「⇒ 如果…就…」和「∨ 或」連起來)寫牙醫的診斷規則。投影片 p.3 的「Toothache ⇒ Cavity」(牙痛就是蛀牙)是錯的,牙痛也可能來自 gum disease(牙齦病)、abscess(膿腫,投影片註「潰瘍」)等;改成「Toothache ⇒ Cavity ∨ GumProblem ∨ Abscess ∨ …」比較接近事實,但投影片說後面要加「an almost unlimited list of possible problems」(幾乎無限長的清單)。老師還補了走路撞到門、神經痛。p.4 反過來寫成 causal rule(因果規則)「Cavity ⇒ Toothache」也錯,因為不是所有蛀牙都會痛;唯一的修法是讓規則 logically exhaustive(邏輯上窮盡),把蛀牙會造成牙痛的所有條件都補進左邊。為什麼一個例外就讓整條規則作廢?邏輯的「⇒」意思是「一定」,只要一個反例整條就是假的,它沒有「通常」這種說法。老師說,這個小例子直接推翻了早期符號學派「只要把知識寫成邏輯,就一定能證明出答案」的主張。 下面進階摺疊在做的事(白話):拿三個假想病人去套兩條規則,看規則會不會被推翻。結論是只要出現一個反例,整條規則就作廢,這就是邏輯處理不了「通常是這樣」的原因。
要先懂什麼? 命題邏輯的「A ⇒ B」只在一種情況下是假的:A 為真、B 為假。 - 牙痛(A 真)而且蛀牙(B 真)→ 規則成立。 - 沒牙痛(A 假)→ 不管有沒有蛀牙,規則都算成立。 - 牙痛(A 真)但沒蛀牙(B 假)→ 規則被推翻。 從症狀推原因的「Toothache ⇒ Cavity」課本叫 diagnostic rule(診斷規則)(my wording);從原因推症狀的「Cavity ⇒ Toothache」投影片叫 causal rule。老師示範的是兩個方向都寫不好。
它到底怎麼運作?(進階,可跳過) (病人是我補充的)拿三個病人測兩條規則: 1. 甲:牙痛、有蛀牙 → 兩條規則都成立。 2. 乙:牙痛、沒蛀牙(其實是牙齦發炎)→ 「Toothache ⇒ Cavity」被推翻。 3. 丙:有蛀牙、不會痛 → 「Cavity ⇒ Toothache」被推翻。 只要三個病人,兩條規則就都倒了。想救的話只能一直加「∨ …」或加例外條件,而那張清單寫不完,這就是下一段的 laziness。
老師原話是什麼? - 「不是所有的蛀牙都會造成牙痛啊」(2:36:38) - 「你光牙痛診斷這件事情,你就沒有辦法完整的寫出」(2:37:26)
## [2:37:33](https://www.youtube.com/watch?v=S1km7opW6rw&t=9453s) 邏輯失敗的三個原因 投影片 p.5 說,用邏輯處理醫療診斷這類領域會失敗,主要有三個原因,見下表。三個原因的共同結果是:agent 的知識永遠不完整,所以它對一件事最多只能有某種程度的相信(degree of belief),而不是單純的真或假。為什麼叫 laziness?不是指寫程式的人偷懶,而是把前項、後項全部列完的工作量大到不實際。 | 原因 | 意思 | 老師的例子 | |---|---|---| | Laziness(懶惰) | 要列出完整的前項或後項,工作量太大,也可能根本列不完 | 牙痛的原因列不完 | | Theoretical ignorance(理論上的無知) | 醫學對這個領域還沒有完整的理論 | 老人為什麼會失智,醫學界還沒有完整理論 | | Practical ignorance(實務上的無知) | 就算規則都知道,該做的檢查沒做或做不到,對眼前這個病人還是不確定 | 就算知道失智成因,要測蛋白質累積、血糖、血壓等,實際上太貴 |
用生活例子講? 修車師傅聽到引擎異音: - Laziness:可能的原因有幾百種,要全部寫成規則寫不完。 - Theoretical ignorance:有些異音連原廠工程師都還說不出原因。 - Practical ignorance:原因都知道,但要確認就得把整台引擎拆開,成本太高。 師傅最後會說「八成是皮帶」,這句「八成」就是下一段要講的機率。
老師原話是什麼? - 「你無法窮舉出所有的原因,或者窮舉出所有的結果」(2:37:47) - 「就實際應用上也太貴」(2:39:33)
## [2:39:41](https://www.youtube.com/watch?v=S1km7opW6rw&t=9581s) 用機率摘要不確定性 投影片 p.6:處理 degree of belief(相信程度)的主要工具是機率論;機率把 laziness 和 ignorance 造成的不確定性摘要成一個數字,因此解決了 qualification problem(規則永遠要再補例外條件的問題)。這個相信程度可以來自統計資料(看過的牙痛病人有 80% 有蛀牙)、一般牙科知識,或兩者合起來。p.7 說機率陳述是相對於 knowledge state(目前知道什麼),不是相對於真實世界:只知道牙痛時 P(cavity | toothache) = 0.8;看病歷發現牙齦病史,更新成 0.4;再收集到不利於蛀牙的決定性證據,就變成 almost 0(接近 0)。這幾句都對、彼此不矛盾。【老師強調】(2:43:40) 為什麼機率會「變」?機率不是病人身上固定的屬性,而是「在目前證據下有多相信」,證據一變,拿來比較的那群人就變了。 ```mermaid flowchart LR A["已知:牙痛
P(cavity | toothache) = 0.8"] --> B["再加:牙齦病史
P(cavity | toothache, gum) = 0.4"] --> C["再加:決定性的反證
P(cavity | 所有證據) 接近 0"] ``` 注意:第三句投影片寫 almost 0;老師口頭先說「等於0」(2:43:02),接著又唸成 0.4,以投影片為準。 下面進階摺疊在算的事(白話):用「100 位病人裡有幾位蛀牙」這種人數比例,示範為什麼多知道一件事,機率就從 0.8 變成 0.4。算出來代表:機率就是「在符合目前證據的那群人裡,占多少比例」。
它到底怎麼運作?(進階,可跳過) (人數是我補充的)把機率想成「在符合已知證據的那群人裡,有蛀牙的比例」: 1. 老醫生看過 100 位牙痛病人,其中 80 位有蛀牙 → 80 / 100 = 0.8。 2. 這 100 人裡有 10 位同時有牙齦病史,其中 4 位有蛀牙 → 4 / 10 = 0.4。 3. 這 10 人裡,X 光看不到蛀牙的那幾位,蛀牙比例接近 0。 證據每多一項,比較的那群人就縮小一次,比例跟著改。最後一段的條件機率公式,就是把這個「縮小再算比例」寫成數學。
老師原話是什麼? - 「機率呢,提供了一個辦法,讓我們去摘要所謂的不確定性」(2:39:47) - 「All these statements do not contradict each other」(2:43:21) - 「所以這邊只是要跟大家強調說,你在預估一個機率的時候,其實是根據你現有已知的某一些資訊來去預估這個機率」(2:43:40)
## [2:43:53](https://www.youtube.com/watch?v=S1km7opW6rw&t=9833s) 效用與決策理論 回到第二章的 utility-based agent。投影片 p.8:agent 要先對各種可能結果有 preferences(偏好),用 utility theory(效用理論)來表示;utility theory 說每個狀態對 agent 都有一個 utility(效用:有多有用),agent 偏好效用較高的狀態。p.9:Decision theory = probability theory + utility theory。Agent 是 rational(理性)的,若且唯若它選 expected utility(期望效用:每種結果的機率 × 效用,再加總)最高的動作,這叫 MEU 原則(maximum expected utility)。為什麼不直接照「最可能發生的結果」來選?因為還要看萬一猜錯有多慘,期望效用把機率和好壞一起算進去(我補充)。 「若且唯若」(if and only if)是數學用語,意思是兩個方向都成立:理性的 agent 一定選期望效用最高的動作;反過來,會選期望效用最高動作的 agent 就是理性的。(第 2 週 02 章學過:utility-based agent 會替每個狀態打分數,挑分數高的走,見 [02 環境性質與五種 Agent](https://app.notion.com/p/3e6fc631b03081da84a3de991c10424f)。) 下面這張表和進階摺疊在算的事(白話):替「補牙」「先觀察」兩個動作各算一個期望效用(EU),也就是「每種結果的機率 × 好壞分數,再加起來」。算出來代表:只知道牙痛時,補牙分數最高;多知道牙齦病史之後,最好的動作變成先觀察。 | 動作 | 有蛀牙時的效用 | 沒蛀牙時的效用 | 蛀牙機率 0.8 時的 EU | 蛀牙機率 0.4 時的 EU | |---|---|---|---|---| | 補牙 | +10 | −10 | 0.8 × 10 + 0.2 × (−10) = 6 | 0.4 × 10 + 0.6 × (−10) = −2 | | 先觀察 | −10 | +5 | 0.8 × (−10) + 0.2 × 5 = −7 | 0.4 × (−10) + 0.6 × 5 = −1 |
要先懂什麼? 期望值(expected value)= 每種結果的數值 × 它的機率,全部加起來。例:公平骰子的點數期望值 = (1 + 2 + 3 + 4 + 5 + 6) × 1/6 = 3.5。期望效用只是把「點數」換成「效用」。 第二章的四種 agent:simple reflex → model-based reflex → goal-based → utility-based。只有 utility-based 會替每個狀態打分數、比較哪個比較好,所以機率要接在它身上。
它到底怎麼運作?(進階,可跳過) (效用數字是我補充的,機率沿用上一段的 0.8 和 0.4) 1. 列出動作和可能結果:動作有「補牙」「先觀察」,結果有「有蛀牙」「沒蛀牙」。 2. 只知道牙痛時,P(cavity | toothache) = 0.8,補牙 EU = 6,先觀察 EU = −7 → MEU 選補牙。 3. 多了牙齦病史,機率變 0.4,補牙 EU = −2,先觀察 EU = −1 → MEU 改選先觀察。 證據一變,最佳動作就跟著變。
老師原話是什麼? - 「什麼叫做是一個理性的agent呢,就是根據他現有的資訊,他去做出能夠極大化效益的那種agent」(2:45:20)
## [2:45:47](https://www.youtube.com/watch?v=S1km7opW6rw&t=9947s) 樣本空間與事件 所有 possible worlds(可能世界)的集合叫 sample space(樣本空間),記作大寫 Ω,其中一個世界記作小寫 ω;這些世界 mutually exclusive and exhaustive(互斥而且涵蓋所有情況)。丟兩顆可區分的骰子,Ω 有 6 × 6 = 36 個 ω。機率公理:每個 ω 的機率 0 ≤ P(ω) ≤ 1,全部加起來等於 1;公平骰子每個 ω 都是 1/36,老師稱這種算法為古典機率。我們通常關心的是一群 ω,叫 event(事件),在 AI 裡用 proposition(命題)描述,它的機率是裡面所有 ω 的機率加總:P(φ) = Σ P(ω),ω ∈ φ(投影片式 13.2)。像 P(Total = 11)、P(doubles) 這種沒有附帶任何資訊的機率,叫 unconditional 或 prior probability(先驗機率)。為什麼叫 proposition?因為它是一句在某些 ω 為真、某些為假的話(我補充)。 符號怎麼讀:Ω(希臘字母 omega 的大寫)是「所有可能情況的總表」;ω(小寫)是其中一種情況,例如「第一顆 5、第二顆 6」;φ 是某個命題的代號;Σ 是「全部加起來」;ω ∈ φ 是「在這個情況裡 φ 成立」。所以 P(φ) = Σ P(ω) 白話就是:把符合條件的情況找出來,機率加總。機率公理是大家公認、不用證明的基本規則(每個機率在 0 到 1 之間、全部加起來是 1)。 下面進階摺疊在算的事(白話):數一數兩顆骰子點數和是 11 的情況有幾種(2 種),每種機率 1/36,加起來得到 1/18。 | Proposition | 包含哪些 ω | 機率 | |---|---|---| | Total = 11 | (5,6)、(6,5) | 2/36 = 1/18 | | Doubles(兩顆同點) | (1,1)、(2,2)…(6,6) | 6/36 = 1/6 | | Die1 = 5 | (5,1)、(5,2)…(5,6) | 6/36 = 1/6 | | Doubles ∧ Die1 = 5 | (5,5) | 1/36 | 注意:老師在 2:49:37 中途公布第二個通關密語「5665」,請助教記下。
它到底怎麼運作?(進階,可跳過) 算 P(Total = 11): 1. 找出點數和為 11 的 ω:只有 (5,6) 和 (6,5) 兩個。 2. 每個 ω 的機率都是 1/36。 3. 加起來:1/36 + 1/36 = 2/36 = 1/18(投影片 p.13 的答案)。 符號:ω ∈ φ 是「在 ω 裡 φ 成立」;Σ 是加總;∧ 是「而且」(交集)。表中後兩列下一段會拿來算條件機率。
老師原話是什麼? - 「你是這36種狀態裡面的,任何某一個狀態出現的機率,就是36分之1嘛」(2:47:04)
## [2:49:57](https://www.youtube.com/watch?v=S1km7opW6rw&t=10197s) 條件機率與乘法規則 大部分時候我們已經看到一些 evidence(證據),例如第一顆骰子已經是 5。這時要的是 conditional 或 posterior probability(條件機率、後驗機率),寫成 P(doubles | Die1 = 5),直線讀作 given。定義是 P(a | b) = P(a ∧ b) / P(b),只在 P(b) > 0 時成立(式 13.3,p.16)。把式子移項就是 product rule(乘法規則):P(a ∧ b) = P(a | b) P(b)(p.17)。投影片 p.15 的牙醫例子:定期檢查時看的是 P(cavity) = 0.2,因為牙痛才去看牙醫時,重要的是 P(cavity | toothache) = 0.6;觀察到牙痛後 0.2 仍然成立,兩個沒有衝突,只是做決定時要以看到的全部證據為條件。【老師強調】(2:51:42) 為什麼要除以 P(b)?投影片 p.16 的說法是:觀察到 b,就排除了所有 b 為假的世界,剩下那一塊總機率剛好是 P(b);在這塊裡同時滿足 a 的部分,占的比例就是 P(a ∧ b) / P(b)。 注意:老師口頭說小鎮的蛀牙率是 25%(2:51:24),投影片寫 P(cavity) = 0.2,以投影片為準。 先驗和後驗的白話:先驗(prior)是還沒看到任何證據前的機率;後驗(posterior)是看到證據之後重新算的機率。「後」指的是「看到證據之後」。 下面進階摺疊在算的事(白話):用骰子和小鎮人數代入條件機率公式,驗證「先把範圍縮小到 b 成立的情況、再算比例」會得到正確答案。算出來代表:0.2 和 0.6 的分母不同(一個是全鎮的人、一個只算牙痛的人),所以兩個數字可以同時成立。
它到底怎麼運作?(進階,可跳過) 用上一段表格的數字: 1. 條件機率:P(Doubles | Die1 = 5) = (1/36) / (6/36) = 1/6。跟直覺一致:第一顆已經是 5,第二顆也要是 5。 2. 乘法規則驗算:P(Doubles | Die1 = 5) × P(Die1 = 5) = 1/6 × 6/36 = 1/36,正好等於表中的 P(Doubles ∧ Die1 = 5)。 3. 牙醫例子(P(toothache) = 0.1 是我補充的):小鎮 100 人,P(cavity) = 0.2 → 20 人蛀牙;10 人牙痛;P(cavity ∧ toothache) = 0.6 × 0.1 = 0.06 → 6 人又痛又蛀。0.2 的分母是全鎮 100 人,0.6 的分母是牙痛的 10 人,分母不同,所以兩個數字可以同時成立。(前一段的 0.8 和這裡的 0.6 是不同例子的數字。)
老師原話是什麼? - 「那請注意喔,這兩個句話,這兩個機率都是對的,沒有互相衝突」(2:51:42) - 「在知道b的情況之下,a發生的機率怎麼算,那就等於是,b發生的機率,分之a b都發生的機率」(2:52:26)
## Self-check
Q1. P(cavity) = 0.2, while P(cavity | toothache) = 0.6. Do these two statements contradict each other? Explain.(中文:P(蛀牙) = 0.2,但 P(蛀牙 | 牙痛) = 0.6,這兩句話互相矛盾嗎?請說明。) **Answer**: No. Probability statements are made with respect to a knowledge state. P(cavity) = 0.2 is the prior probability with no other information. P(cavity | toothache) = 0.6 is the posterior (conditional) probability after the evidence toothache is observed. P(cavity) = 0.2 is still valid after toothache is observed; when making decisions, the agent should condition on all the evidence it has, so it uses 0.6. 中文:不矛盾。機率陳述永遠是相對於「目前知道什麼」(knowledge state)。P(cavity) = 0.2 是沒有任何其他資訊時的先驗機率,例如只是去做定期檢查;P(cavity | toothache) = 0.6 是觀察到「牙痛」這個證據之後的條件(後驗)機率。看到牙痛之後,0.2 這句話依然是對的,兩句只是依據的資訊不同。但做決定時,agent 要以它看到的全部證據為條件,所以這時該用 0.6。
Q2. Give the three reasons why propositional logic fails for a domain such as medical diagnosis, with one example each.(中文:命題邏輯在醫療診斷這類領域為什麼會失敗?舉出三個原因,每個各舉一個例子。) **Answer**: Laziness: it is too much work to list the complete set of antecedents or consequents (the causes of a toothache never end). Theoretical ignorance: medical science has no complete theory for the domain (why elderly people develop dementia). Practical ignorance: even if we know all the rules, not all the necessary tests have been or can be run on a particular patient (too many costly tests). Probability summarizes this uncertainty instead. 中文:第一是 laziness(懶惰):要把所有前項(原因)或後項(結果)列完,工作量太大,例如牙痛的原因永遠列不完。第二是 theoretical ignorance(理論上的無知):醫學對這個領域還沒有完整理論,例如還不完全清楚老人為什麼會失智。第三是 practical ignorance(實務上的無知):就算規則都知道,對特定病人該做的檢查也沒做完或做不到,例如失智成因要做很多昂貴的檢查。所以改用機率把這些不確定性摘要成「有幾成把握」。
Q3. What is decision theory, and what does the principle of maximum expected utility (MEU) say?(中文:什麼是決策理論?最大期望效用(MEU)原則在說什麼?) **Answer**: Decision theory = probability theory + utility theory: it combines preferences, expressed as utilities, with probabilities. Its fundamental idea is that an agent is rational if and only if it chooses the action that yields the highest expected utility, averaged over all the possible outcomes of the action. Picking only the most likely outcome is not enough, because the agent must also weigh how good or bad each outcome is. 中文:決策理論 = 機率論 + 效用理論,也就是把用效用表示的偏好(每個狀態有多好)和機率(每個結果有多可能)結合起來。它的核心想法是 MEU 原則:agent 是理性的,若且唯若它選的動作,把所有可能結果的效用依機率平均之後最高。只挑「最可能發生」的結果不夠,因為還要考慮每種結果有多好或多糟。
Q4. Why does the definition of conditional probability divide P(a ∧ b) by P(b)?(中文:條件機率的定義為什麼要把 P(a ∧ b) 除以 P(b)?) **Answer**: Observing b rules out all the possible worlds where b is false, leaving a set whose total probability is just P(b). Within that set, the worlds where a is also true satisfy a ∧ b, so they make up the fraction P(a ∧ b) / P(b). Rearranging gives the product rule P(a ∧ b) = P(a | b) P(b). 中文:觀察到 b 之後,所有 b 不成立的世界都被排除了,剩下的那一塊總機率剛好是 P(b)。在這一塊裡,a 也成立的世界就是 a ∧ b,它們占的比例就是 P(a ∧ b) / P(b)。除以 P(b) 等於把「剩下的那一塊」當成新的全部。把式子移項,就得到乘法規則 P(a ∧ b) = P(a | b) P(b)。
這週讀完了。下一週第一章:[01 機率的表示法與基本公理(0:00–0:15)](https://app.notion.com/p/3ecfc631b030815aa226c2d0b9d9456b)|回到週頁:[W3(9/24)](https://app.notion.com/p/3e6fc631b0308137bbd8e73f5c6f1b62)