[0:00:01] Base rule是在做機率推論裡面最重要的一項原則跟工具。首先我們來看,我們之前講過這個Product rule,Probability A and B就等於是Probability B乘上Probability A given B。也可以是寫成這樣,是一樣的意思。那你如果把等號左右兩邊,equate the two right hand side and divide it by probability A,就是說,因為等號左邊都一樣嘛,所以等號右邊,第一個式子的等號右邊跟第二個式子的等號右邊也一樣。然後呢,大家同儲Probability A,那你就可以得到這個式子。好,那這是什麼呢?那Probability B given A等於是Probability A分之Probability B乘上Probability A given B。那這個Equation呢,稱為是Base rule,或者是Base law,或者是Base theory。那這個式子大家不要小看它,它可以說是讓現代的AI系統,讓它有機率推論的最重要的一個式子。就是我們要算,給定A的情況底下B出現的機率。這機率怎麼算呢?就等於是A出現的機率分之B出現的機率在乘上B出現的情況底下A出現的機率。

[0:01:38] 好,那等一下我們會看到一些例子說明為什麼這個那麼重要。好,那一樣的,我們可以把它推展到Random Variable的形式。所以Probability Y given X就等於是Probability X分之Probability Y乘上Probability X given X。好,那一樣的,我們可以把它推展到Random Variable的形式。所以Probability Y given X就等於是Probability X分之Probability Y乘上Probability X given X。好,那一樣的,我們可以把它推展到Random Variable的形式。好,那一樣的,我們可以把它推展到Random Variable的形式。甚至我如果有考慮其它的Evidence的話甚至我如果有考慮其它的Evidence的話也可以一起把它加進來。也可以一起把它加進來。好,那表面上這個Baselaw好像沒什麼用嘛。好,那表面上這個Baselaw好像沒什麼用嘛。これは是讓我們從...我們要去算Probability B givenA。我們只是把這個的計算寫成是Probability B跟Probability A。我們只是把這個的計算寫成是Probability A跟Probability B跟Probability A givenB的一些値 cloth göster出來。這個的計算呢 寫成是probability A, probability B 跟probability A given B 的一些相乘相除的結果表面上好像沒什麼用只是這樣子換來換去但實際上 base rule is useful in practicebecause there are many caseswhere we do have good probability estimatefor these three numbers and the need to compute the force在很多實際的問題上我們沒有辦法直接去估算probability B given A但是實際上我們有辦法算出這三個數字相對來講比較容易算出probability A

[0:03:08] given B 但是我們算不出probability Bgiven A 就資料的蒐集或者是統計的時候有可能常常會出現這樣的一個情況比如說舉例來講我們常常是看到了某一個某一個結果我們要去推估它的原因所以我們常常想要做這個級率的運算就是probability cost given effect就是說我們觀察到一件事情的結果我們要去推告訴你這個結果是長這樣它的原因它原因可能有原因一原因二原因三那它個別這些原因的機率是多少那這件事情是就有點類似說我們在做醫療的診斷我們看到的結果是你牙痛那可能造成牙痛可能有第一個原因第二個原因第三個原因我們想要去推算這個原因但這個機率很難算那根據Best Rule我們可以把這個機率改寫成probability effect分支probability cost乘上probability effect given cost反而右邊雖然牽涉到三個機率但這三個機率可能是好算的可能是比較好取得的好那所以說呢probability cost

[0:04:40] given cost我要去算effect這個呢是一個cursal direction就是這是一個因果關係我告訴你原因我告訴你一個原因它會產生出哪些結果的機率是這個我們可以利用這個機率來去推算我告訴你結果那它是某種原因造成這個結果的機率所以這個是在做診斷上面這個是在因果關係In a task比如說今天在一個醫療診斷的這個問題裡某一個疾病導致於有某些症狀這個叫做因果關係給定這個疾病那它產生出這種症狀那這個是經過大量的研究之後比如說統計之後我們知道說它有這個疾病那它會有哪些症狀這是因果關係那在一開始一個未知的一個新的病人進來的時候他只知道症狀好給定症狀那它是什麼疾病造成這樣的症狀這個就是在做診斷的所以現在來舉個例子一個醫生知道這個腦膜炎會造成這個頸椎僵硬腦膜炎如果一個人患有腦膜炎有百分之是這樣的嗎

[0:06:15] 對有百分之七十的機率患有腦膜炎的人會頸椎僵硬OK那此外呢這個醫生又知道一些unconditional的事實比如說某一個地區患有腦膜炎的機率是五萬分之一那這個是可以藉由普遍的統計而得的比如說我們在某個地區這個患有腦膜炎的機率是這樣五萬分之一那某個地區頸椎僵硬的會是1%好那假設令S代表的是頸椎僵硬M代表的是有腦膜炎那把剛剛上面那些描述呢寫成機率形式就是說患有腦膜炎會造成頸椎告訴你有腦膜炎那他會有頸椎僵硬的機率是0.7腦膜炎的機率呢五萬分之一頸椎僵硬的機率呢0.01好那麼現在有一個人進來了有一個病人進來了未知的情況他說呢他頸椎僵硬那麼他患有腦膜炎的機率是多少呢那我們就可以利用Best Rule就寫成是Probability S分之Probability M乘上Probability S given M那把剛剛上面這些數字帶進去0.01分之0.7乘上五萬分之一就等於0.0014

[0:07:46] 所以一個人進來他說他有頸椎僵硬他患有腦膜炎的機率是0.0014OK好那這個機率呢也許有點出乎你的意料之外因為當你當你在看到這個敘述的時候就是說有腦膜炎的時候會造成頸椎僵硬的機率高達70%可是今天如果有一個病人進來他說他頸椎僵硬這個地區的病人進來了他說他頸椎僵硬他實際上患有腦膜炎的機率只有0.0014好像有一點超出我們的直覺的預期對不對好那呃事實上呢the probability of 腦膜炎in the patient remains small事實上是很小的那為什麼那麼小呢其實是因為the prior probability of stiff necksis much higher than that of腦膜炎主要是因為這個分子分母的彼此對應的關係因為他說患有頸椎僵硬的機率其實遠高於患有腦膜炎的機率

[0:09:16] 在這個地區患有頸椎僵硬的機率遠高於患有腦膜炎的機率因此雖然說患有腦膜炎會頸椎僵硬的機率是0.7這麼高但是你看他的分子他乘上一個腦膜炎的事前機率是一個很小的值一乘之後這個分子變很小你除上這個相對大的分母所以呢你這整個預估出來的機率就是這麼的低就這麼的低所以有的時候我們在看到這些事實的陳述好像我們會推算出某一件事情好像機率很高但其實你真的下去算一下他跟你的直覺不太一樣好那OK那他說呢其實One can avoid assessing the probability of the evidence就是說其實啊這裡要應用到一個我們剛剛曾經用過的一個招式就是說這裡啊這個分母就是頸椎僵硬的機率事實上他告訴我們說其實啊我們可以不用真的去evaluate這個頸椎僵硬的機率我其實也可以推算出類似這樣的結果那比如說就是這個probability

[0:10:48] M given S這裡的大M就是有腦膜炎跟沒腦膜炎還記得嗎這個conditional probability可以寫成是這個版本的正規化的版本它可以正規化就是我只保留分子的部分我分子的部分這裡是腦膜炎嘛我可以分成有腦膜炎跟沒腦膜炎的兩個狀況就寫成這樣那所以我可以完全不靠probability S我就把這兩個機率去算出來撐開來然後呢我再做一個正規化其實可以得到一樣的一個結果To use this approachWe need to estimate但是呢就是說當然了你如果要用這種方式的話你得要去預估出沒有腦膜炎的情況底下頸椎僵硬的機率你不算probability S那你但是要多一個這個東西你要去進行預估There is no free lunchSometimes this is easierSometimes it is harder那這個機率到底好不好算呢就看狀況而定有的時候說不定是probability S比較好算有的時候是這個比較好算或者說也不講算啦比較好取得啊當你在做一些臨床的一些統計的時候也許有的時候是右邊這個比較好取得也許有時候是左邊這個比較好取得那就看狀況而定

[0:12:18] 所以這裡只是再次的再提一次你其實可以不用那個分母的那個機率你也可以去預估出這個機率的值好那當在用這個base rule的時候一個明顯的一個question就是說Why one might have availablethe conditional probabilityin one directionbut not the other你說我們剛剛的動作是在算probability M given S嗎那在計算這個機率的時候我們得要用到probability S given M那你可能會覺得說可是我要計算這個M given S的時候我要用到S given M那憑什麼你如果可以得到S given M你幹嘛不能得到M given S呢我這邊幹嘛要用一個倍式定義你在那邊算來算去我能不能直接根據統計我就得到這個probability M given S呢你可能會有一個這樣的一個疑問那感覺不就是前後的一個對調而已嗎順序對調而已嗎事實上在這個腦模擬的這個domain醫生也許醫生知道說這個頸椎僵硬呢代表的這個代表會有腦模擬的機率是五千分之一

[0:13:51] 也許他知道That is the doctor has quantitative informationin the diagnosis directionfrom symptoms to cause就是說不定啦有一個醫生非常有經驗他常常看頸椎僵硬的病人那他後來呢也進行診斷那真的確實有去知道說這個病人是有腦模擬或沒有腦模擬的他說不定他真的根據他過去看了大量的病人之後他的經驗統計起來他的確也許他可以整理出五千個頸椎僵硬的裡面真的有一個是腦模擬如果是這樣子其實這個超級有經驗的醫生當有一個新的病人進來他說他頸椎僵硬的時候他其實他心裡面已經有一個答案了他知道說這個頸椎僵硬的病人他有腦模擬的機率是五千分之一好那你就不用這樣子算了你就是根據你的經驗是是這樣就可以了有沒有可能呢有可能有可能好那你說這樣子那base rule就沒有用啦好如果在這樣的情況底下這個醫生的確不需要用base rule好但是很不幸的事情是說呢這個診斷的知識是有一點脆弱的他比這樣子的他比較像是依賴他的個人的經驗

[0:15:23] 而不是根據一個更具有公信力或者是累積更多的因果關係的事實而來的比如說突然在某個情況底下發生腦膜炎大流行好那如果在因為某種原因比如新的病毒或者什麼病媒紋的傳播或怎麼樣突然某個地區腦膜炎大流行那這個時候unconditional probabilityprobability M就會升高這個地區比如說之前臺南不是有登革熱嗎好突然在某一個期間腦膜炎大流行那這個時候probability M就會增加好你probability M如果增加如果在這個階段大流行階段有一個頸椎僵硬的病人進來這個時候這個相當有經驗的醫生還能夠說他真正患有腦膜炎的機率只有五千分之一嗎這個時候他的經驗就不夠reliable就不靠譜了為什麼因為今天你probability M變了相反的如果他用的是被試定理在這裡的話他有辦法納入新的probability M來估算出更為準確的probability M given S

[0:16:54] 這樣大家懂我意思嗎也就是說今天如果是腦膜炎大流行的期間等於是我擁有了一些我update了我的資訊我擁有一些新的資訊我根據新的狀況去update我的背景知識那我有機會去update更準確的probability M given SOK所以我要講的點就這個就是說的確雖然有可能一個超有經驗的醫生根據他過去看診的經驗我可以直接在心中預估出一個這個機率可是這個機率當情況變的時候事實上是會變的那你如果只是純粹都靠經驗你沒有跟上新的時代那麼你這個預估出來的機率可能就是不準的這個跟我們很多在科學上政治上社會上人生你說老腮乎過去我做一個事情我可能都常常怎麼做那他就用他幾十年來累積的經驗一直這樣子做可是時代在改變嘛說不定有新的工具或新的什麼什麼資訊進來或者因為全球暖化的關係你就應該要怎麼樣會怎麼做比較好你如果沒有跟著去update的話那麼你做出來的結果可能就不好其實就是這個意思好那所以這裡就講說

[0:18:24] 如果這個醫生還是堅持根據他過去的經驗去預估這個probability M given S的話那他其實就have no ideahow to update the value但是如果這個醫生是根據base rule根據新的知識來去預估這個probability M given S那他就可以做出更有效的判斷好那所以說呢在這邊介紹了base rule的重要的內容還有另外一個重要的意義當我們有更多的資訊的時候其實base rule呢會讓我們有更彈性的這個能力來combine更多的evidence好所以what happenswhen we have two or more pieces of evidence假設我們有更多的資訊那怎麼整合呢比如說a dentist concludeif her nasty steel prop catch in the這個哎喇滴賽啊就是說如果他的探身他故意這個是書上這樣子寫了如果他探身真的卡住了好那本來呢我們預估的是probability cavity given to sac如果今天他真的下去看診了那麼你在探身進去看診之前

[0:19:55] 你可能是有某一個預估的機率你現在呢探身下去探測了然後呢有卡住或沒卡住了這個時候醫生根據他有沒有卡住他就得要去update他的那個background knowledge然後呢就要去update他預估他有沒有蛀牙的機率ok好那在之前我們有說過probability cavity given to sac and the catch這個機率就是有牙痛呃探針有卡住好那他cavity的狀況就是0.108跟0.01呃0.016吧好那你知道是有卡住的有牙痛的然後又有卡住的那這個呢你經過normalize之後呢0.871是有蛀牙的0.129是沒蛀牙的好這個就跟你探針還沒下去你只是單純知道說牙痛的時候那所預估出來的機率就不一樣了好那但是我們知道說呢欸要是你今天的這個呃variable的數量變得更多了那他其實是不容易scale up好如果說你的這個variable很多的話那你要去算這個什麼join probability其實是很複雜的好

[0:21:25] 所以這時候呢我們可以使用base rule來重新reformulate一下這個問題好就是說這個機率可以描寫成呃可以倒過來有沒有probability cavity given這個東西可以寫成是probability這個東西分支probability cavity在乘上probability cavity欸toothache and catch given cavity知道我在講什麼嗎你去回去翻一下之前那幾頁頭影片就是base rule了然後呢我把分母省略用一個α來寫所以這個部分就是分子啊你把它倒過來寫本來是cavity given這個事情現在變成什麼probability cavity乘上probability這件事情given cavity就倒過來寫這個就是base rule嘛對不對好那你要遇過這個機率我可以把它倒過來寫變成這個啦好那這個的話呢我們就得要知道說呃蛀牙的機率他的視線機率在乘上呃如果有蛀牙的話那麼會牙痛而且探針會卡住的機率我們就要去預估這個conditional probability好ok那也許呃我們就比較容易取得這樣子的機率而不容易算得這個機率因為如果是上面這個機率

[0:22:55] 我們那是因為之前有這個table嘛我們去查表所以我們算得出這個機率啊但是也許在一些實際的用途上這個table裡面有些數值我們可能很難取得所以我們就得要去仰賴這個東西嘛好那這只是一個簡單的例子喔呃如果今天有N個possible的evidence variable比如說你可以照X光啦醫生問你的飲食狀況啦然後你的牙齒的清潔狀況啊什麼等等等等的那這個時候就你如果還是依照這種table見table查table的形式哇那就不得了你這個table就很大很大好你各個機率每一格的機率都要預估的出來那這個就難了對不對好那所以說呢你如果有2的N次方這麼多種啊possible的combination那你這個table就很長很長好那這時候base rule呢可以幫助我們來有效率的來完成這件事好we need to find some additional assertionabout the domainthat will enable us to simplify好那不只如此啊不僅是我們可以做這樣的一個呃反轉我們有時候呢還可以考慮到independence的狀況好所以比如說說不定啊啊如果說呃這個呃有沒有牙痛

[0:24:25] 跟探針會不會卡住如果這兩件事情是獨立的話我們還可以把這個再進一步的拆開簡化好拆開簡化好那但是我們當然知道了這個有沒有牙痛跟探針有沒有卡住可能是可能不是獨立的啦好那當然瞭如果是比如說再加上一個天氣天氣跟這些都是獨立的那就可以特別的拆開這樣好each is directly caused by the cavitythe cavitybut neitherok好那這裡是講說呢有的時候他們也許啊牙痛跟探針有沒有他們不是獨立的啊他們不是獨立的但是呢如果給定他是有蛀牙或沒蛀牙的基礎之上他就有可能是獨立的囉啊這個叫做conditional independence這個也是過去我們在學機率的時候因為蛀牙造成了有可能會造成牙痛也有可能造成你探針會卡住所以在給定你有蛀牙或沒蛀牙的情況底下其實牙不牙痛有牙痛跟探針會被卡住其實是可能可以是獨立的他們就是符合conditional independence好那如果符合conditional independence那麼我們就可以把這個剛剛在寫在這裡的

[0:25:57] 這個是conditional on cavity嘛如果是如果他們是conditional independence我就可以把左邊的這一項呢又再拆分成兩項相乘就變成是底下這一個就變成底下這一個我們可以再更進一步的來簡化這樣子一個計算那當然了到底他們是不是conditional independence以前我們學機率其實從數學的觀點上我們常常要去證明他是或不是conditional independence好那在實際的問題上我們可能得要經過大量的這個資料的統計那我們才能夠去釐清說他是不是或者是幾乎是不是conditional independence好那如果寫成這個random variable的形式就是長這樣嘛那所以這裡又again這個又再重述一次其實就是一樣的意思好那所以說呢如果一切都很完美這個join的probability density function可以拆解成probability cavity乘上probability這兩件事情given cavity那如果cavity這兩個牙痛跟探針有沒有卡住是conditional independent的話又可以進一步的拆解變成這樣那如果你可以這樣子拆的話

[0:27:28] 就會變成說你要處理的這個機率的這個形式啊如果你有and個variable的話呢你可以拆解成這個它是linear的grow而不是exponential growOK好那好像講完了耶最後最後最後兩頁頭影片好那剛剛的這個這個牙醫的這個例子有點不太順是怎麼樣好牙醫的這個例子呢如果今天我們觀察到它有好多的這個effect就是說我現在看到好幾個症狀我今天呢我常常是要估計的是一個full的join distribution就是說我有A症狀B症狀C症狀然後呢我的原因是什麼什麼的原因我今天是因為什麼原因造成什麼什麼什麼什麼症狀這幾個共同發生在同一個病人身上嘛好那這個機率要怎麼求呢那就是說天生會有這個在這個地區有這個有這個病的機率在乘上我有這個病產生出症狀一的機率在乘上我有這個病我會產生出症狀二的機率整個乘起來所以這整個乘起來的結果

[0:28:58] 就是就是這個join probability好那為什麼這個這幾個不同的症狀可以這樣子拆分開來乘呢其實都是因為剛剛前面所說的conditional independence好如果這幾個症狀你只要given給定這個原因他們是conditional independence的話那他們就可以這樣子拆開來乘那這件事情如果說我們經過這樣子的一個推算機率可以這樣子推算的話這個就成為是一個naive的base model這樣子的probability distribution叫做naive base modelnaive這個字為什麼叫它呢因為it's often used in caseswhere the effect variable are not strictly independentgiven the cause variable就是說理論上它其實不是完全的conditional independent但是我們假裝它是那這種naive base的model呢有時候又成為是base classifier好那雖然它不是完美的非常嚴格的conditional independent但是我們因為你數學上如果把它假設成是conditional independent那麼我們這數學的這個計算就會容易很多所以常常是數學上我們都假設它是而實際我們應用的結果呢發現這個naive base的system呢

[0:30:28] 其實通常也運作的蠻不錯的運作的蠻不錯的雖然即使這個conditional independent assumptionis not strictly true它其實運作的也還蠻不錯的在各個不同的領域都運作的蠻不錯的那這個呢就成為是naive base的model那這個應該算是今天的最後一頁頭影片那今天我們主要講的就是整個機遇的介紹然後呢最後的慢慢導出機率推論這件事這是最簡單的一個機率推論那下一次上課我們就會進一步的提到basion network利用basion的這個base rule利用conditional independence的這些內容來進行一些事件機率的推導那這一塊這個整個的領域可以說是大概在1980年代到2010年的這二三十年間最主要的一個主流最主要的一個主流之一好