Conditional Probability

Suppose that you flip two fair coins. There are 4 possible outcomes of the two flips:

1. $H\ H$   (both coins land heads),
2. $H\ T$   (the first coin lands heads and the second coin lands tails),
3. $T\ H$   (the first coin lands tails and the second coin lands heads), and
4. $T\ T$   (both coins land tails).

Since the coins are fair, for each coin, the probability that the coin lands heads (respectively, tails) is $0.5$. Since we are flipping two different coins (so the flips are independent), the probability of each of the outcomes is $0.25$. Suppose that $P$ means "the first coin landed heads" and $Q$ means "the second coin landed heads". The following stochastic truth table summarizes the above information:

	$P$	$Q$
$0.25$	$\mathsf{T}$	$\mathsf{T}$
$0.25$	$\mathsf{T}$	$\mathsf{F}$
$0.25$	$\mathsf{F}$	$\mathsf{T}$
$0.25$	$\mathsf{F}$	$\mathsf{F}$

Then, as expected, $Pr(P)=Pr(Q)=0.5$ (the probability that each coin lands heads is $0.5$). What is the probability that "at least one coin lands heads"?

Suppose that we learn that at least one of the coins landed heads. That is, we learn that $((P\wedge Q)\vee (P\wedge \neg Q)\vee (\neg P\wedge Q))$ is true. Given this information about the outcome of the flip of the two coins, what is the probability that the second coin landed heads?

Since we learned something about the flip of the coins, we need to change the probabilities assigned to each row in the above stochastic truth table. We learned that there is no chance that both $P$ and $Q$ are false. So, row 4 should be assigned 0. However, simply changing the last row of the truth table to 0 is not the only change we need to make. The sum of the numbers assigned to each row of a stochastic truth table must be 1, so we must change the numbers assigned to the first three rows (otherwise the sum of the rows would be $0.25 + 0.25 +0.25 +0 = 0.75$). Thus, we need to find three numbers: $a$ assigned to row 1, $b$ assigned to row 2 and $c$ assigned to row 3 such that $a+b+c=1.$

Of course, there are infinitely many numbers $a$, $b$ and $c$ that sum to 1. We can determine which numbers to assign to the first three rows as follows: Note that the information that we learned (that at least one of the coins is heads) should not change any of the relationships between the probabilities assigned to the first three rows. For instance, before learning the new information, the probability assigned to the first row is the same as the probability assigned to the second row. Learning that at least one coin landed heads should not change this relationship. Thus, we need three numbers $a$, $b$, and $c$ such that $a+b+c=1$ and $a=b=c$. The unique solution to this is $a=b=c=\frac{1}{3}$. That is, after learning the information, we have the following stochastic truth table:

	$P$	$Q$
$1/3$	$\mathsf{T}$	$\mathsf{T}$
$1/3$	$\mathsf{T}$	$\mathsf{F}$
$1/3$	$\mathsf{F}$	$\mathsf{T}$
$0$	$\mathsf{F}$	$\mathsf{F}$

After learning that at least one coin landed heads, the probability that the second coin landed heads is $\frac{2}{3}$ (i.e., $Pr(Q)=\frac{2}{3}$). Furthermore, note that in the above stochastic truth table, $Pr((P\wedge Q)\vee (P\wedge \neg Q)\vee (\neg P\wedge Q)))=1$, as expected.

We will now introduce some notation that allows us to talk about probabilities after learning some information.

Conditional Probability

Suppose that $X$ and $Y$ are formulas. The conditional probability of $X$ given $Y$ is denoted $Pr(X\ |\ Y)$. The conditional probability of $X$ given $Y$ is calculated as follows:

$$Pr(X\ |\ Y) = \frac{Pr(X\wedge Y)}{Pr(Y)}.$$

We assume that $Pr(Y) > 0$. Otherwise, the conditional probability $Pr(X\ |\ Y)$ is undefined.

Example

Given the original stochastic truth table given at the beginning of this section:

	$P$	$Q$
$0.25$	$\mathsf{T}$	$\mathsf{T}$
$0.25$	$\mathsf{T}$	$\mathsf{F}$
$0.25$	$\mathsf{F}$	$\mathsf{T}$
$0.25$	$\mathsf{F}$	$\mathsf{F}$

We have the following:

• $Pr(Q)=\frac{1}{2}$

• $Pr((P\wedge Q)\vee (P\wedge \neg Q)\vee (\neg P\wedge Q))) = \frac{3}{4}$

If $Y$ is the formula $(P\wedge Q)\vee ((P\wedge \neg Q)\vee (\neg P\wedge Q))$, then:

• $Pr(Q\ |\ Y) = \frac{2}{3}$

• $Pr(Y\ |\ Y) = 1$

Tutorial

Lecture

Slides

Consult https://setosa.io/conditional/ for a very nice interactive tutorial illustrating conditional probability (note that this website uses "$A\cap B$" instead of "$A\wedge B$")

Practice Questions

1. Fill in the remaining truth values and find the probabilities of the formulas.

   	$P$	$Q$	$(P\wedge Q)$	$(Q\wedge P)$
   0.2	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{T}$
   0.3	$\mathsf{T}$	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{F}$
   0.3	$\mathsf{F}$	$\mathsf{T}$	$\mathsf{F}$	$\mathsf{F}$
   0.2	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{F}$

   $Pr(P\mid Q)\ =\$$Pr(P\wedge Q)$$/$$Pr(Q)$ $\ =\$$0.20$$/$$0.50$$\ =\ 0.400$

   $Pr(Q\mid P)\ =\$$Pr(Q\wedge P)$$/$$Pr(P)$ $\ =\$$0.20$$/$$0.50$$\ =\ 0.400$

2. Fill in the remaining truth values and find the probabilities of the formulas.

   	$P$	$Q$	$(P\wedge Q)$	$(Q\wedge P)$
   0.2	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{T}$
   0.3	$\mathsf{T}$	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{F}$
   0.35	$\mathsf{F}$	$\mathsf{T}$	$\mathsf{F}$	$\mathsf{F}$
   0.15	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{F}$

   $Pr(P\mid Q)\ =\$$Pr(P\wedge Q)$$/$$Pr(Q)$ $\ =\$$0.20$$/$$0.55$$\ =\ 0.364$

   $Pr(Q\mid P)\ =\$$Pr(Q\wedge P)$$/$$Pr(P)$ $\ =\$$0.20$$/$$0.50$$\ =\ 0.400$

3. Fill in the remaining truth values and find the probabilities of the formulas.

   	$P$	$Q$	$(P\rightarrow Q)$	$(P\wedge Q)$	$(Q\wedge P)$
   0	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{T}$
   0.5	$\mathsf{T}$	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{F}$
   0.5	$\mathsf{F}$	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{F}$	$\mathsf{F}$
   0	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{T}$	$\mathsf{F}$	$\mathsf{F}$

   $Pr(P\rightarrow Q)$$\ =\$$0.50$

   $Pr(P\mid Q)\ =\$$Pr(P\wedge Q)$$/$$Pr(Q)$ $\ =\$$0.00$$/$$0.50$$\ =\ 0.000$

   $Pr(Q\mid P)\ =\$$Pr(Q\wedge P)$$/$$Pr(P)$ $\ =\$$0.00$$/$$0.50$$\ =\ 0.000$

4. Fill in the remaining truth values and find the probabilities of the formulas.

   	$P$	$Q$	$(P\wedge (P\vee Q))$	$(P\vee Q)$
   0.1	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{T}$
   0.2	$\mathsf{T}$	$\mathsf{F}$	$\mathsf{T}$	$\mathsf{T}$
   0.6	$\mathsf{F}$	$\mathsf{T}$	$\mathsf{F}$	$\mathsf{T}$
   0.1	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{F}$

   $Pr(P\mid (P\vee Q))\ =\$$Pr(P\wedge (P\vee Q))$$/$$Pr(P\vee Q)$ $\ =\$$0.30$$/$$0.90$$\ =\ 0.333$

5. Fill in the remaining truth values and find the probabilities of the formulas. (Compare this answer with the previous problem.)

   	$P$	$Q$	$(Q\wedge (P\vee Q))$	$(P\vee Q)$
   0.1	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{T}$
   0.2	$\mathsf{T}$	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{T}$
   0.6	$\mathsf{F}$	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{T}$
   0.1	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{F}$

   $Pr(Q\mid (P\vee Q))\ =\$$Pr(Q\wedge (P\vee Q))$$/$$Pr(P\vee Q)$ $\ =\$$0.70$$/$$0.90$$\ =\ 0.778$

6. Fill in the remaining truth values and find the probabilities of the formulas.

   	$P$	$Q$	$(P\wedge \neg Q)$	$\neg Q$	$(P\wedge Q)$
   0.3	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{T}$
   0.1	$\mathsf{T}$	$\mathsf{F}$	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{F}$
   0.1	$\mathsf{F}$	$\mathsf{T}$	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{F}$
   0.5	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{T}$	$\mathsf{F}$

   $Pr(P\mid \neg Q)\ =\$$Pr(P\wedge \neg Q)$$/$$Pr(\neg Q)$ $\ =\$$0.10$$/$$0.60$$\ =\ 0.167$

   $Pr(P\mid Q)\ =\$$Pr(P\wedge Q)$$/$$Pr(Q)$ $\ =\$$0.30$$/$$0.40$$\ =\ 0.750$

7. Fill in the remaining truth values and find the probabilities of the formulas.

   	$P$	$Q$	$(P\wedge Q)$	$(\neg P\wedge Q)$
   0.3	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{F}$
   0.1	$\mathsf{T}$	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{F}$
   0.1	$\mathsf{F}$	$\mathsf{T}$	$\mathsf{F}$	$\mathsf{T}$
   0.5	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{F}$

   $Pr(P\mid Q)\ =\$$Pr(P\wedge Q)$$/$$Pr(Q)$ $\ =\$$0.30$$/$$0.40$$\ =\ 0.750$

   $Pr(\neg P\mid Q)\ =\$$Pr(\neg P\wedge Q)$$/$$Pr(Q)$ $\ =\$$0.10$$/$$0.40$$\ =\ 0.250$

8. Fill in the remaining truth values and find the probabilities of the formulas.

   	$P$	$Q$	$((P\rightarrow Q)\wedge P)$	$((Q\rightarrow P)\wedge P)$
   0.2	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{T}$
   0.2	$\mathsf{T}$	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{T}$
   0.3	$\mathsf{F}$	$\mathsf{T}$	$\mathsf{F}$	$\mathsf{F}$
   0.3	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{F}$

   $Pr((P\rightarrow Q)\mid P)\ =\$$Pr((P\rightarrow Q)\wedge P)$$/$$Pr(P)$ $\ =\$$0.20$$/$$0.40$$\ =\ 0.500$

   $Pr((Q\rightarrow P)\mid P)\ =\$$Pr((Q\rightarrow P)\wedge P)$$/$$Pr(P)$ $\ =\$$0.40$$/$$0.40$$\ =\ 1.000$

9. Fill in the remaining truth values and find the probabilities of the formulas.

   	$P$	$Q$	$R$	$((P\rightarrow Q)\wedge R)$	$(\neg P\wedge R)$	$(Q\wedge R)$
   0.2	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{F}$	$\mathsf{T}$
   0.1	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{F}$
   0.1	$\mathsf{T}$	$\mathsf{F}$	$\mathsf{T}$	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{F}$
   0.1	$\mathsf{T}$	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{F}$
   0.1	$\mathsf{F}$	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{T}$
   0.1	$\mathsf{F}$	$\mathsf{T}$	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{F}$
   0.1	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{F}$
   0.2	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{F}$

   $Pr((P\rightarrow Q)\mid R)\ =\$$Pr((P\rightarrow Q)\wedge R)$$/$$Pr(R)$ $\ =\$$0.40$$/$$0.50$$\ =\ 0.800$

   $Pr(\neg P\mid R)\ =\$$Pr(\neg P\wedge R)$$/$$Pr(R)$ $\ =\$$0.20$$/$$0.50$$\ =\ 0.400$

   $Pr(Q\mid R)\ =\$$Pr(Q\wedge R)$$/$$Pr(R)$ $\ =\$$0.30$$/$$0.50$$\ =\ 0.600$

10. Fill in the remaining truth values and find the probabilities of the formulas.

    	$P$	$Q$	$R$	$(P\rightarrow Q)$	$(P\rightarrow R)$	$(Q\wedge P)$	$(R\wedge P)$
    0.2	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{T}$
    0.1	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{F}$	$\mathsf{T}$	$\mathsf{F}$	$\mathsf{T}$	$\mathsf{F}$
    0.1	$\mathsf{T}$	$\mathsf{F}$	$\mathsf{T}$	$\mathsf{F}$	$\mathsf{T}$	$\mathsf{F}$	$\mathsf{T}$
    0.1	$\mathsf{T}$	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{F}$
    0.1	$\mathsf{F}$	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{F}$	$\mathsf{F}$
    0.1	$\mathsf{F}$	$\mathsf{T}$	$\mathsf{F}$	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{F}$	$\mathsf{F}$
    0.1	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{F}$	$\mathsf{F}$
    0.2	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{F}$	$\mathsf{F}$

    $Pr(P\rightarrow Q)$$\ =\$$0.80$

    $Pr(P\rightarrow R)$$\ =\$$0.80$

    $Pr(Q\mid P)\ =\$$Pr(Q\wedge P)$$/$$Pr(P)$ $\ =\$$0.30$$/$$0.50$$\ =\ 0.600$

    $Pr(R\mid P)\ =\$$Pr(R\wedge P)$$/$$Pr(P)$ $\ =\$$0.30$$/$$0.50$$\ =\ 0.600$

11. Fill in the remaining truth values and find the probabilities of the formulas.

    	$A$	$B$	$C$	$((A\wedge B)\wedge C)$	$((C\rightarrow B)\wedge \neg B)$	$\neg B$
    0.2	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{F}$	$\mathsf{F}$
    0.1	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{F}$
    0.1	$\mathsf{T}$	$\mathsf{F}$	$\mathsf{T}$	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{T}$
    0.2	$\mathsf{T}$	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{T}$	$\mathsf{T}$
    0.1	$\mathsf{F}$	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{F}$
    0.1	$\mathsf{F}$	$\mathsf{T}$	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{F}$
    0.1	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{T}$	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{T}$
    0.1	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{T}$	$\mathsf{T}$

    $Pr((A\wedge B)\mid C)\ =\$$Pr((A\wedge B)\wedge C)$$/$$Pr(C)$ $\ =\$$0.20$$/$$0.50$$\ =\ 0.400$

    $Pr((C\rightarrow B)\mid \neg B)\ =\$$Pr((C\rightarrow B)\wedge \neg B)$$/$$Pr(\neg B)$ $\ =\$$0.30$$/$$0.50$$\ =\ 0.600$

12. Fill in the remaining truth values and find the probabilities of the formulas.

    	$A$	$B$	$C$	$((A\vee B)\wedge C)$	$((B\rightarrow C)\wedge \neg B)$	$\neg B$
    0.2	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{F}$	$\mathsf{F}$
    0.1	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{F}$
    0.1	$\mathsf{T}$	$\mathsf{F}$	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{T}$
    0.2	$\mathsf{T}$	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{T}$	$\mathsf{T}$
    0.1	$\mathsf{F}$	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{T}$	$\mathsf{F}$	$\mathsf{F}$
    0.1	$\mathsf{F}$	$\mathsf{T}$	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{F}$
    0.1	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{T}$	$\mathsf{F}$	$\mathsf{T}$	$\mathsf{T}$
    0.1	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{F}$	$\mathsf{T}$	$\mathsf{T}$

    $Pr((A\vee B)\mid C)\ =\$$Pr((A\vee B)\wedge C)$$/$$Pr(C)$ $\ =\$$0.40$$/$$0.50$$\ =\ 0.800$

    $Pr((B\rightarrow C)\mid \neg B)\ =\$$Pr((B\rightarrow C)\wedge \neg B)$$/$$Pr(\neg B)$ $\ =\$$0.50$$/$$0.50$$\ =\ 1.000$