在我們的日常生活中，經常會遇到不確定的事物，最簡單的例子莫過於拋硬幣正麵向上的可能性，其次還有袋子裏有數目不等的紅球和黑球，摸出紅球的可能性，某次考試成績在90分以上的可能性等等。
概率的概念到底是一個客觀的概念還是一個主觀的觀念，是一個值得認真思考並討論的問題。在古典的科學領域裏，概率是一個蘊含在係統內部客觀存在的事物，拋硬幣正麵向上的概率在拋硬幣以前就已經存在，隻有當我們拋擲無數次硬幣並統計結果之後，才能逐漸逼近並發現這個概率的本來麵目，而這個統計值是不隨人的意誌而轉移的。因此人們發現如果大量重複某個隨機實驗，在這大量的隨機實驗背後，存在某種幾乎必然的規律起著某種支配作用。而這種規律後來被稱為大數定律，大數定律第一次將概率論與決定論，隨機性與必然性在某種程度上統一了起來。
當兩次隨機實驗彼此沒有任何關聯時可以認為是相互獨立的，此時的概率規則比較簡單，兩個硬幣同時正麵向上的概率是每個硬幣單獨正麵向上概率的乘積。然而如果兩個隨機事件之間存在關聯，那麼事件A會影響到事件B發生的概率，反之亦然。此時就需要引入條件概率的概念。事件A或B單獨發生的概率稱為先驗概率，而在事件A已經發生後事件B發生的概率則稱為條件概率，計算條件概率有一個著名的貝葉斯公式，它可以幫助我們在知道事件結果發生的概率的情況下計算事件原因發生的概率。也就是說，對於一係列存在相互關聯的隨機事件來說，如果我們獲取了某個隨機事件的部分或全部信息，就會改變與之存在關聯的其它事件的概率。當我們對某個事件知道的越多，與之關聯的事件不確定性也會越小。
這樣的圖景會引起一係列的思考，例如，某個事件的概率是否與實驗者自身的知識量有關。為什麼兩個同班同學麵對同樣的考試，一個總是得90分以上，而另一個總是不及格。再比如，某人隻知道從A地到B地有兩條路，那麼他會認為自己走其中一條路的概率是1/2，而另一個人知道其中一條路近，那麼他會認為自己走近路的可能性會大於1/2。即使在最簡單的拋硬幣實驗中，如果一個是普通人，而另一個是那個在古典物理學中通曉一切的拉普拉斯妖呢？對於拉普拉斯妖來說，他不僅可以準確的預測每個硬幣拋出後的結果，甚至可以通過某種途徑（比如吹氣）來改變硬幣落地後的實驗結果。
法國學者貝特朗於1899年提出了一個後來稱之為貝特朗悖論的問題：在一個給定的圓內所有的弦中任取一條弦，求該弦的長度大於圓的內接正三角形邊長的概率。
如果在垂直於等邊三角形中任意一條邊的直徑上隨機取一個點，同時做垂直於這條直徑的弦，可以求出概率為1/2；如果任取等邊三角形的一個頂點，做過該頂點的圓的弦，可以求出概率為1/3；如果做等邊三角形的內切圓，當弦的中點在內切圓內時，即為所求，內切圓麵積是大圓麵積的1/4，由此可以求出概率為1/4。
通過選擇不同的等概率假設，可以計算出三個不同的概率，而每種等概率假設都似乎是顯而易見沒有問題的。這樣一來，同一個事件導致三個不同的概率結果，而且這三個結果目前由公理化概率論看來都是正確的，導致不同概率的原因是在三種情況中選用了不同的樣本空間，因此類似於條件概率，在不同條件下導致了不同的概率。