然而,當我們做進一步的思考的時候，會發現這樣一個問題：穆勒的理論有一個前置的條件，即認為每一個人都是理性的、人格完全健全的人，知道什麼是自己的快樂，什麼是自己的利益，能夠按照趨樂避苦的原則作出主觀上的判斷，能夠進行自主的選擇並為自己的選擇負責。儘管現代法學、經濟學等理論都以理性人為基點，但關於對理性人的懷疑是很有力的。這裡不去深究，但即便從這個基礎出發，也仍然存在著另外的困惑。我們知道自己當下的快樂或者利益是什麼，並不意味著過一段時間後還是這樣。時間會改變人們的認識，人們的興趣、愛好等也會不斷發展變化。當我們作出一個選擇的時候，時間的不可逆性給我們以壓力：如果這個選擇錯誤或者不適當，就意味著不可挽回的悔恨，這對某些人來說可能是很殘酷的。並且，自由選擇意味著你面對的是多種不同的可能性，很多時候從中權衡決斷是很困難的，或者是因為對自己的快樂的模糊認識而無從下手，或者是顧慮於選擇其中之一就意味著捨棄其他的惋惜，或者是憚於自己選擇的失誤、不當造成的後果。總之，自由絕不是那么輕鬆的事，它意味著壓力、意味著責任，對不是那么堅強的人來說，這是人生不能承受之重，這是人性的眾多弱點之一。那么，人是否有選擇不自由的自由(權利)呢?對於一個個體來說，它可以以某種對價讓渡自己的部分自由，但這一般是不涉及人身的，也不能是全部，因為全部的讓渡就意味著不可挽回地失去自由，而且這種自由還不能擴展及全體——自由最終導致自由的毀滅是令人恐怖的，納粹德國的教訓已是前車之鑑，對人性逃避自由的放任只會帶來災難性後果。另外要考慮的是，只要我們不試圖剝奪他人的這種自由，不試圖阻礙他們取得這種自由的努力，我們就有去追求我們自己的好處的自由，我們的自由的界限如何具體確定呢?現實中個人的自由往往是會發生重疊、發生衝突的，我們如何來梳理這種衝突?或者說誰來作為裁判者?在現代社會，國家或者說政府可以出面，它以法律為圭臬，所以人們的自由被劃定在法律許可的範圍內，如果一個人的“自由”突破了界限，侵犯了他人的自由，或者造成了對公眾必要的安全的威脅，他將成為法律懲罰的對象。但由於法律通常是由政府來執行的，人們對利維坦的不信任決定人們必須掌握立法權，同時用法律來馴服這個怪獸，發展至今日臻完善的現代法治基本上做到了這一點。但衝突並不是沒有，在安全與自由的面前，人們的任何傾向都意味著巨大的代價。
在有著深厚自由主義傳統的美國，人們一般更為珍視自由。美國法律對程式價值或者說自然正義的珍愛，從“米蘭達警告”和“毒樹之果”等等美國特色的制度可見一斑;美國人對“寧可錯放一千不可冤枉一人”的理念，從辛普森案這一典型表現得淋漓盡致。然而，如果你追求陽光，你就躲不過身後的陰影，美國人在追求自由的時候，容忍了巨大的代價。代價留下的傷痛並不是可以忽視，美國各界對這一矛盾的思考和爭論從來沒有停止過。事實上，建國兩百多年來，美國聯邦政府的權力不斷增長，而且每每戰爭、動亂或者其他災難出現的時候，政府權力擴張的步伐就邁出幾大步，南北戰爭、二戰等既是例子。