邊沁的理論是從這樣一個公理出發，即自然把人類置於兩個主宰——苦與樂——的統治之下，只有它們才能指出我們應該做什麼和不應該做什麼。所以，邊沁說，要“根據每一種行為本身是能夠增加還是減少與其利益相關的當事人的幸福這樣一種趨向，來決定贊成還是反對這種行為”。
在邊沁看來，善就是能夠造成最大數量的最大的快樂的東西，政府的責任就是給社會帶來最多的快樂。這裡，快樂的數量或者說大小是重要的，裡面隱藏的意思似乎是，多數人的快樂必然多於或者是大於少數人的快樂，因此前者要優於後者。傳統的民主堅持的也正是這個原則，所以少數要服從多數。
邊沁理論的一個問題是，快樂僅僅有數量和大小的差異嗎?少數人的意志憑什麼要服從於多數人呢?多數人的暴政一再證明，多數並不是天然優越的。穆勒指出，快樂與痛苦有層次上的差別，對快樂除了數量上的度量之外，還有質量上的考慮，並且更重要的是後者，所以，他說，“寧願做一個不被滿足的蘇格拉底，也不作一個被滿足的豬”。基於對快樂的量與質的不同重視，在邊沁的價值系列裡，安全是第一位的，因為它關係“最大多數人的最大幸福”，必要的時候，自由應當服從安全的需要;而在穆勒看來，自由是質的快樂，具有更高的價值。真正的自由，就是“按照我們自己的道路去追求我們自己的好處的自由，只要我們不試圖剝奪他人的這種自由，不試圖阻礙他們取得這種自由的努力。每個人是其自身健康的適當監護者，不論是身體的健康，或者是智力的健康，或者是精神的健康。人若彼此容忍按照自己所認為好的樣子在生活，比強迫每人都按照其餘的人們所認為好的樣子去生活所獲是要較多的”。自由是應該優越的，個人自由只在為保障他人同等的自由的時候才受到制約。按功利主義原則，所謂好和善就是使人趨樂避苦。真正的快樂，優質的快樂，是個人的事，只有每個人對自己的利益關切最深，了解最深，因而個人有支配自己的意志和行動的絕對的自由是天經地義的。“任何人的行為，只有涉及他人的那部分才需對社會負責，在僅涉及本人的那部分，它的獨立性在權利上是絕對的”。個人的行為只要不涉及他人的利害，個人就有完全行動的自由，不必向社會負責，其他人不得對他的行為進行干涉，至多只能忠告、規勸或避而不理;只有當個人的行為危害到他人的利益時，各人才應該接受社會或者法律的懲罰。個人的自由不受干涉，集團或政府干涉個人自由的唯一理由只應當是保障自由本身。
穆勒的觀點是有很大的進步意義的。按一般的邏輯，人先要活著(安全)，才能追求自己的幸福(自由)，所以安全比自由重要。然而，如果沒有自由，生命的質量將是低下的，安全也只是暫時的和脆弱的 。我們不是生活在原始的、自然的狀態之中，而是深深嵌在這個世界裡面，“枷鎖無所不在”。權力的擴張本性決定，它往往會在保護生命、安全和保障秩序的名義下侵蝕人們的自由空間，進而演變成對生命和安全本身的剝奪;社會也會以一種人們不易覺察的方式“悄悄”侵蝕個人的自由，特別是以社會和公共輿論的名義壓制和剝奪少數人的自由，形成社會對於個人的壓制。自由的載體是單個的人，而個人除了自由以外，別無其他可以憑籍來對抗那些剝奪和壓制的工具了。所以，有人說，“不自由，毋寧死!”