除了“穩定壓倒一切”等現實主流政治觀念的影響和法律規定本身極其零散之外，公民拒絕權身陷尷尬處境還直接源於以下三個方面的現實挑戰：
第一，權利行使對象判斷上的巨大風險。從我國現行法律的規定上看，公民拒絕權的行使對象主要是一些具有重大明顯違法情形的行政行為，即行政法學理論和實證法律體系中的“無效行政行為”。行政行為無效法律制度，“實際上是在法律上賦予人們直接根據自己對法律的認識和判斷，公開無視和抵抗國家行政管理的權利。”[10]127 但是，由於我國尚未制定統一的行政程式法，因而對無效行政行為的具體情形並沒有明確列舉。而且，以往很多立法如《行政處罰法》中的“無效”用語與大陸法系國家和地區學理及立法上通行的具有特定內涵的“無效”概念相差甚遠。這樣以來，公民就難以根據法律規定並結合自己的智識判斷究竟哪些行為才屬於無效行政行為。即便當事人做出了其所面對的行政行為無效的判斷，這一認定在實踐中依舊存在巨大的風險，因為他“無法保證以後所有的行政機關和行政法院也會這樣認為”。[11]137 一旦行政機關或法院不能認同該行為是無效行政行為，“公民的不作為的消極抵抗就沒有合法的正 當理由，並為此要承擔相應的法律責任。”[10]128 妨礙公務罪的適用和對一般違法行為法律救濟權利的喪失就是這種法律責任的具體表現。正是基於對無效行政行為自我判斷巨大風險的考慮，行政相對人往往選擇放棄拒絕權的行使，從而導致公民拒絕權的法律規定在事實上徹底落空。
第二，權利行使方式運用上的現實困惑。從公民拒絕權源自公民正當不服從角度上看，拒絕權的行使方式原則上只能是消極防禦，即通過言辭拒絕、保持沉默、不履行義務等方式表達對一個無效行政行為的不服從、不理睬。問題在於，當行政相對人基於自己的判斷採取上述策略時，如果得不到行政機關的認同，特別是當行政機關動用法律上或事實上的強制力來執行其所作決定時，公民拒絕權又如何能夠實現對行政權的有效抗衡?在1947 年的christie v.leachinsky案中，英國上議院在判決中曾經指出：“沒有令狀而進行合法逮捕必須告知嫌疑犯被拘禁的真正理由，如果這樣的信息被保留，嫌疑人有權使用適當的(最小的)暴力來抵抗逮捕。”[12]170 但是，我國法律及司法判決從未對公民能否運用最低限度的實力手段去直接抵制行政機關的強制行為做出哪怕是隻言片語的暗示。在實踐中，一些行政機關的執法粗暴野蠻，往往憑藉其享有的強制權甚至通過實施法外強制快速實現所謂的執法效果。在這些不斷上演的現實情境中，行政相對人已曾通過“撒賴”、“肢體接觸”等軟暴力手段試圖阻止行政機關的強制行為(如強制檢查、強制收繳等)，但結果往往都會陷入更為不利的境地。因此，權利行使方式上的界限模糊同樣加劇了公民拒絕權的尷尬處境，使得公民拒絕權在很大程度上淪為個人權利保障的“空頭支票”。
第三，主體抗衡中理性交往渠道的缺失。公民拒絕權的享有意味著當事人對無效的行政行為可以採取置之不理的正當不服從態度。如果行政機關對當事人的置之不理同樣不予理睬，甚至急於通過強制迫使當事人服從，那么行政法律關係主體之間的抗衡就面臨著如何獲得理性化解的問題。也就是說，當行政法律關係主體雙方在行政行為是否無效上發生爭議時，有無理性交往渠道供雙方進行溝通就成為問題解決的關鍵。“與無效行政行為有關的公民不能指望無效性的職權確認，而是有權直接請求行政機關或行政法院確認。”[13]事實上，一些大陸法系國家和地區行政訴訟法上的無效確認訴訟就是專門為解決上述紛爭而設立的。無效確認訴訟的制度設計，實際上為行政主體與行政相對人之間有關行政行為是否無效的爭執提供了一個理性交往的通道，通過引入權威第三方的獨立審查，能夠避免當事人雙方陷入實力對抗、兩敗俱傷的危險境地。我國行政訴訟法上雖有無效確認判決，但它只是法院在一般行政訴訟程式正常開啟之後所作的一類判決，與獨立的無效確認訴訟不可同日而語。正是由於缺乏理性交往的渠道，在我國公民拒絕權行使極其有限的實踐中，暴力手段自然就成了少數鋌而走險的公民無奈而近乎絕望的選擇，這又進一步刺激和加劇了行政執法的暴力化乃至黑社會化。“城管追逐與攤販抵抗”的頻頻上演就是當下最為真實的寫照。可見，主體抗衡中理性交往渠道的缺失極易誘發公民拒絕權行使的暴力化傾向，進而徹底扭曲了公民拒絕權的良好初衷。