（二）行政機關案件調查人員業務素質低
行政機關案件調查人員業務素質低，對新的法律法規不熟悉，法律意識淡薄，程式意識幾近於無。大多數的行政案件調查人員，整天忙於日常的業務工作，很少有時間來進行業務知識和法律法規的學習，對於國家最近頒布的法律法規根本就不知道，即使知道了解也很少。對於和自己的業務工作聯繫不是很密切，不經常使用的就不關心，也不學習，有些甚至不知聽證為何物。行政機關工作人員尚且如此，更不用說老百姓了。
（三）行政處罰聽證程式的各項配套制度不健全
行政處罰聽證程式的順利進行，要依賴各項配套制度的相互作用才能完成。一個合理的聽證程式，必須有完備的制度體系。它包括通知制度、公開制度、迴避制度、代理制度、質證制度、主持人制度、物質保障制度、監督機制等內在的制度體系。而目前我國這些制度還很不健全，有些制度，如物質保障制度。雖然《行政處罰法》上明確規定：“聽證程式所需經費由行政機關承擔”，但在實踐中常因行政機關經費不足而無法履行或大打折扣；有些制度，如主持人制度，由於法律規定過於簡單籠統而在實踐中難以把握；甚至有些制度，法律上根本未作出規定，如監督機制。這些都導致了聽證程式無法進行。
（四）公民、法人等法律主體聽證權利意識淡薄
聽證程式是一項旨在保障公民、法人等法律主體合法權益的法律制度，它的正常運轉，除執法人員的努力外，更需要公民、法人等法律主體積極主張權利。而我國目前的實際情況是公民、法人等法律主體意識極為淡薄。他們不想聽證，不敢聽證，不要聽證，在有權聽證時放棄聽證，導致“立法上是先進的，但作為這一制度的直接受益者——將被處罰的公民、法人卻不領情”的怪現象。這些觀念的形成，一是由於我國是受官本位思想影響極深的國度，百姓不敢對他們的“父母官”進行直接的抗辯與責難。二是由於行政機關手中擁有著很大的行政權力，公民法人對其有畏懼感，不敢也不願得罪行政機關，因而不願訴諸於法律正當程式。
三、行政處罰聽證制度的完善
（一）完善有關法律法規
我們要完善已有的法律法規，使之更具體更完備，更具可操作性。不僅要在《行政處罰法》中對聽證的各項配套制度作明確具體的規定等，還要對有關行政處罰法規、地方性法規、規章等進行修改和完善，使之於行政處罰聽證方面的規定相吻合。此外，還應在各地行政機關判定的行政處罰聽證法規的基礎上，總結使用中的經驗和教訓，逐漸形成一部統一的行政機關行政處罰聽證法規，確保公民聽證權的實現。
（二）加強學習，提高行政機關執法人員的素質
聽證對行政執法人員的政治素質、業務素質等提出了更高的要求。要加強行政機關執法人員的政治理論學習和職業道德教育，提高行政執法人員的政治素質。要辦好業務培訓，提高行政執法人員的業務素質。加強行政執法人員對有關法律知識的學習，提高行政執法人員的法律素質。要求全體行政執法人員認真學習行政管理方面的法律法規，加強對《行政處罰法》的學習，可以專門就聽證程式組織廣大執法人員進行培訓，使他們明確我國引入聽證制度的重要理論和現實意義，弄清楚聽證程式的具體操作步驟及注意事項，以承擔日益提高的執法水準要求。