職工代表對選舉單位的職工負責，選舉單位的職工有權監督或撤換本單位的代表。一般情況下，當職工代表因違法亂紀被依法剝奪政治權利或被用人單位依法解除勞動關係，無故不參加職工代表大會而嚴重失職，或不履行職工代表的義務而失去選舉單位的職工信任，原選舉單位職工有權要求撤換。撤換職工代表要依照程式進行。其程式是：
(1)每個職工和選舉單位發現職工代表違法亂紀或嚴重失職等，都可以向職工代表大會工作機構(廠工會)提出撤換代表的要求。
(2)職工代表大會工作機構(廠工會)要及時對被要求撤換的代表的問題調查核實。
(3)在撤換職工代表時，須經原選舉單位全體職工討論，獲半數以上職工的同意。被撤換的職工代表可以出席會議，允許提出書面或口頭申辯意見。
(4)撤換的職工代表經職工代表大會工作機構(廠工會)核准後，撤換其職工代表的資格，並備案。
(5)職工代表被撤換後，應在原選區及時補選，以確保職工代表的人數和比例、組成的合理。