根据中国法律，无论是扣缴义务人还是纳税人，如果未按规定设置、保管账簿或记账凭证，都将面临税务机关的处罚。以下是具体的处罚措施和相关规定：

罚款

扣缴义务人：如果扣缴义务人未按照规定设置、保管代扣代缴、代收代缴税款帐簿或者保管代扣代缴、代收代缴税款记帐凭证及有关资料，税务机关将责令其限期改正，并可处以二千元以下的罚款；如果情节严重，则处以二千元以上五千元以下的罚款。

纳税人：对于纳税人而言，如果未按照规定设置、保管账簿或者保管记账凭证和有关资料，税务机关也会责令其限期改正，并可处以二千元以下的罚款；情节严重的，罚款金额将提升至二千元以上一万元以下。

追究法律责任

除了罚款之外，直接责任人，包括主管人员和其他直接责任人员，也可能受到处罚。根据《会计法》第四十二条，直接责任人可能会被处以二千元以上二万元以下的罚款；如果涉及国家公职人员，还将由其所在单位或者有关单位依法给予行政处分。

法律依据

这些处罚措施的法律依据主要来自于《中华人民共和国税收征收管理法》和《会计法》。例如，《税收征收管理法》第六十一条规定了扣缴义务人未按规定保管凭证的法律责任，而《会计法》第四十二条则详细列出了未依法设立会计帐簿等违法行为的处罚措施。

如何应对

如果您发现自己或您的公司未按规定设置、保管账簿和记账凭证，应立即采取行动进行整改。首先，联系专业的税务顾问或律师了解具体的法律责任和可能的补救措施。其次，尽快与税务机关沟通，表达您的整改意愿，并尽可能提供所需的资料和解释。最后，确保在未来遵守相关法律法规，避免再次发生类似问题。

结论

未按规定设置、保管账簿和记账凭证不仅会导致经济损失，还可能影响公司的声誉和运营。因此，企业和个人都应高度重视这一问题，确保合规操作。如果您正面临此类问题，建议及时寻求专业法律意见，并积极与税务机关合作解决问题。