根据传统中医理论和现代食品安全建议，以下几类人群不宜或慎食茯神：
1. 湿盛中满者：茯神性味甘淡、平，归心、脾经，具有宁心安神、利水渗湿的功效。但中医认为“利水渗湿”意味着它可能会进一步耗伤体内的津液，对于本身体内湿气就很重、表现为腹胀、食欲不振、大便溏泄的人群来说，食用茯神可能会加重不适。
2. 脾胃虚寒者：茯神有一定的渗湿作用，可能会影响脾胃的运化功能。脾胃虚寒的人消化能力较弱，常伴有腹胀、便溏、畏寒等症状，过量食用茯神可能导致消化功能紊乱，或加剧腹泻。
3. 孕妇和哺乳期妇女：虽然茯神在中医中有时用于安胎，但缺乏足够的现代研究证实其在孕期的安全性。为了谨慎起见，孕妇和哺乳期妇女应避免自行食用，最好在医生或专业人士指导下进行。
4. 儿童：儿童的体质相对娇嫩，各器官系统尚未发育完全。茯神的药性虽然平和，但作为药材使用需辨证，儿童若非医生诊断明确需要，一般不建议随意食用。
5. 过敏体质者：虽然少见，但任何食材都可能引起部分人的过敏反应。如果个人有已知对类似药材或食材的过敏史，应避免食用茯神。
6. 正在服用某些药物的人群：茯神可能与其他药物发生相互作用，例如可能与某些利尿剂或中药方剂中的成分产生影响。正在服药的人应在医生或药师指导下决定是否可以食用茯神。
总之，健康饮食的关键在于了解自身体质，合理选择食物和药材。若不确定自身情况是否适合食用茯神，或计划将其用于调理身体，务必咨询专业医生或中医师的意见。