“唯女子与小人难养也，近之则不逊，远之则怨”出自 《论语·阳货篇》，原文为：“唯女子与小人为难养也，近之则不逊，远之则怨。”。这句话的意思是 只有女子和小人是难以教养的，亲近他们，他们就会无礼，疏远他们，他们就会报怨。
孔子在这里并不是在贬低女性和小人，而是强调与这些人相处时需要有适当的距离和分寸。孔子认为，女子和小人难以培养自己的浩然正气，难以修养身、心、性、命，因此在与他们相处时，太近了容易失礼，坏了规矩；过于远离，又容易招致怨恨，而不利于儒学的传承。
需要注意的是，孔子所说的“小人”并不是指道德水平低下的人，而是指那些思想行为不能突破“得失”的人，即那些容易因得失而情绪波动、行为失控的人。因此，这句话在现代社会中仍然有一定的参考价值，提醒我们在与他人相处时要注意分寸和礼仪，避免因过于亲近或疏远而产生不必要的矛盾和怨恨。