《素书》不仅是一本权谋书籍，而且其中有很多教人避祸的小道理。比如说“避险远疑，所以不误”，如果理解透了这句话，便能在生活中远离小人的陷害，以后的道路走得更为顺畅。
在唐德宗时期，有一个奸臣名叫卢杞。卢杞的权势与阴险到了何种地步？夸张地说，在他还没有发迹的时候，连平定了安史之乱的郭子仪都对他忌惮三分。这里有一个故事可以说明卢杞的阴险与心胸狭小，当时郭子仪患病，百官前去慰问，他都不叫侍妾退下。等听说卢杞到来，郭子仪叫侍妾都退下，独自倚着几案接待他。卢杞走后，家里人询问其中的缘故，郭子仪说:"卢杞相貌丑陋而心底险恶，左右的人见了他必定会笑话。如果这人得到大权，就会使我们宗族没有活着的人了。"
郭子仪的一生可谓是在刀尖上不知道滚了多少次，并且在朝堂那么多年，见过的阴险狡诈之人比比皆是，却对一个小官忌惮三分。那么，这究竟是为什么呢？史书上记载卢杞面貌丑陋，所以心胸狭小。生理的缺陷导致了心理的变态，在他执掌大权以后，先是陷害了厌恶他容貌与为人的宰相杨炎，然后又开始迫害、排挤朝堂中的正直才能之士。若是郭子仪在面见卢杞的时候，没有屏退家人，若是有人嘲笑卢杞的外貌，便很容易招来卢杞的打击报复，郭子仪的担心不是没有道理。
所以说，对于小人，我们要敬而远之，而不是与其接近或者显示自己的正义感，进而论辩曲直。小人往往行事不讲道理，只注重利益，并且他们往往善于察言观色、窥探人心，往往你不经意的一句话，便可能引起小人的猜忌，进而在以后的生活中给你使绊子。人生有很多重要的事情要干，若是和这些小人纠缠在一起，就如同口嚼苍蝇，恶心了自己，然后又得了一身病。正确的做法是对小人要尊敬并且远离他，得罪小人是幼稚的行为，靠近小人并且和小人做朋友是世间最愚蠢的行为。
