在保靖的土家族中，彭姓是望族。在保靖历史上，彭姓做过土司，出过许多名人。彭司勋的祖父是昂洞乡人，一位私塾先生，教四书五经，在当地颇有声名，不仅在保靖，在湘西的几个县都教过书。彭司勋出生时祖父已过世，由祖母持家。祖父母育有四子二女，彭司勋的父亲排行老二。大家族一起生活，直到1940年祖母去世后才分家。

彭司勋的大伯父早年经商，主要经营桐油生意，积攒了些钱，家境逐渐富裕，购置了不少田地，彭家就成为地主了。伯父去世得早，彭司勋没见过他，二伯父育有一子二女，在长沙工作。三叔小学毕业后，到长沙读了很有名皇之的重云中学，毕业就回到家乡教书，在天主堂小学任教，但他并不信教，是职业教师。三叔爱好养鱼、养花养草，喜欢园艺，在家里后院挖了鱼池，建了茅草亭，俨然一座私家园林。四叔彭勇炎，早年就读于长沙明德高中，后考入湘雅医学院，1935年毕业，留在湘雅医学院做医生，在学术上颇有建树，是国内著名耳鼻喉科专家，曾担任过耳鼻喉科主任、博士生导师。四婶是湘雅护士学校的校长。四叔四婶育有四子一女，长子司沅1964年毕业于北京医学院（现北京大学医学部药学院）药物化学系，分配到天津医药工业研究乒斤'曾任情报室主任。该所现称天津药物研究院。彭司勋的一位姑父曾到日本留过学。

彭司勋的父亲叫彭勇诺，1919年五四运动后去北平求学，就读于中国大学，接受了民主思想，加入中国国民党，毕业后后回到家乡。1925年川军熊克武部过境保靖，知事刘炎清逃跑，新任知小文一元未到任，保靖十分混乱，彭勇诺被当地士绅推举代理县知事。他临危受命，筹粮铬款，应付川军，使保靖免受兵祸，后彭勇诺变卖私人田产偿还债款。一年后，经士绅联名推荐，他被湖南省政府任命为保靖县长。在他任职期间，取消了渔民每年向官府交纳400斤鱼的“官渔税”，深得渔民称颂歌；他重视教育，当时保靖的小学不多尤其是好的学校更少，彭勇诺牵头集资，创办了一所小学，叫竞择小学，取“物竞天择”之意。后因目睹官场黑暗，退出政界，致力于发展当地的教育事业。