潘氏來源有三支:
第一支潘氏出自姬姓,是周文王的後代。根據《元和姓纂》上的記載,周文王的第十五個兒子畢公高,他的兒子季孫,食采於潘這個地方,他的後代子孫因而以地為氏,稱為潘氏。望族出於廣宗、河南。季孫的采邑潘地,就在現在的陝西省的北部。
第二支潘氏出自華姓。根據《姓氏尋源》上記載,潘氏是楚國公族華姓的後代,是以字為氏的姓氏,祖宗是潘崇。潘氏家族在楚國較有權勢,楚成王時,潘崇任太子商臣的師傅。商臣繼位為穆王,就封潘崇為太師。潘崇的子孫就「以父王字為氏」,而稱潘氏。這支潘氏的姓源可追溯到上古的顓頊帝高陽氏,發源於今安徽、江蘇、浙江一帶。
第三支潘氏是由改姓而來。北魏時少數民族中有破多羅氏,改為「潘」氏,其子孫亦稱潘氏。 郡望: 1、廣宗郡:東漢永元五年(公元93年)置縣,治所在今河北威縣東。隋仁壽元年(公元601年)避太子廣諱,改名宗城。十六國後,趙為建興郡治;北魏為廣宗郡治。此支潘氏,出自潘勖之後,其開基始祖為晉代廣宗太守潘才。
2、河南郡:漢高帝二年(公元205年)改秦三川郡治郡。此支潘氏,多出自鮮卑破多羅氏之後,其開基始祖為潘威。 堂號: 黃門堂:晉代潘岳為河陽令,累官黃門侍郎,詩作是最好,和陸機合稱「潘陸」。
潘氏又以「滎陽」為其堂號。 遷徙分布: 在今河南榮澤縣西南。