遂平一高位于汝河北岸，瞿阳镇南关大街东侧，东临107国道。学校前身是遂平二初中，1956年7月招收高中一年级新生两班，改名为“遂平完全中学”，学制六年。
1958年大跃进时期，遂平完中，遂平师范，遂平一初中合并，由遂平完中统一领导。
同年秋，开展大炼钢铁运动，学校基本停课。合并的学校解体。遂平一初中仍回原址开办。遂平完中，遂平师范仍为一体。
1960年暑假，学校招收一班幼儿师范（附于遂平师范）。
1961年，遂平师范停办，幼儿师范停办，初中班停止招生。至此，遂平一高才成为一所名副其实的高中，定名为“河南遂平高级中学”。学制三年。
1966年7月，文化大革命开始，学生停课闹革命。
1968年秋，知识青年上山下乡开始。66、67、68三届学生同时毕业，插队劳动。同年底，“四下放”，学校停办，教师各回原籍。高中，一中合并为红旗中学。
1970年春，遂平县在遂平一高的原址上，开办“遂平农机学校”。同年冬，该校停办，中央国防科委占驻遂平一高至1971年底离去。
1972年2月，遂平一高复校。高中，一中分家，这才正式定名为“遂平县第一高级中学”。学生由各公社推荐，学制改为二年，春季招生，寒假毕业。
1973年改为暑假招生。学制仍为二年。
1975年8月18日，遂平县遭受特大洪水，学校除一幢教学楼和一个化学实验室外，其余一切全被冲走，冲毁。
1976年文化大革命结束，学校的隶属关系由受地区教育局转变为受县教育局领导。次年，恢复高考。
1980年，学制改为三年。
1981年，学校被驻马店地区确定为县重点高中。
1997年，学校被县委、县政府提升为正科级单位。
1998年秋由中共遂平一高支部委员会改建为总支委员会。
2000年元月，学校被省委、省政府命名为省级文明单位。
学校理念
办学宗旨：为学生终生幸福奠基，为社会全面进步育人。
办学思想：以人为本，崇德尚能，身心双健，师生共赢。
办学目标：推进和谐教育、塑造名校风范。
工作思路：把学习作为第一需要、把发展作为第一要务，
把人才作为第一资源、把团结作为第一保证。
