公开资料显示，胡玉亭出生于1964年7月，山西五台人，1986年毕业于北京钢铁学院（现为北京科技大学）冶金系钢铁冶金专业，后在太原钢铁（集团）有限公司工作多年，2008年任太钢集团党委常委、副董事长、总经理。
2011年后，胡玉亭历任大同市委常委、副市长（正厅长级），山西省经信委党组书记、主任，晋中市委副书记、市长、市委书记等职。2018年，他任山西省委常委、秘书长，2019年转任山西省委常委、常务副省长。
2021年6月，胡玉亭调职辽宁，任省委常委、大连市委书记，同年10月任辽宁省委副书记、大连市委书记。