興建於清光緒27年(西元1901元)，當時日人統治台灣，積極消滅我國傳統文化，當地有志之士遂建立玉衡宮作為掩護，開設象山漢學院，並奉祀孔子神位，西元1974年地方士紳倡議改建，將孔廟獨立，象山孔廟位居高坡，遠眺可見苗栗盆地的平疇綠野，視野遼闊，氣勢磅礡。