Köyden eski kayıtlarda "İmras","İmrez" ve "İmraz" adlarıyla bahsedilmektedir. Yerleşimden 1834, 1836,1838 ve 1839 yılı Tevzi Defterlerinde "İmras" adıyla Banaz nahiyesine bağlı orta büyüklükte bir köy olarak bahsedilmektedir. 1898-1899 yıllarında köyde 68 hane bulunmaktaydı.
Köye ilk gelenlerin Emir Aziz adında bir evliya ve onun sülalesinden olduğudur. Emir Aziz’in ve çocuklarının yerleşmesiyle oluşan Ayvacık Köyü, Emir Aziz adını yıllar sonra yumuşayarak İmrez adını aldığı güçlü bir rivayettir. 1520 tahrir defterinde Hayrebat nahiyesine, 1570 yılı tahrir defterinde ise Banaz nahiyesine bağlanmış olarak gösterilen "Emir Azizlü" köyü bulunmaktadır. Daha sonra köylerin isimlerinin değiştirilmesinde yerleşimin batısında bulunan Ayvacık deresinden dolayı "Ayvacık" ismini almıştır. Köyün ekonomisi tarım ve hayvancılığa dayanmaktadır. Tarımsal faaliyet olarak; buğday, arpa, nohut, pancar ve fasulye yetiştirilmektedir. Hayvancılık olarak büyükbaş hayvancılık yapılmaktadır.