Bałtów mógł  istnieć już w XI wieku. Prawdopodobnie z tego okresu pochodził pierwszy z bałtowskich kościołów pod wezwaniem Świętego Andrzeja. O Bałtowie wspominał Jan Długosz w swoich kronikach. Według niego fundatorem drewnianego kościoła miał być właściciel Bałtowa, Warsz herbu Rawa Miechowski. Po pożarze, który zniszczył kościół pod koniec XVII wieku, wzniesiono nowy pod wezwaniem Matki Boskiej Bolesnej.W 1828 roku Bałtów nabył książę Franciszek Ksawery Drucki-Lubecki. Wieś pozostawała własnością rodu Druckich-Lubeckich herbu Druck do końca II wojny światowej.Pod koniec XIX wieku, książę Aleksander Drucki-Lubecki postanowił wybudować tutaj swoją siedzibę. W latach 1894-1899 powstał pałac. Po II wojnie światowej rodzina Druckich-Lubeckich zmuszona była opuścić Bałtów. W latach powojennych opuszczony pałac uległ dewastacji. Do dnia dzisiejszego spadkobiercy nie mogą odzyskać zrabowanych dóbr.