Traduje se, že jméno vesnice je odvozeno od lesních polomů, které byly v okolních lesích velmi časté. V latinských zápisech Zemských desk se objevuje většinou pojmenování „Polom”, výjimečně najdeme ve starých dokumentech jiné označení, např. „Polomey” či „Polomie”. K ustálení názvu „Polomí” došlo pravděpodobně až v 19.století, přesto se i nadále v pramenech často setkáváme s pojmenováním „Polom”, a to nejen v českých dokumentech, ale rovněž v německých dokladech z 19. a 20. století (v tomto případě můžeme narazit i na název „Pollom”). Pravděpodobně nejstarší zmínka o Polomí je na listině z 20. května 1301, která pojednává o směně majetků mezi olomouckým klášterem sv. Kateřiny (řád dominikánek) a Miličem z Citova a na níž se poprvé setkáváme s olomouckým sudím Kadoldem (Kadoltem) z Polomí (Cadoldus, dictus de Polomey) z mocného rodu Švábeniců. Polomí na Konicku bylo jedním z jeho sídel a je možné, že ke vsi náležela menší tvrz či opevněný dvorec. V držení rodu pánů ze Švábenic bylo Polomí do roku 1349, kdy bylo kvůli dluhům dáno do zástavy benediktinskému klášteru Ianua Vitae v Klášterci u Zábřehu. Švábenští sice ves později vykoupili zpět, ovšem brzy poté ji prodali a od té doby se Polomí stávalo častým objektem prodeje, takže se ve vlastnictví vsi vystřídalo několik majitelů. Roku 1480 bylo Polomí prodáno majitelům panství Krakovci a vesnice začala s tímto panstvím sdílet další osudy. Krakovecké panství bylo postupem doby z různých důvodů několikrát prodáno, proto můžeme mezi jeho vlastníky najít např. Bítovské ze Slavíkovic, Jana mladšího ze Zástřizl, Ditrichštejny, Lubetichy z Capelletu nebo Berchtoldy. Dne 1. září 1768 koupil panství Krakovec, Čechy (pod Kosířem) a Drahanovice Emanuel (Manoell) Tellez da Sylva Menezes e Castro hrabě Taroucca, vévoda z Turnhoutu, jehož rod pak panství držel až do poloviny 20. století.