Первый футбольный клуб в Палермо (Anglo Panormitan Athletic and Football Club) был основан 1 ноября 1900 года. В начале XX века (до образования единой итальянской футбольной лиги) клуб участвовал в различных региональных соревнованиях и трижды (в 1910, 1912 и 1913 гг.) выигрывал Кубок Вызова Липтона. В 1927 году «Палермо» был расформирован по финансовым причинам, но всего через год был возрождён и заявлен в Серию C, а уже в 1932 году дебютировал в Серии А.

После Второй мировой войны клуб не добивался особых успехов в чемпионате (лучший результат — 8-е место в сезоне 1961-62), а сезон 1972-73 стал последним для «Палермо» в Серии А (до 2004 года). Тем не менее, уже играя в Серии B, команда дважды (в 1974 и 1979 годах) доходила до финала Кубка Италии, уступив в финале «Болонье» и «Ювентусу» соответственно. В 1986 году клуб был расформирован. Возрождённый в следующем году «Палермо» начал свое выступление в Серии C2 и последующие сезоны провел с основном в сериях B и C1.

Новая эпоха в истории «Палермо» началась в 2002 году, когда президентом клуба стал Маурицио Дзампарини. В 2004 году под руководством Франческо Гуидолина команда впервые за 30 лет вышла в Серию А. В своём первом же сезоне «Палермо» занял 6-е место, а нападающий Лука Тони стал лучшим бомбардиром Серии А. В сезоне 2005-06 клуб занял 8-е место в чемпионате, а также дошёл до полуфинала Кубка Италии и 1/8 финала Кубка УЕФА. Летом 2006 года сразу три игрока «Палермо» — Фабио Гроссо, Андреа Барцальи и Кристиан Дзаккардо — стали чемпионами мира в составе сборной Италии. В сезоне 2006-07 «Палермо» занял 5-е место в Серии А, что является высшим достижением клуба за всю историю.