Tous les territoires ne sont pas égaux, et l'IFI pénalise les personnes héritant de propriétés immobilières se trouvant dans des zones où le foncier et l'immobilier sont chers ou ont pris de la valeur depuis l'acquisition initiale, sans pour autant que les redevables concernés puissent être considérés comme étant particulièrement aisés. Tel est par exemple le cas de la valorisation du foncier dans certaines zones touristiques littorales, de montagne ou à Paris.