到安宅军尽皆慑服后，这才不紧不慢牵马离去。

细川晴元遂迁香西元成为赞岐国南北守护代，加封三野、丰田两郡。后来细川晴元流亡丹波国时，赞岐、阿波两国豪族多有投顺三好之举，唯有香西元正始终不肯附逆，率领两郡兵马顽强抗争，多次击退三好长庆派去的讨伐军。

丰田郡内斋藤、財田、青木等多家国人众私下与三好军多有勾结，召集宗亲郎党，附近乡里的百姓，还有亡命之徒，在九十九山修筑城垒，挖掘沟堑，俨然一副将要叛乱的架势。

香西元成听闻消息后，独自一人，带领几名随从直奔九十九山城内，当场斩杀三家豪族的家督，余下三姓族人和家臣震惊愕然，无人敢动，叩首请罪。