После смены паспорта, мне нужно менять ИНН?

ИНН, присвоенный физ. лицу, НЕ меняется НИКОГДА !!!
А присваивается ИНН при первичной постановке физического лица на учет в налоговом органе и одновременно ему выдается Свидетельство о постановке на налоговый учет (с указанием присвоенного ИНН) .
Вот это-то Свидетельство и ДОЛЖНО заменяться, НО.. . в строго установленных случаях, т. е. при изменение ФИО, пола, даты рождения, места рождения, а также в случае утраты физ. лицом ранее полученного Свидетельства.
Новое Свидетельство о постановке на налоговый учет ВСЕГДА выдается с указанием РАНЕЕ присвоенного ИНН.
А в случае изменения места жительства физ. лица, Свидетельство, ранее выданное налоговым органом, замене НЕ подлежит.
Так что если Вы просто меняете паспорт, в связи с истечением срока его действия, его порчей или утратой (но без изменения ФИО и прочих вышеперечисленных сведений) , то и СВИДЕТЕЛЬСТВО, ранее выданное налоговым органом, замене НЕ подлежит и Вы можете жить дальше спокойно.

Источник – п. 34 – 37 "Порядка постановки на учет, снятия с учета в налоговых органах… физ. лиц - граждан РФ", утв. Приказом Минфина РФ от 05.11.2009 N 114н, а также п. 9, 16, 19 "Порядка и условий присвоения, применения, а также изменения ИНН", утв. Приказом ФНС России от 29.06.2012 N ММВ-7-6/435@.