An sich passt TotK nicht zu den anderen Teilen, aufgrund der von dir genannten Gründen. Es gibt zwar die Theorie, dass das Hyrule in BotW und TotK ein anderes ist und die Überreste des alten Hyrule den Untergrund darstellen. Das finde ich aber etwas weit hergeholt und lässt trotzdem einige Fragen unbeantwortet.
Aber am Ende sollte man trotzdem bedenken, dass Zelda an sich keinen Wert auf die Timeline legt. Es sind nur die Fans, die das unbedingt wollen.