Man muß imho vor allen Dingen 2 Sachen auseinanderhalten:
1) die relative Sicht auf die Zeit: Natürlich wird derr Zeitunterschied um so größer, je länger die Reise dauert - das ist bei jeder Relation so! Die Berechnungen dazu erfolgen innerhalb der SRT. Die Ursache wieso es beim Wiedersehen einen Unterschied gibt, ist damit jedoch nicht aufzuklären. Schon gar nicht wenn man die Relation (die an jedem Punkt vorhanden ist) beim Vorbeiflug einfach weglässt, um das Gedankenexperiment 'passend zu machen'.
2) Die Ursache dafür, dass das Experiment in der Praxis sich tatsächlich asymmetrisch auflöst (und unser Weltbild nicht paradox bleibt, bzw. ohne schon hier ein Multiversum einzuordern...
). Dafür braucht es - ganz allgemein gesagt - einen handfesten Impuls.
Grüße