「last time we talked」と「we talked last time」に違いはありますか？

はい、あります。

①「last time we talked」のように「last time」が節「we talked」の前に来る場合、「last time we talked」は従属節になり、これだけでは不完全な文になるので、従属節「last time we talked」の後に主節が必要になります。

Last time we talked.　Ｘ

私たちが前回話した時。

Last time we talked, you were still single.

私たちが前回話した時、あなたはまだ独身だった。

②「we talked last time」のように「last time」が節「we talked」の後に置かれる場合は、完全な文になります。

We talked last time.

私たちは前回話した。