突然、強制的に通常のデスクトップ画面に戻される場合は……
OS X 10.8 Mountain Lion でフルスクリーンアプリケーションを使っている最中に突然通常のデスクトップ画面に切り替わる(勝手にデスクトップがスワイプされる……という表現も)事例があるようです。
もしこのような症状が見られる方で Buffalo 社製の「LinkStation」或は「TeraStation」を利用し、且つ同社が提供しているユーティリティソフトの "NAS Navigator2 (Macintosh)" をインストールされている場合は、ソフトウェアのバージョンを確認して下さい。最新版は Ver.2.56 です。
v2.52 では OS X の Dock にアイコンを繰り返し表示する不具合があり、フルスクリーンモードから強制的に切り替えられてしまうのもこの動作に起因していたようです。
Apple Support Community へのポストによれば v2.56 へアップデートする事で問題が解決したとの事ですので、同不具合に悩まされている方は参考になさって下さい。