LinuxサーバでGUIを（X Window Systemを）動かしておくとセキュリティ的に問題がある。

Linuxはインストールする時にちょっと油断していると(笑)すぐに色々なプログラムが入ってしまいます。

X Windowだからということはありませんが、サーバー用マシンに不要なプログラムはインストールしない、動作させない、というのがセキュリティ的な観点で必要な事です。その不要なプログラムの代表格がX windowということだと思います。

GUIに限らずサーバでは不要なサービスの稼動は避けるのが原則ですが、中でもGUIというものは、そのサーバを操作する目的のものだから問題視されるものと思われます。

いわゆるセキュリティホールの問題もありますが、それ以上に通常の侵入による問題が重要です。パスワード攻撃や漏洩などで侵入されるという状態は常にありえる話であり、これはパッチなどで解決できる問題ではありません。そして万一侵入されると、GUIのようなサーバ管理が可能なサービスの場合なんでも出来てしまうことになります。このため、GUIサービスやtelnetのような管理操作が可能なサービスは、その起動を慎重にする必要があるのです。

また、プロトコル解析の問題もあります。X接続に使われるXDMCPプロトコルは暗号化されていますが、絶対に解析されない保障はもちろんありません。もし万一解析されたら、管理操作が丸見えになってしまったり乗っ取られたりということも有り得ます。これはさほど心配する必要もないとは思いますが、無用な危険は避けるべきでしょう。

「Xプロトコルという、画面表示や入出力時に利用されるプロトコルがネットワーク透過である」（Wikipedia 「X Window System」より）

の辺りで何か問題があるのかな～、と感じたのですがいまいちピンと来ません……。

X自身は基本的にはサーバークライアントシステムです。

つまりサーバーに別のサーバーを同居させるということになります。

http://www.wdic.org/w/TECH/X%20Window%20System

特徴

クライアント/サーバモデル

単なるGUIというわけでも無いのがXの特徴で、Xプロトコルと呼ばれるプロトコルを用いてプログラム間で通信を行なう、クライアント/サーバ型のシステムとして機能する。

なお、普通のクライアントサーバの場合はユーザから近い方がクライアント、遠い方がサーバだが、Xの場合ユーザに近い方(キーボードやマウス)がサーバで、ユーザから遠い方(Xアプリケーション)がクライアントというのがややこしい点である。

画面描画

例えば画面描画の機能などがサーバであり、クライアントはサーバに対して描画の要求を出したり、サーバからの命令を受けて処理をする。

更に、クライアントはネットワークに接続されてさえいれば全く別の場所にあってもよく、これがWindowsなどの他のGUIシステムと大きく趣を異にする点である。

大抵の場合はたまたま同じPC内部同士でXプロトコルを使用して通信しているだけなのですが、本来その通信はPC同士の通信として使ってもいいわけです。つまり、Xを使えば他のPCからでも画面を描かせることもできるし逆のことも可能なわけです。

サーバーのセキュリティを高めるためには出来る限り不要な通信経路を塞ぎ、出来る限り不要なプログラムを走らせない、ということが重要です。

また、サーバーは他のPCから遠隔操作でいじり、サーバーに接続されたモニターとキーボードは緊急時以外は使わないですのであまりX Window Systemを入れておく必然性は薄く、むしろ不要なサーバーが動いている状態はセキュリティ的には避けるべきだという主旨だと思います。