Visual Basic .NET2003を使っています。

不親切な仕様のように思えるかも知れませんが、出力系と入力系の機能が必ずしも一対一で対応して作られているわけではありません。
入力系は、ユーザーの入力方法によって書式が大きく揺らぎますから、全角半角やスペースへの対応、その他の無関係な文字の排除、さらには各国語対応で欧州向けに,と.を入れ替えるなど、その処理は膨大で、例えばExcelのようになんでも入力できる機能をFrameworkに実装するのは極めて非効率、ということになり、このように出力系だけの対応、ということも十分にあり得ます。

実際、カンマ区切りの数値文字列はFormat()メソッドなどで簡単に出力できると思いますが、これに対応したParse()メソッドないはずです(あったらすいません...)。