サーバーがパソコンの外側にあるのは違和感がありません｡けれどローカルにサーバーを立ち上げたばあい､パソコン内のサーバーに､パソコンからアクセスすることについては､しっくり行きません｡後者のばあい､いったい､何からサーバにアクセスされるのでしょうか｡

VirtualBoxの場合ですと(仮想)サーバー（VM）の仮想LANアダプタと通信することになります
https://qiita.com/taopi/items/0f9475e4c0e230911eb7
上記リンクの図のように実際はPC内に仮想ネットワークが作成されて
インストール時にその仮想ネットワークへのルーティング
（このIPのVMにアクセスする場合はこのネットワークに接続する、という情報）
が追加されます

サーバー(ソフトウェア)
機能を提供(サービス)する機能を持ったソフトウェアも「サーバー」と呼ばれるものがあり、クライアントと組み合わせて利用されます。

同一の(または、そうでない場合も含めた)ハードウェア上にある「クライアント」からサーバーにアクセスされる　という事になります。