様々なアカウントのメールを、自前の鯖にimapを建てて一元管理したいと思っています。

実際にやってます。

私は、CentOS で作ったおうちサーバで、Dovecot の IMAP サーバを立てていて、fetchmail を cron で定期的に実行し、ISP の POP サーバから取り出したメールを、おうちサーバのメールボックスに配送するようにしています。

ちょっと微妙なのは、ISP の Web メールのインタフェースに迷惑メールである事を通知する機能があって、ISP 側の迷惑メールフィルタをすり抜けて届いたメールを、その機能で通知したい、と思うと、一定期間は ISP 側にも残して置きたいのですが、fetchmail 側にそういった「一定期間過ぎたら POP サーバから削除」という機能が無く、今は、気が向いた時におうちサーバにログインして、受信済みのメールを POP サーバから削除する設定で fetchmail の実行、といった運用になってます。