オーディオデータのサンプリングレートコンバーターを実装したいと思っています。

既存のデジタルフィルタの本をいくつかみましたがFFTぐらいの実装でとまっている

FIRの話までいってないのでしょうか？
どこからの話にするとよいのかな(^^;

フーリエ変換やz変換、サンプリング定理が理解できているなら、ざっとした所は下記にあります。
http://www.gem.hi-ho.ne.jp/katsu-san/audio/next_gen/digital.htm
あまりにサラッとしすぎな感はありますけど。

基礎の教科書としては下記の本でどうでしょう。
http://www.amazon.co.jp/dp/4501317302
マルチレートフィルタも軽く触れてあります。

で、本題ですが。
https://ja.wikipedia.org/wiki/%E3%82%B5%E3%83%B3%E3%83%97%E3%83%AA%E3%83%B3%E3%82%B0%E5%91%A8%E6%B3%A2%E6%95%B0%E5%A4%89%E6%8F%9B
基本はこの通りだと思います。

画像の話ですが、1次元か縦横にフィルタするかの違いなので基本は同じです。
ごく一部ですがソースもあります。
http://belle.digiweb.jp/nsystem/resize/resamp/resamp-03.html
もう少し詳しくだと下記。
http://ednjapan.com/edn/articles/1208/10/news093.html

あと下記本などは目次からするとかなり実践・応用的な気がします。
http://www.press.tokai.ac.jp/bookdetail.jsp?isbn_code=ISBN978-4-486-01909-1
http://www.kagaku.co.jp/1-08-03_multifilter.htm

こんなところでどうでしょう？