ブラウザ上でキャラクターに、マンガのように吹き出しで会話を表示させたいと思います。

Flash なしなら、HTML をプログラムで書きだす、でしょうか。
CSS で吹き出しを作って、データは javascript で書き出します。

"css 吹き出し 会話" でググると、いろいろと見つかります。
例えば、こんなの。
https://moriawase.net/kaiwa-text

そこの例では、ひとつのセリフがこんな感じで書かれます。

<div class="balloon">
 <figure class="balloon-image-left">
   <img src="画像のパス（URL）" alt="画像名">
 <figcaption class="balloon-image-description">
     人の名前や画像の説明
 </figcaption>
 </figure>
 <div class="balloon-text-right">
   <p>
     吹き出しの中のテキスト
   </p>
 </div>
</div>

データとして置き換えたいところは、赤字にしたところでしょうか。
キャラクターの数は決まっているので、「画像の URL」は CSS にできます。
あと、表情の指定も。

Ｊ尼「日本ニ、軽クテ重イプレゼント、アリマス」

を、こんな感じに展開します。

<div class="balloon">
 <figure class="balloon-image-left">
   <div class="charactor J-normal"></div>
 <figcaption class="balloon-image-description">
     Ｊ尼
 </figcaption>
 </figure>
 <div class="balloon-text-right">
   <p>
     日本ニ、軽クテ重イプレゼント、アリマス
   </p>
 </div>
</div>

データは、JSON と言われる形式にしておくのが良いかな、と思います。
こんな感じで。

<script type="text/serif">
[
  {
    "name": "J",
    "face": "normal",
    "text": "日本ニ、軽クテ重イプレゼント、アリマス",
    "pos" : "left"
  },
  {
    "name": "B",
    "face": "normal",
    "text": "何なの？",
    "pos" : "right"
  },
    ...
  {
    "name": "J",
    "face": "wink",
    "text": "コノプレゼント、何カ、ワカリマスカ？",
    "pos" : "left"
  }
]
</script>