メインコンテンツまでスキップ
おしゃべり字幕
IDEA 14

おしゃべり字幕

祖父母との食卓に、話者ごとに色分けされたリアルタイム字幕を

アクセシビリティNemotron ASR Streamingpyannotewhisper-web
01

食卓の困りごと

聞こえにくい人は、会話の輪の外に出てしまう

聞き返すのが申し訳ない
聞き返すのが申し訳ない
何度も聞き返すうちに、相づちだけになっていく。
笑顔のまま、話がつかめない
笑顔のまま、話がつかめない
いちばん困っている人
ヨシオさん(82)耳が遠い・補聴器は食卓だと雑音が多い・孫と同居

みんなが笑った理由が分からないまま、一緒に笑っている

困りごと

  • 複数人が話すと聞き分けられない
  • 誰の声か分からない
  • 聞き返しにくい

ほしいもの

  • 話に付いていきたい
  • 誰が話したか分かりたい
  • 家族に気を使わせたくない
となりに座る人
ユキコさん(46)ヨシオさんの娘・共働き・食事は家族そろって

同じことを大きな声で言い直すのに疲れてしまう

困りごと

  • 言い直しで食事が進まない
  • 話題が途切れる
  • 子どもが遠慮して話さなくなる

ほしいもの

  • 自然に話したい
  • 言い直さずに済ませたい
  • 父に疎外感を持たせたくない
会話から離れていく流れ
輪の外へ
聞き取れない
聞き返す
気が引ける
黙ってしまう
話題が進む
聞き取りにくくなる場面(想定)
複数人が同時に話す4.8点
小声・口元が見えない4.2点
早口3.9点
テレビがついている3.6点
食器の音3点
食卓での困りやすさを5点満点で並べた主観の想定。
夕食の1時間(現状・想定)
18:30 いただきます話せている
18:40 孫が話す早口で聞き取れない
18:50 みんなが笑う理由が分からない
19:00 話題が変わる相づちだけ
19:20 ごちそうさま疲れた
同時にしゃべる食卓
同時にしゃべる食卓
取り分け、確認、笑い声。食卓の会話は重なりやすい。
02

Hugging Face で見つけた種

ストリーミングで文字にして、誰の声かを分ける

組み合わせる3つ
食卓の声
nemotron-3.5-asr-streaming話しながら文字にする
speaker-diarization-community-1誰が話したかを分ける
Xenova/whisper-webブラウザだけで動く参考例
それぞれの役目
nvidia/nemotron-3.5-asr-streaming-0.6b0.6B のストリーミング音声認識。日本語を含む多言語に対応するタグがある。話している途中から字幕を出す役。文字にする
pyannote/speaker-diarization-community-1話者分離のパイプライン。重なった発話の検出にも対応するタグがある。ライセンスは cc-by-4.0。分ける
Xenova/whisper-web(Space)モデルではなく、ブラウザだけで文字起こしを動かす公開デモ。アプリを入れずに試せる形の参考にする。参考
字幕まわりの流れ
  1. 以前録音して後から文字起こし
  2. 近年ブラウザ内で文字起こし
  3. 近年話者分離が公開される
  4. 今回話しながら字幕+話者の色
  5. 将来メガネ型に表示
字幕の出し方の比較
声の大きいマイク一般の文字起こしおしゃべり字幕
話しながら出る×△◎
誰が話したか××◎
重なった発話×△○
通信なしで動く◎△○
食卓になじむ△○◎
03

アイディア

色と名前で「誰が言ったか」まで見える字幕

ひとことで言うと
食卓の会話
+
話者ごとの色
+
少し前に戻れる
=
おしゃべり字幕
言葉だけでなく、「誰が」を見せるのが中心。
何が変わるか
いま
  • 聞き返すか、聞き流す
  • 誰の発言か分からない
  • 重なると全部聞き取れない
  • 言い直す側も疲れる
字幕あり
  • 読んで確かめられる
  • 色と名前で話者が分かる
  • 重なった発話は分けて出る
  • 聞き逃しは少し前に戻れる
テーブルに立てるタブレット
テーブルに立てるタブレット1話者の色2名前のタグ3少し前に戻る
ピンは画面のイメージ。字幕は大きな文字で、背景とのコントラストを高くする。
字幕の見え方(色は画面で話者ごとに分ける)
じいじ:今日の魚は何かな
ママ:さばの塩焼きだよ
こども:ぼくの骨取って
パパ:ちょっと待ってね
ありがとう、聞こえたよ
字幕画面の作り
字幕画面の作り
04

使い方

置いて、電源を入れて、食べるだけ

① 食卓の中央に立てる
① 食卓の中央に立てる
② 話した人の色で字幕が出る
② 話した人の色で字幕が出る
③ 字幕の画面(タブレット)
9:41●●● ▮
おしゃべり字幕
いま話している人3人が参加中
パパそろそろご飯にしようか
ママお皿を並べてくれる?
こどもはーい、持っていくよ
30秒もどる
文字を大きくする
④ 聞き逃したら少し戻る
④ 聞き逃したら少し戻る
家族のスマホで、はじめに設定
9:41●●● ▮
話者の登録
声を登録する端末内だけに保存
  • じいじ登録ずみ
  • ばあば登録ずみ
  • パパ登録ずみ
  • こどもこれから
登録しない人は「話者1」のように表示
5秒で登録する
夕食の会話の流れ(例)
  1. 18:30いただきます
  2. 18:40孫の学校の話
  3. 18:502人が同時に話す
  4. 19:00旅行の相談
  5. 19:20ごちそうさま
食事の始まりから終わりまで
  1. 1置く中央に立てる
  2. 2入れる起動1回
  3. 3拾うことばを聞く
  4. 4色分け話者ごとに
  5. 5戻る聞き逃しを見る
  6. 6消える終わったら破棄
⑤ 笑うタイミングが同じになる
⑤ 笑うタイミングが同じになる
同じ場面で笑えることが、いちばんの変化。
食卓での置き場所
食卓での置き場所
05

ヨシオさんに刺さる設計

輪の中にいられる。娘は言い直さなくていい

ヨシオさんの願いと、機能の対応
ヨシオさんの願いと、機能の対応
ある夕食と、字幕が入る場面
席に着く電源を入れるだけ
乾杯色で誰の声か分かる
孫の話笑いに間に合う
聞き逃し30秒戻して読む
食後言い直されなかった
設計の原則(困りごと → だからこう作る)
耳が遠い → 字は大きく、1行は短く長い文は2行で切る。目の動きを少なくする。見た目
誰の声か分からない → 名前と色を先に決める席の位置で最初に色を割り当てる。分かりやすさ
聞き返しにくい → 自分で戻して読める誰にも頼まずに、30秒前へ戻れる。気兼ね
家族に気を使わせたくない → 操作は電源だけヨシオさんは何も触らない。設定は娘が一度だけ行う。操作
食事の邪魔をしたくない → 食卓の端に置く話す人の顔を隠さない向きと高さにする。置き方
よくある字幕アプリとの違い
よくある作りおしゃべり字幕
入口アプリを開いて録音開始電源を入れるだけ
操作の数設定から開始まで5回(想定)電源の1回
表示一続きの文章話者ごとに色分け
言葉づかい書き言葉に直す話した言葉のまま。方言は辞書に
料金の見せ方本人が登録して払う払うのは家族。給付の対象になることも
機能の優先度(刺さる度 × 作る手間)
刺さる度は高い
手間が大きい
価値はあるが後で最初に作るやらないおまけで足す話者ごとの色字幕30秒戻して読む名前の登録方言の辞書議事録の自動作成翻訳字幕
手間が小さい
刺さる度は低い
ストアの説明文の書き出し(案)
食卓に、字幕を。
誰が話したかが、色で見えます。
聞き逃したら?
30秒前まで戻って読めます。
06

最初の夕食まで

置いて、電源を入れて、最初のひとことが文字になる

初回体験のストーリーボード
初回体験のストーリーボード
設定は娘のユキコさんが一度だけ。ヨシオさんは何も触らない。マイクの許可は、食卓に置く直前に1行の理由つきで聞く。秒数はすべて目安(想定)。
最初の30日(すべて想定)
100%
インストール
70%
食卓で最初の字幕
48%
3回の夕食で使った
38%
7日目に再訪
26%
30日継続
最初の7日間に出すもの
  1. 初日の夕食席の色だけで始める
  2. 2日目「30秒戻す」をヨシオさんに見せる
  3. 3日目声の登録(任意)
  4. 5日目文字の大きさを本人に聞く
  5. 7日目の食後無料の30分のふり返り
食事中は案内を出さない(目標)。有料の案内は、無料の30分に近づいても会話中は出さず、食後に1度だけ(食卓プラン)。
つまずきどころと手当て
家族に聞かれていないか不安 → 許可の直前に1行で理由「食卓の会話を文字にするためだけに使います。文字にしたら音は残しません」と見せ、動作中は小さな点を点灯する。許可
声を拾えない → 最初の1回だけ置き場所を示す食卓の中央に立て、全員が1メートル以内(想定)に入る置き方を図で見せる。置き場所
色分けがごちゃつく → 席の位置で自動に割り当て名前は後でよい。最初は「左の人」「右の人」で始める。色
見張られている気がする → ヨシオさんに操作を求めない本人が触るのは文字の大きさだけ。設定の画面は娘の端末にだけ出す。気持ち
よくある字幕アプリの初回と、食卓の最初の夜
よくある初回案内おしゃべり字幕
最初の画面録音の開始ボタンと設定電源を入れると字幕の画面
設定する人使う本人娘が一度だけ
話者の登録最初に全員分席の色から。声の登録は3日目以降
マイク許可起動時にまとめて置く直前に1つだけ
有料の案内初回に表示食後に1度だけ
07

仕組み

声を拾って、分けて、文字にして、色を付ける

1回の発話で起きること
1回の発話で起きること
ソフトの層
字幕画面色・名前・大きな文字・戻るタブレット
話者の判定誰が話したかをラベル付けpyannote
文字起こし話しながら少しずつ確定Nemotron ASR
音を受ける短い区間に切るマイク
音声の区切りと話者(例)
パパこどもママじいじ
  • パパ
  • こども
  • ママ
  • じいじ
沈黙で区切り、声の特徴で話者を分ける。
表示のルール
表示のルール
聞き取りにくい声への対策
聞き取りにくい声への対策
データは端末の外に出さない
データは端末の外に出さない
データの範囲
クラウド(使わない)
話者の登録(端末内に保存)
字幕の文字(画面に出して消す)
声(端末内で処理)
録音は保存しない設定を既定にする。
字幕が出るまでの遅れ(目標)
音の取り込み0.2秒
話者の判定0.5秒
文字起こし0.6秒
表示0.1秒
合計1.4秒
Mac(MLX)で測る想定。遅れが短いほど会話に追いつける。
マイクは食卓の中央
マイクは食卓の中央
全員から等しい距離に置くと、小声も拾いやすい。
08

効果

会話に参加できて、言い直しが減る

試作の目標(想定)
-50%聞き返しの回数食事あたり(目標)
4人色分けできる人数同時に表示(目標)
1.5秒以内字幕の遅れ話し始めから(目標)
30秒戻れる長さ画面に保持(想定)
聞き返しの回数(想定)
  • 字幕なし
  • おしゃべり字幕
字幕が役に立つ場面(想定)
聞き逃し話者が不明早口小声重なり朝食昼食夕食来客通院
数字は5点満点の想定。夕食と来客でいちばん効く。
食事中の会話への参加感(目標)
80点
本人の自己評価(100点満点)
手間と効果
▲
手間
  • 置いて電源を入れる
  • 家族の声を最初に登録
効果
  • 話題に付いていける
  • 誰の発言か分かる
  • 言い直しが減る
  • 録音は残らない
09

お代と、届け方の道すじ

家庭、補聴器店・眼鏡店、福祉の給付

お金と価値の流れ
お金と価値の流れ
料金プラン(すべて想定)
おためし1日30分まで。2人まで色分け。無料
食卓時間は無制限。4人まで色分け。30秒戻し。月420円(想定)
店頭版補聴器店・眼鏡店のデモ用。成約の紹介料つき。1店舗 月6,000円(想定)
自治体の給付日常生活用具の給付対象として申請。自治体が一括で払う。1台 年3,000円(想定)
払うのはユキコさん。食事のたびに大声で言い直す疲れが減るなら、月420円は安い(例)。
収益の柱(12か月後の想定)
40%食卓プラン
  • 食卓プラン40%
  • 自治体の給付25%
  • 店舗ライセンス20%
  • 成約の紹介料15%
広告も、会話の販売もしない。食卓の声は商品にしない。
ひとり分の経済(すべて想定)
月460円平均単価(想定)食卓プランが中心
5%無料から有料へ(想定)3回使った家庭のうち
月2%解約率(想定)同居の家族が続けやすい
約2.3万円LTV(想定)460円 ÷ 2%
2,200円獲得単価(想定)店頭と自治体経由が中心
4,000世帯損益分岐(想定)月の固定費200万円で
18か月の見込み(想定)
  • 売上
  • 費用
16か月目ごろに黒字になる想定。実績ではない。
1世帯あたりの月の原価(想定)
端末内の字幕と話者分離0円
決済手数料15円
試用機の償却25円
サポート60円
字幕も話者分離も端末内で動かすので、音声の通信費がかからない。かかるのは人のサポート。
10

つくる

8週間で家族の食卓に置ける形にする

試作の計画
W1W2W3W4W5W6W7W8
食卓の録音を集める(同意のもと)
Nemotron ASR を Mac で動かす
話者分離をつなぐ
字幕画面(タブレット)
少し前に戻る機能
方言・早口の検証
家族で2週間試す
最初の1週間でやること
  • 家族に目的を説明して同意をもらう録音は試験用のみ
  • Nemotron ASR を日本語で試すMac(MLX)と RTX4080
  • whisper-web を食卓の音で試すブラウザだけで動くか
  • 2人の重なる声を pyannote で分ける精度を見る
  • iPhone / Android 実機で字幕を出す遅れを測る
試作の月額コスト(想定)
¥3,000
  • RunPod 評価1,800円
  • Apple Developer800円
  • ストレージ400円
試作の仕様
入力
食卓のマイク音声(録音は保存しない)
出力
話者ごとの色分け字幕・30秒のさかのぼり
処理
すべて端末内
端末
タブレット / iPhone / Android 実機
目標
字幕の遅れ 1.5秒以内
広がり
広がり
11

リスクと次の展開

補助の道具であり、補聴器や医療機器の代わりではない

リスク
影響大
起きにくい
対策を用意最優先で潰す様子見慣れで解決話者の取り違え方言の誤変換小声が拾えない録音の不安字幕に頼りすぎる
起きやすい
影響小
約束ごと
おしゃべり字幕の約束
補聴器の代わりではありません重要
医療機器ではなく、診断や治療はしません重要
聞こえに不安があれば耳鼻科・補聴器相談へ
誤変換や取り違えがあります
録音は保存しません(既定)
会話に参加する人全員の同意を得る
次の展開
メガネ型に表示将来像。視線を動かさず字幕を読める。将来
病院の待合名前を呼ばれたときに知らせる。場面を広げる
方言の辞書家族の言葉を登録して認識を助ける。精度
集まりや法事人数が多い場でも話者を分ける。人数を増やす
その先
その先
将来はメガネ型にして、食卓でもテーブルを見下ろさずに字幕を読めるようにしたい。