メインコンテンツまでスキップ
撮るだけ家計簿
IDEA 04

撮るだけ家計簿

レシートを撮ると品目まで仕分けて、月末の着地まで予測する

お金・家計GLM-OCRNuExtract3Chronos-2
ねらい(目標)
3秒1枚の入力撮って、確認して、終わり
品目まで仕分けの細かさ店名だけで終わらせない
月末の着地先に分かる数字使いすぎを中旬で知る
端末内画像の置き場所レシートは外に出さない
01

家計簿が続かない

入力が面倒で、月末に初めて数字を見る

財布の中のレシート
財布の中のレシート
貯まったまま、見返されない。
月末の夜に
月末の夜に
銀行アプリの残高を見て、初めて使いすぎに気づく。
家計簿をやめた理由(想定)
入力が面倒41%
仕分けで迷う24%
見返さない18%
レシートをなくす11%
その他6%
よく聞く声をもとにした想定の内訳。
三日坊主の輪
続かない
レシートが溜まる
まとめて入力しよう
量が多すぎる
見なかったことに
月末に驚く
1か月の気持ち
1週目今月は頑張る
2週目入力が溜まる
3週目もう見たくない
4週目残高が足りない
翌月1日また今月から
よくいる人
ハルカさん(29)一人暮らし・会社員・月の手取り 24万円(例)

何にいくら使ったか、月末まで分からない

困りごと

  • スーパーの内訳が分からない
  • コンビニの小さな出費が積もる
  • 家計簿アプリを3回やめた

ほしいもの

  • 入力しないで続けたい
  • 中旬に警告がほしい
  • 食費だけは把握したい
02

Hugging Face で見つけた種

読む、抜き出す、予測する。3つとも手元で動く

3つのモデルのつなぎ方
3つのモデルのつなぎ方
それぞれの役目
zai-org/GLM-OCR小型の文書OCR。感熱紙のかすれた印字も読む。読む
numind/NuExtract3文字から「店・日付・品目・金額」を決まった形で抜き出す。抜き出す
amazon/chronos-2日々の支出の並びから、残りの日の合計を予測する。予測する
レシート×AI の流れ
  1. 2020電子レシート対応店が増える
  2. 2023文字を読むAIが身近に
  3. 2025時系列の基盤モデル
  4. 2026小型OCRが端末で動く
入力の方法くらべ
手入力銀行連携撮るだけ
品目まで分かる◎×◎
現金も扱える◎×◎
手間が少ない×◎○
口座情報を渡さない◎×◎
続けやすさ×○◎
モデルの得意分野(主観評価)
  • GLM-OCR
  • NuExtract3
  • Chronos-2
03

アイディア

1枚撮ると、仕分けも着地予測も終わっている

ひとことで言うと
レシートを撮る
+
品目を仕分け
+
月末を予測
=
使いすぎを先に知る
入力は写真1枚だけ。数字を見る場面を月末から日々に移す。
何が変わるか
いま
  • レシートを溜めて後で入力
  • 内訳は月末に分かる
  • 予算は気持ちで管理
撮るだけ
  • その場で撮って終わり
  • 品目ごとに自動で仕分け
  • 月末の着地を毎日更新
撮ると、行に枠がつく
撮ると、行に枠がつく
品目の行ごとに色付きの枠を重ねて読み取りを見せる。
3つの重なり
家計簿アプリレシートOCR支出の予測撮るだけ家計簿
既存サービスとの位置
品目まで
手入力
手で細かく自動で細かく手で大ざっぱ自動で大ざっぱ手書き家計簿銀行連携アプリレシート読取アプリ撮るだけ家計簿
自動
合計だけ
手間の物差し
手書き家計簿表計算撮るだけ銀行連携
毎回入力何もしない
04

使い方

レジの前で撮る。確認は5秒

① 会計のあとにレシートを撮る
① 会計のあとにレシートを撮る
② 品目が仕分けされる
9:41●●● ▮
撮るだけ家計簿
スーパーあおぞら11/18 18:42・合計 ¥2,184
食費 5日用品 1外食 0
  • 牛乳 1L¥198
  • 卵 10個¥248
  • キャベツ¥178
  • ティッシュ¥398
  • 缶ビール 6本¥1,164
この内容で保存
③ 夜、机で今月を見る
③ 夜、机で今月を見る
④ 月末の着地が出る
9:41●●● ▮
今月の見通し
着地 ¥231,000予算 ¥220,000(想定)
食費
日用品
趣味
趣味は今のペースだと超えます
内訳を見る
⑤ 使いすぎの合図
9:41●●● ▮
見通し
撮るだけ家計簿今月の趣味費が予算の9割です
⑥ 週末、二人で家計を見直す
⑥ 週末、二人で家計を見直す
撮ってから保存までの手順
撮ってから保存までの手順
アプリの画面(モック)
アプリの画面(モック)
夜のひとこと
今月の食費は予算の82%です
外食は多かった?
外食は先月より3,200円少ないです。コンビニの回数が増えています
05

ハルカさんに刺さる設計

3回やめた人が、4回目を続けられるように

ハルカさんの困りごとと、機能の対応
ハルカさんの困りごとと、機能の対応
ハルカさんの1か月と、アプリが入る場面
1日 月初食費だけ見る設定
8日撮るだけで5秒
15日 通知月末は21.4万円の見込み
22日コンビニを週2回に
月末着地は20.2万円
通知は15日の1回だけ。数字は「見込み」として伝え、結論を押しつけない。
設計の原則(困りごと → だからこう作る)
入力が面倒 → 撮ったら確認は5秒直すのは自信が低い行だけ。合っている行は触らない。入口
食費だけ知りたい → 最初のカテゴリは1つ食費だけで始め、必要になったら項目を増やす。最初
3回やめた → 空白があっても責めない何日抜けても、再開は撮る1枚から。穴埋めは求めない。続ける
中旬に気づきたい → 15日に1回だけ着地の見込みを1行で出す。毎日は通知しない。予測
一般的な家計簿アプリと、ハルカさん向けの作り
一般的な家計簿撮るだけ家計簿
入口銀行連携の設定レシートを撮る
分類9項目を手で選ぶ食費から自動で始める
警告月末に集計中旬に1回
言葉づかい赤字ですこのペースだと
料金の見せ方月額で自動更新年額・無料枠あり
機能の優先度(刺さる度 × 作る手間)
刺さる
手間が大きい
あとで最初に作るやらないついでに品目の自動仕分け月末の着地予測コンビニ出費の週まとめ銀行口座の連携予算の自動提案多種類のグラフ
手間が小さい
刺さらない
口座連携は便利でも、設定の手間が大きい。最初は入れない。
15日に届く通知(コピー案)
15日です。このペースだと、月末は21.4万円の見込みです。
食費は先月より2千円ほど多めです。
週末は自炊にしてみる
ストアの説明文は「レシートを撮ると、今月の着地が見えます。」から始める。
06

4回目の最初の1枚

空白があっても、再開はいつも撮る1枚から

初回体験のストーリーボード
初回体験のストーリーボード
カメラの許可は「レシートを撮る」の直前に1行の理由つきで聞く。予算の入力と登録は、最初の食費の合計が出たあと。秒数はすべて想定。
最初の30日(すべて想定)
100%
インストール
90%
初回設定の完了
68%
最初のレシートを保存
42%
7日目に再訪
25%
30日継続
家計簿を3回やめた人が相手なので、初回で入力を求めないことが最優先。
最初の7日間に出すもの
  1. 1日目1枚撮る・食費の合計が出る
  2. 3日目2枚目で週の食費が見える
  3. 5日目抜けた日があっても何も言わない
  4. 7日目最初の1週間の食費を1行で
  5. 15日最初の着地予測(通知はこの1回)
毎日の通知はしない。15日の1回だけ(目標)。有料の「年額」は、無料の月の読み取り枚数の8割を使ったあとに1度だけ見せる。
つまずきどころと手当て
薄い印字・しわで読めない → 読めない行だけ黄色に撮る直前に「平らに置いて」と1行出す。直すのは黄色い行だけ。撮影
カメラ許可の理由が分からない → 撮る直前に1行「レシートの文字を読むためだけに使います。画像は端末の外に出しません」と見せる。許可
項目が多くて迷う → 最初は食費だけ他のカテゴリは、レシートに該当する品が出たときに1つずつ足す。続ける
よくある家計簿アプリと、4回目の最初の1枚
よくある家計簿撮るだけ家計簿
最初の画面口座・カードの連携撮るボタンだけ
予算最初に全項目を入力最初の合計が出たあと
抜けた日未入力の警告何も言わない
権限起動時にまとめて撮る直前にカメラだけ
有料の案内初回に表示月の枚数の8割(想定)を使ったあと
07

仕組み

読んで、抜き出して、仕分けて、予測する

1回の撮影で起きること
1回の撮影で起きること
品目を仕分ける判定
品目を仕分ける判定
1枚から読み取るもの
1枚から読み取るもの1店名2日付3品目の行4金額5合計
ピンは読み取り結果のイメージ。
抜き出した結果(イメージ)
スーパーあおぞら 11/18
牛乳 1L ………… 198 食費
卵 10個 ………… 248 食費
キャベツ ………… 178 食費
ティッシュ ………… 398 日用品日用品
缶ビール 6本 ……… 1,164 酒類要確認
合計 ………… 2,184
ソフトの層
アプリ撮影・確認・今月の見通しSwift / Kotlin
月末を予測日別の支出から残りを推定Chronos-2
品目を仕分ける店名・品名・修正履歴で分類ルール+学習
形に整える店・日付・品目・金額NuExtract3
文字を読む感熱紙のかすれも読むGLM-OCR
1枚のレシートの処理(例)
18行
読み取った行
14行
品目と判定
12行
自動で仕分け
2行
確認が必要
データはどこまで出ていくか
クラウド(使わない)
月の集計(家族と共有してもいい)
品目と金額(端末内)
レシート画像(端末内のみ)
画像は端末から出さない。共有するのは集計だけ。
1枚の処理時間(目標)
文字を読む1.4秒
形に整える1.1秒
仕分け0.2秒
予測の更新0.3秒
合計3秒
Mac(Apple Silicon)での目標値。
月末の着地予測(例)
  • 累計の支出
  • 予算ペース
19日までが実績、以降が予測(例)。
曜日ごとの出費の多さ(例)
月火水木金土日食費外食日用品趣味
週末に出費が寄ると、月の後半で着地が動く。
08

効果

先に分かるので、動ける

今月の使い道(例)
¥231,000
  • 家賃78,000円
  • 食費42,000円
  • 外食21,000円
  • 日用品11,000円
  • 趣味24,000円
  • その他55,000円
記録が続く日数(目標)
  • 手入力の家計簿
  • 撮るだけ
継続率は目標で、実測ではない。
月末の予測のずれ(目標)
5%
19日時点の予測が、確定額から外れる幅
自動で仕分けできた行
85%確認なしで保存できた行の割合(目標)
手間と効果
▲
手間
  • 1枚ずつ撮る
  • 最初に予算を決める
効果
  • 入力ゼロ
  • 品目まで分かる
  • 中旬に警告が出る
  • 月末に慌てない
好循環
続く
撮るだけ
自動で仕分け
着地が見える
途中で調整
月末に安心
月末、慌てない
月末、慌てない
着地が見えていれば、最後の週の使い方を選べる。
着地予測の考え方
着地予測の考え方
09

続けても月に数百円

年額で払い、紹介は同意した人にだけ

お金と価値の流れ
お金と価値の流れ
料金プラン(想定)
無料月20枚までの読み取り・食費の仕分け・月末の着地予測。0円
年額枚数の制限なし・全カテゴリ・15日の通知。月あたり200円。年2,400円(想定)
ふたり2人で家計を共有。レシートは各自の端末に残る。年3,600円(想定)
ハルカさんの場合:中旬に使いすぎが分かれば、コンビニの週2回ぶん(約1,500円(例))が浮く。年2,400円は約2か月で戻る。
収益の柱(想定)
年額の利用料個人とふたりプラン4割
積立・口座の紹介同意した人にだけ。成果報酬3割
FP相談の紹介家計の面談を希望した人へ1.5割
電子レシート連携小売側の接続料1.5割
購買データは売らない。借入やリボ払いの商品は紹介しない。
ユニットエコノミクス(すべて想定)
年2,100円1人あたり売上(ARPU)無料利用者を除く
5%無料→有料の転換月20枚を超えた人
68%年の継続率1年後も払っている
約5,200円LTV(粗利ベース)平均約3年
700円獲得単価(CAC)家計の記事と紹介
約5,000人損益分岐の有料利用者月の固定費 70万円
月次の売上と費用の見込み(想定)
  • 売上
  • 費用
年額課金は入金が年に一度なので、実際は月ごとにならして見る。
画像をクラウドで読む作りと、端末内で読む作り
▲
レシートをクラウドで読む
  • 1枚ごとに読み取り費がかかる
  • 無料枠を大きくできない
  • 家計の画像が外に出る
端末内で読み取り
  • GLM-OCR と NuExtract3 を端末内で実行
  • 無料でも月20枚まで置ける
  • 画像は端末から出ない
予測の Chronos-2 も端末内で動かすため、1人あたりの原価は小さい(想定)。
10

つくる

8週間で、自分のレシートで試せる形にする

試作の計画
W1W2W3W4W5W6W7W8
レシート100枚を集める
GLM-OCR で読み取り
NuExtract3 で項目抽出
仕分けルールと修正学習
Chronos-2 で着地予測
iPhone アプリ
自分の家計で1か月
最初の1週間でやること
  • 手元のレシートを100枚撮る店の種類を散らす
  • GLM-OCR を Mac で動かす読み間違いの率を見る
  • 抽出の項目を決める店・日付・品目・数量・金額
  • 費目を10個に絞る多すぎると迷う
  • 過去3か月の支出で予測を試すChronos-2
試作に使う機材
試作
iPhone 実機撮影と表示
Android 実機低スペック確認
MacMLX で推論
RTX4080仕分けの追加学習
RunPod評価をまとめて回す
試作の仕様
入力
レシートの写真 1枚
出力
品目・費目・月末の着地予測
処理
すべて端末内(画像は外に出さない)
端末
iPhone 15 以降 / Android 8GB 以上
目標時間
撮影から保存まで 3秒
11

リスクと次の展開

読み間違いと、予測の外れ方に備える

リスク
影響大
起きにくい
対策を用意最優先で潰す様子見慣れで解決感熱紙のかすれ品目の誤分類特売の値引き行現金払いの撮り忘れ画像の流出
起きやすい
影響小
月の運用コスト(想定)
¥1,100
  • RunPod 評価500円
  • Apple Developer400円
  • ストレージ200円
広がり
広がり
育てる順番
共有家計二人で同じ見通しを見る
予算の提案使い方から無理のない額を出す
着地予測月末の合計を日々更新
撮って仕分けまずはここだけ
その先
その先
電子レシートと組み合わせれば、撮る手間も要らなくなる。