メインコンテンツまでスキップ
冷蔵庫ワンショット献立
IDEA 01

冷蔵庫ワンショット献立

ドアを開けて1枚撮るだけで、在庫と期限と今夜の献立が出る

キッチン実用SAM 3Grounding DINOGLM-OCRQwen3.5
ひとことで言うと
ドアを開ける
+
1枚撮る
+
手元のAIが数える
=
今夜の献立
入力を「写真1枚」だけにして、在庫の入力作業をなくす。
01

冷蔵庫あるある

入れたものを、人は忘れる

野菜室の奥で見つかるもの
野菜室の奥で見つかるもの
使うつもりだった食材は、見えない場所でしおれていく。
よくいる人
ミホさん(34)共働き・子ども1人・平日は19時帰宅

帰りの電車で献立を考えるけど、冷蔵庫に何があったか思い出せない

困りごと

  • 卵を二重に買う
  • 豆腐の期限切れに気づくのが遅い
  • 献立が毎週同じになる

ほしいもの

  • 入力しないで在庫が分かる
  • 期限が近い順に使い切りたい
  • 10分で決めたい
悪循環
使い切れない
とりあえず買う
奥にしまう
見えなくなる
しおれて捨てる
在庫が分からない
捨ててしまう理由
期限切れ38%
存在を忘れた27%
買いすぎ16%
作りすぎ11%
その他8%
家庭の食品ロスについてよく挙がる理由をもとにした想定の内訳。
見えている在庫・見えていない在庫
卵牛乳納豆
奥のヨーグルト野菜室の底のにんじんチューブ生姜使いかけの油揚げ冷凍した豚こまドアポケットのジャム
ドアを開けて目に入るのは手前の2割ほど。
平日の夕方、献立が決まるまで
17:30 退社今日何作ろう
18:00 電車在庫を思い出せない
18:20 スーパー卵あったっけ?
18:50 帰宅卵が2パック
19:10 調理いつもの炒め物
買った食材のゆくえ(想定)
78%食べた
  • 食べた78%
  • 捨てた9%
  • 冷凍して忘れた6%
  • 二重買いで余った7%
売り場で思い出せない
売り場で思い出せない
家に卵があるかどうか。答えは冷蔵庫の中にしかない。
02

Hugging Face で見つけた種

「数える」「読む」「考える」が手元で動くようになった

組み合わせる4つのモデル
冷蔵庫の写真1枚
Grounding DINO「卵」「豆腐」を言葉で探す
SAM 31個ずつ輪郭で切り出す
GLM-OCRパッケージの期限を読む
Qwen3.5-9B在庫から献立を組む
HF Hub重みを取ってきて端末で動かす
それぞれの役目
IDEA-Research/grounding-dino-tiny名前を渡すとその物体の箱を返す。食材リストを語彙にして検出する。探す
facebook/sam3テキストで指定した物体を全部、マスクで切り分ける。重なった卵も数えられる。数える
zai-org/GLM-OCR小型の文書OCR。曲がったパックの印字も読む。読む
Qwen/Qwen3.5-9B在庫・期限・家族の好みから3案を出す。考える
冷蔵庫×AI のあゆみ
  1. 2016庫内カメラ付き冷蔵庫
  2. 2023言葉で探す検出(Grounding DINO)
  3. 2023何でも切り出す(SAM)
  4. 2025言葉で全部切り出す(SAM 3)
  5. 2026スマホ単体で全部まわる
モデルの得意分野(主観評価)
  • Grounding DINO
  • SAM 3
  • GLM-OCR
  • Qwen3.5-9B
どの組み合わせにするか
写真だけクラウドVLM検出+OCR+LLM
個数を数える×△◎
期限を読む×○◎
通信なしで動く◎×○
料金◎△◎
献立の質×◎○
モデルの大きさ(パラメータ数の目安)
Grounding DINO tiny0.2B
SAM 30.8B
GLM-OCR0.9B
Qwen3.5-9B9B
Qwen3.5-9B は Mac/RTX4080 向け。スマホでは小さいモデルに替える。
03

アイディア

記録しない在庫管理

何が変わるか
いま
  • 在庫は頭の中
  • 買い物前に冷蔵庫の写真を撮っても見返さない
  • 期限は気づいたときには過ぎている
  • 献立は毎週同じ
ワンショット
  • 写真1枚で在庫リストができる
  • 外出先から在庫を検索できる
  • 期限が近い順に通知が来る
  • 使い切りの献立を3案出す
撮ると、食材に枠がつく
撮ると、食材に枠がつく
検出した食材ごとに色付きの枠を重ねて見せる。
3つの重なり
在庫管理アプリレシピアプリカメラワンショット献立
既存サービスとの位置
献立まで
手入力
手で入れて献立自動で献立家計簿的見るだけレシピアプリ在庫管理アプリ庫内カメラ冷蔵庫ワンショット献立
自動
献立なし
価値の段
献立今夜なにを作るか
期限どれから使うか
在庫何がいくつあるか
写真1日1回、ドアを開けたとき
手間の物差し
家計簿アプリレシート読み取りワンショット庫内カメラ冷蔵庫
毎回入力何もしない

冷蔵庫を開けるついでに1枚。それ以上は何も頼まない。

— 設計の約束
04

使い方

帰宅して、ドアを開けて、撮るだけ

① 帰宅してドアを開けたら1枚
① 帰宅してドアを開けたら1枚
② 在庫と期限が並ぶ
9:41●●● ▮
ワンショット献立
在庫 23品18:52 に撮影
期限が近い 4野菜 9たんぱく質 6
  • キャベツ 1/2あと1日
  • 豆腐今日まで
  • 卵 6個あと5日
  • にんじん 2本あと4日
  • 豚こま 200gあと2日
今夜の献立を見る
③ 期限の近いものから献立
9:41●●● ▮
今夜の3案
使い切り献立キャベツと豆腐を優先
豚キャベツの味噌炒め15分・キャベツ全部
豆腐とにんじんのすまし汁10分
キャベツ入り卵焼き8分
買い足し不要
この献立にする
④ 材料を並べる
④ 材料を並べる
⑤ 作る
⑤ 作る
⑥ 使い切って食べる
⑥ 使い切って食べる
1日の流れ
  1. 1帰宅ドアを開ける
  2. 2撮影1枚・2秒
  3. 3在庫更新前回との差分
  4. 4期限チェック近い順に並べる
  5. 5献立3案買い足しなし優先
  6. 6買い物メモ足りない物だけ
導入後の夕方
17:30 退社在庫は確認済み
18:00 電車献立を選ぶ
18:20 スーパー足りない物だけ
18:50 帰宅ドアを開けて1枚
19:10 調理キャベツ使い切り
1週間の使い切りプラン
11月
日月火水木金土12キャベツ3豆腐4豚こま56にんじん78まとめ買い910卵1112牛乳1314
05

ミホさんに刺さる設計

10分で決めたい人の、手を止めない作り方

ミホさんの困りごとと、機能の対応
ミホさんの困りごとと、機能の対応
ミホさんの平日と、アプリが入る場面
7:30 朝ドアを開けて1枚だけ撮る
12:10 昼休み今夜の3案が届く
18:20 スーパー卵は家にある、と分かる
19:10 調理期限が近い順に使う
21:30 就寝前明日の分を確認
通知は昼休みの1回だけ。夕方の忙しい時間には鳴らさない。
設計の原則(困りごと → だからこう作る)
手がふさがっている → 撮影は1回だけ帰宅直後はバッグと買い物袋で両手が埋まる。登録も手入力も作らない。入口
売り場で思い出せない → 1タップで在庫買い物中は「家にあるもの」の一覧だけを開く。見るのに2秒かからない。買い物
平日は10分しかない → 献立は3案まで選択肢が多いと決められない。10分以内で作れる順に並べる。献立
捨てて落ち込む → 責めない言葉捨てた記録は赤くしない。「次は半分の量で買ってみませんか」と添える。言葉
よくある在庫アプリと、ミホさん向けの作り
よくある在庫アプリワンショット献立
入口バーコードか手入力ドアを開けて1枚
登録の操作1品ずつ(約20回)撮影1回
通知毎日の一斉通知期限前日の昼に1回
言葉づかい廃棄ロス・在庫不足そろそろ使い切りたいもの
料金の見せ方最初に年額を提示無料で試してから選ぶ
機能の優先度(刺さる度 × 作る手間)
刺さる
手間が大きい
あとで最初に作るやらないついでに写真から在庫リスト期限が近い順の通知使い切り献立3案売り場での在庫確認家族でリスト共有栄養バランス採点レシピ動画の連携
手間が小さい
刺さらない
採点やランキングは、忙しい日には負担になるので入れない。

今夜の分は、もう冷蔵庫の中にあります。ドアを開けて、1枚だけ撮ってください。

— ストア説明文の書き出し(案)
煽らず、できることだけを書く。「節約」「ロス削減」といった言葉は後ろに回す。
06

最初の1枚まで

開いてすぐ、ドアを開けた写真が在庫リストになる

初回体験のストーリーボード
初回体験のストーリーボード
カメラの許可は「撮る」を押す直前に1行の理由つきで聞く。登録と好みの入力は、最初の在庫リストが出たあと。秒数はすべて想定。
最初の30日(すべて想定)
100%
インストール
88%
初回設定の完了
66%
最初の在庫リストが出た
41%
7日目に再訪
24%
30日継続
ミホさんが「撮るだけで在庫が並ぶ」と感じるのは最初の1枚。ここを66%(想定)まで引き上げるのが初週の目標。
最初の7日間に出すもの
1週目
日月火水木金土11枚撮る2朝の差分3今夜の1案4期限が近い順5買い物前に在庫67たべきり案内
通知は昼休みに1日1回まで(目標)。有料の「たべきり」は、3回目の献立が出たあとの7日目に1度だけ見せる。初回には出さない。
つまずきどころと手当て
庫内が暗くて奥が写らない → 撮る前に明るさを1行で知らせる「手前の棚が写れば十分です」と見せる。奥の物は2回目の撮影で足せる。撮影
カメラ許可の理由が分からない → 撮る直前に1行「食材を数えるためだけに使います。写真は端末の外に出しません」と添える。許可
初回は在庫が少なく見える → 足りない分を責めない「見つかった品」だけを出し、見落としは「あとで足せます」と書く。初回の学習
最初に求めないこと
  • 食材の手入力写真1枚だけで始める
  • 好みや家族構成の登録最初の献立が出たあとに1問だけ
  • 会員登録在庫リストが出たあと
  • 通知の許可期限が近い品が出た日に1度だけ頼む
  • 長い使い方スライド画面の中の1つのボタンだけ
07

仕組み

写真1枚がレシピになるまで

1枚の写真から読み取るもの
1枚の写真から読み取るもの1ミニトマト 42卵 83豆腐 24キャベツ5きんぴら(作り置き)6牛乳7ジャム
ピンは検出結果のイメージ。ドアポケットの瓶はラベルの文字も読む。
ソフトの層
アプリ撮影・在庫リスト・献立カードSwift / Kotlin
献立をつくる在庫と期限と好みから3案Qwen3.5
期限を読む切り出した画像の印字を読むGLM-OCR
切り出して数える1個ずつのマスクSAM 3
探す食材の語彙で検出Grounding DINO
1回の撮影で起きること
1回の撮影で起きること
在庫の判定ルール
在庫の判定ルール
食材ひとつの一生
食材ひとつの一生
写真から献立までの絞り込み(例)
41件
検出した物体
29件
食材と判定
23件
重複を除いた在庫
4件
期限が近い
3件
献立に使う
データはどこまで出ていくか
クラウド(使わない)
献立(共有してもいい)
在庫リスト(家族と同期)
写真(端末内のみ)
写真は端末の外に出さない。共有するのは文字の在庫リストだけ。
1回の処理時間(目標)
検出0.6秒
切り出し0.9秒
OCR1.2秒
献立3.5秒
合計6.2秒
Mac(Apple Silicon)での目標値。献立は撮影直後でなく、開いたときに作ってもいい。
試作に使う機材
試作
iPhone 実機撮影と表示
Android 実機低スペック確認
MacMLX で推論
RTX4080語彙の追加学習
RunPod評価をまとめて回す
どこで推論するか
スマホMacRunPod
速さ○◎◎
プライバシー◎◎△
料金◎◎△
大きいLLM×○◎
外出先で◎×○
在庫リストの中身
在庫 11/18 18:52
キャベツ 1/2 …… 残1日急ぎ
豆腐 1丁 …… 今日まで急ぎ
豚こま 200g …… 残2日
卵 8個 …… 残5日
にんじん 2本 …… 残4日
牛乳 1/2 …… 残3日
きんぴら …… 作り置き
08

効果

捨てる量と、考える時間が減る

3か月後の目標
-60%捨てる食材期限切れと忘れを減らす
10分献立が決まるまで以前は約30分
0回二重買い売り場で在庫を確認
¥3,000月の食費の削減4人家族の想定
月あたりの廃棄量(想定)
  • 使わない場合
  • ワンショット
捨てやすい曜日と食材(想定)
月火水木金土日葉物豆腐肉乳製品作り置き
週末にまとめ買い → 木・金に期限が集中する。
使い切れた食材
91%導入3か月で、買った食材の91%を使い切る(目標)
冷蔵庫の見える化
85%
在庫を把握できている割合
好循環
使い切れる
撮るだけ
在庫が分かる
期限順に作る
必要な分だけ買う
冷蔵庫に余白
手間と効果
▲
手間
  • 1日1回の撮影
  • 最初に好みを登録
効果
  • 在庫入力ゼロ
  • 期限切れが減る
  • 献立を考えなくていい
  • 二重買いがなくなる
09

お代の頂き方

減った食費の、ほんの一部だけをいただく

お金と価値の流れ
お金と価値の流れ
料金プラン(想定)
無料1日1回の撮影・在庫リスト・献立1案。期限の通知は画面内だけ。0円
たべきり献立3案・期限前日の通知・売り場での在庫確認。年払いで3,800円(想定)。月380円(想定)
家族最大4人でリストと買い物メモを共有。夫婦で二重買いを防ぐ。月580円(想定)
ミホさんは卵と豆腐を月に1,000円ぶんほど捨てている(想定)。月380円は、その3分の1ほど。
収益の柱(想定)
4本
  • サブスク62%
  • 買い物リスト連携の紹介料20%
  • 自治体の食品ロス事業10%
  • 家電メーカーとの連携8%
広告と、個人の購買データの販売には頼らない。広告は「使い切る」という目的と食い違うため。
ユニットエコノミクス(すべて想定)
月420円1人あたり売上(ARPU)有料と紹介料の合算
6%無料→有料の転換導入30日後
3.5%月の解約率年払いが多いほど下がる
約8,400円LTV(粗利ベース)約28か月の利用
600円獲得単価(CAC)スーパー店頭の案内が中心
約5,000人損益分岐の有料利用者月の固定費 150万円
月次の売上と費用の見込み(想定)
  • 売上
  • 費用
12か月目の前後で月次の黒字化を目指す(目標)。
1人あたりの月の原価(想定)
端末内で推論(本案)4円
ストアの手数料57円
サポート・決済20円
全部クラウドの場合(比較)160円
検出・OCR・献立を端末内で動かすので、サーバー代がほぼかからない。無料プランを置けるのはこのため。
10

つくる

8週間で家族に渡せる形にする

試作の計画
W1W2W3W4W5W6W7W8
食材の語彙をつくる
DINO + SAM 3 で検出
期限OCR
在庫の差分ロジック
献立LLM
iPhone アプリ
家族で2週間試す
最初の1週間でやること
  • 自宅の冷蔵庫を30日撮る朝晩の2回
  • 写っている食材に名前を付けるまず50品目
  • grounding-dino-tiny を Mac で動かす語彙を渡して精度を見る
  • SAM 3 で卵と豆腐を数える重なりに強いか
  • 期限の印字を100枚読ませるGLM-OCR
月の運用コスト(想定)
¥1,200
  • RunPod 評価600円
  • Apple Developer400円
  • ストレージ200円
リスク
影響大
起きにくい
対策を用意最優先で潰す様子見慣れで解決奥の食材が写らない期限の読み違い撮り忘れ照明で色が変わる写真の流出
起きやすい
影響小
広がり
広がり
試作の仕様
入力
冷蔵庫の写真 1枚(ドア開け)
出力
在庫リスト・期限・献立3案
処理
すべて端末内(写真は外に出さない)
端末
iPhone 15 以降 / Android 8GB 以上
目標時間
撮影から在庫まで 3秒
その先
その先
冷蔵庫の扉に小さなカメラを付ければ、撮る手間もなくなる。