子供の無意識の行動(音声と位置情報)をAIが解釈し、子供の視点に立った“絵日記”として自動生成するスマートフォン用Webアプリ
子供の**無意識の行動(音声と位置情報)**をAI
が解釈し、**子供の視点に立った“絵日記”**として自動生成するスマートフォン用Webアプリ
つながり ✖ Tech
共働き家庭の増加による親子間のコミュニケーション時間の減少
3歳〜10歳のお子さんを持つ共働き世帯の親(特に子育て中のデジタルネイティブ世代)
共働き家庭における親子間のコミュニケーション減少という課題を解決するために,以下の3つの機能を実装した.
- 音声と位置情報から活動イベント推定
子供の無意識な音声と位置情報を活用し,生成AI
が**「〇〇公園で遊んだ」,「〇〇保育園で絵を描いた」**といった具体的な活動イベントを推測 - 生成AIによる絵日記作成
推定されたイベントから重要な項目を抽出し、子供が描いたような優しい絵と、子供が書いたような温かい文章で構成される絵日記を自動生成する.これにより,親は子供の日常を楽しく振り返ることができる. - 家族間の共有機能
生成された絵日記はWebアプリ上のカレンダー上で簡単に閲覧・共有でき,遠方の親戚や単身赴任の方とも子供の成長を分ち合うことができる.
家族の温かさが感じられるようなUI設計に加え,子供がクレヨンで描く絵の質感や子供が書くような文字を再現した.
子供がクレヨンで描く絵の感じと,子供が書く字を再現
生成AI
を3回使用しても平均処理時間30秒
,長くても1分
以内という絵日記生成処理を実現
生成AI
を複数回使用する複雑な処理にも関わらず,プロンプトを高度に工夫することで,出力される文章の体裁や文字数,絵のスタイルなどのどの条件も常に安定して生成可能
データベースの行数にもよるが,生成AI
を3回使用で平均処理時間30秒
,長くても1分
程度の速さ
- 具体的なコミュニケーションの提供
- 大きなイベントではない日常的な子供の成長の記録
- 家族だけでなく親戚にも共有することで,遠く離れていても身近に感じることが可能
- 共働きを家庭だけでなく,高齢者の見守りや認知症の方の活動記録など,対象人物の拡大
- リアルタイム見守り機能の実装
- 子供の感情解析に基づく絵日記の最適化
生成AI
を複数回使用しても,同じような条件の出力(文章の体裁や文字数)を再現するためのプロンプト- 子供が書いたような絵日記の生成
- 位置情報(緯度経度)から周辺にある施設(「〇〇公園」「△△保育園」)への変換
Chat GPT
:モデルの種類が他のAI
より豊富Google Map
:位置情報を取得するのに最適で,広く使われている
- フロントエンド
HTML
,CSS
:開発初心者が扱いやすい言語であるため,また,JavaScript
と相性が良いためJavascript
:カレンダーのスワイプを実装したいと考えたため
- バックエンド
php
:データベースとの連携のしやすさや環境構築が容易であるためSQL
:データベースが必要であるため
- スマートフォン
-
位置情報から「行動文脈」を自動生成する推定エンジン 概要:単なる
GPS
座標の羅列を**「いつ,どこで,何をしていたか」という具体的な『行動文脈』**に変換する独自開発の推定エンジン.以下の3つの機能で構成される.- 行動セグメンテーション:
GPS
からの「滞在・移動」の自動抽出
子供のスマートフォンから得られる位置情報は,そのままでは意味のない座標の連続であるため,時系列データにおける座標間の距離と経過時間を解析し,子供の行動を**「移動」と「滞在」の行動セグメントに自動で切り分けるアルゴリズムを実装.これにより,ノイズの多いデータから「〇〇にいた時間」,「××へ向かっていた時間」という行動の基本単位を正確に抽出**可能になる. - セマンティックラベリング:滞在地点への「意味」の自動付与
抽出した「滞在」セグメントが「どのような場所か」を特定するために,
Google Places API
と連携させた.これにより,緯度経度情報から最も可能性の高い施設名(例:「〇〇公園」「△△保育園」)を自動で取得し,行動セグメントに意味を付与する.これにより,「座標(xx.xxx, yy.yyy)に30分滞在」という無機質なデータが,「〇〇公園に30分滞在」という保護者にとって理解しやすい情報に変換される. - シミュレーションによる高精度なアルゴリズム検証
実環境のGPS
データはノイズが多く,アルゴリズムの検証が困難であるため,Leaflet.js
を用いて「自宅→施設→自宅」のような仮想的な行動シナリオをシミュレートする検証環境を独自に構築.このシミュレーションにより,様々な移動速度や滞在時間におけるアルゴリズムの挙動を可視化・分析し,滞在判定の閾値などを最適化.これにより,実際の子供の多様な行動パターンに対応できる,再現性と精度の高い行動推定を実現.
- 行動セグメンテーション:
-
独自の多段階プロンプトエンジニアリング 安定した絵日記生成を実現するための複数ステップにわたる
ChatGPT
のプロンプトチェーンの設計と調整
左画像:ホーム画面,右画像:右画像の「絵日記を書く」ボタンを押下後,音声データを記録し,表示する画面
左画像:カレンダー(絵日記が生成された日付にはチェックがつく),右画像:生成される絵日記の例
_.mp4
_.mp4
- [日野 快人]
- [古河 遼]
- [新 陸海]
- [河野 玲王]