Skip to content

jphacks/os_2509

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

45 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

『つながり日記』

子供の無意識の行動(音声と位置情報)をAIが解釈し、子供の視点に立った“絵日記”として自動生成するスマートフォン用Webアプリ

アプリのメイン画面


デモ動画 技術スタック


📖 概要

製品概要

子供の**無意識の行動(音声と位置情報)**をAIが解釈し、**子供の視点に立った“絵日記”**として自動生成するスマートフォン用Webアプリ

テーマ

つながり ✖ Tech

背景(製品開発のきっかけ、課題等)

共働き家庭の増加による親子間のコミュニケーション時間の減少

ターゲット

3歳〜10歳のお子さんを持つ共働き世帯の親(特に子育て中のデジタルネイティブ世代)

製品説明(具体的な製品の説明)

共働き家庭における親子間のコミュニケーション減少という課題を解決するために,以下の3つの機能を実装した.

  • 音声と位置情報から活動イベント推定
    子供の無意識な音声と位置情報を活用し,生成AIが**「〇〇公園で遊んだ」「〇〇保育園で絵を描いた」**といった具体的な活動イベントを推測
  • 生成AIによる絵日記作成
    推定されたイベントから重要な項目を抽出し、子供が描いたような優しい絵と、子供が書いたような温かい文章で構成される絵日記を自動生成する.これにより,親は子供の日常を楽しく振り返ることができる.
  • 家族間の共有機能
    生成された絵日記はWebアプリ上のカレンダー上で簡単に閲覧・共有でき,遠方の親戚や単身赴任の方とも子供の成長を分ち合うことができる.

✨ 特徴

特徴1:優しいUIと子供の感性再現

家族の温かさが感じられるようなUI設計に加え,子供がクレヨンで描く絵の質感子供が書くような文字を再現した.

特徴2:子供が自身で作成した絵日記を実際に読んでいるかのような体験の提供

子供がクレヨンで描く絵の感じと,子供が書く字を再現

特徴3:ストレスフリーな体験

生成AIを3回使用しても平均処理時間30秒,長くても1分以内という絵日記生成処理を実現

特徴4:AIプロンプトによる安定した高品質な絵日記生成

生成AIを複数回使用する複雑な処理にも関わらず,プロンプトを高度に工夫することで,出力される文章の体裁や文字数,絵のスタイルなどのどの条件も常に安定して生成可能

特徴5:処理時間の速さ

データベースの行数にもよるが,生成AIを3回使用で平均処理時間30秒,長くても1分程度の速さ


💡 解決出来ること

  • 具体的なコミュニケーションの提供
  • 大きなイベントではない日常的な子供の成長の記録
  • 家族だけでなく親戚にも共有することで,遠く離れていても身近に感じることが可能

🚀 今後の展望

  • 共働きを家庭だけでなく,高齢者の見守り認知症の方の活動記録など,対象人物の拡大
  • リアルタイム見守り機能の実装
  • 子供の感情解析に基づく絵日記の最適化

✏️ 注力したこと(こだわり等)

  • 生成AIを複数回使用しても,同じような条件の出力(文章の体裁や文字数)を再現するためのプロンプト
  • 子供が書いたような絵日記の生成
  • 位置情報(緯度経度)から周辺にある施設(「〇〇公園」「△△保育園」)への変換

🛠️ 開発技術

活用した技術:選定理由

API・データ

  • Chat GPT:モデルの種類が他のAIより豊富
  • Google Map:位置情報を取得するのに最適で,広く使われている

使用言語

  • フロントエンド
    • HTML, CSS:開発初心者が扱いやすい言語であるため,また,JavaScriptと相性が良いため
    • Javascript:カレンダーのスワイプを実装したいと考えたため
  • バックエンド
    • php:データベースとの連携のしやすさや環境構築が容易であるため
    • SQL:データベースが必要であるため

デバイス

  • スマートフォン

独自技術

ハッカソンで開発した独自機能・技術

  • 位置情報から「行動文脈」を自動生成する推定エンジン 概要:単なるGPS座標の羅列を**「いつ,どこで,何をしていたか」という具体的な『行動文脈』**に変換する独自開発の推定エンジン.以下の3つの機能で構成される.

    1. 行動セグメンテーション:GPSからの「滞在・移動」の自動抽出
      子供のスマートフォンから得られる位置情報は,そのままでは意味のない座標の連続であるため,時系列データにおける座標間の距離と経過時間を解析し,子供の行動を**「移動」と「滞在」の行動セグメントに自動で切り分けるアルゴリズムを実装.これにより,ノイズの多いデータから「〇〇にいた時間」,「××へ向かっていた時間」という行動の基本単位を正確に抽出**可能になる.
    2. セマンティックラベリング:滞在地点への「意味」の自動付与    抽出した「滞在」セグメントが「どのような場所か」を特定するために,Google Places APIと連携させた.これにより,緯度経度情報から最も可能性の高い施設名(例:「〇〇公園」「△△保育園」)を自動で取得し,行動セグメントに意味を付与する.これにより,「座標(xx.xxx, yy.yyy)に30分滞在」という無機質なデータが,「〇〇公園に30分滞在」という保護者にとって理解しやすい情報に変換される.
    3. シミュレーションによる高精度なアルゴリズム検証
      実環境のGPSデータはノイズが多く,アルゴリズムの検証が困難であるため,Leaflet.jsを用いて「自宅→施設→自宅」のような仮想的な行動シナリオをシミュレートする検証環境を独自に構築.このシミュレーションにより,様々な移動速度や滞在時間におけるアルゴリズムの挙動を可視化・分析し,滞在判定の閾値などを最適化.これにより,実際の子供の多様な行動パターンに対応できる,再現性と精度の高い行動推定を実現.
  • 独自の多段階プロンプトエンジニアリング 安定した絵日記生成を実現するための複数ステップにわたるChatGPTプロンプトチェーンの設計と調整


🖼️ スクリーンショット

ホーム画面 音声記録画面

左画像:ホーム画面,右画像:右画像の「絵日記を書く」ボタンを押下後,音声データを記録し,表示する画面


カレンダー画面 絵日記の例

左画像:カレンダー(絵日記が生成された日付にはチェックがつく),右画像:生成される絵日記の例

🖼️ デモ動画

_.mp4

🖼️ デモ動画_解説版

_.mp4

👥 チームメンバー

  • [日野 快人]
  • [古河 遼]
  • [新 陸海]
  • [河野 玲王]

About

No description, website, or topics provided.

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Contributors 4

  •  
  •  
  •  
  •