24時間AIハッカソンに出場してきました！

みなさん、こんにちは！
dual＆Co.採用広報です。

先日弊社エンジニアメンバーが「第一回 AI フェスティバル Powered by GALLERIA」に出場しました！

その様子をお伝えできればと思います、是非最後までご覧ください！

【第一回 24時間AIハッカソン】

24時間AIハッカソンとは...?

『AIをもっと身近に、もっと楽しく感じてもらう』ことを目的としたリアルイベント

▽今回参加したサードウェーブさん主催の第１回AIフェスティバルPowerd by GALLERIAの詳しい詳細はこちらの記事をご確認ください！

前日に発表された「楽」というテーマをもとに24時間で新しいプロジェクトを開発するものになっています！

参加チームは合計で９チームでした！

▮審査員

　■慶応大学教授　　増井俊之さん
　■インテル　　　　安生健一朗さん
　■Microsoft　　　　千代田まどかさん

▮ルール

-　24時間で新しいプロジェクトを開発
-　テーマは当日開始と同時に発表
テーマ：「楽」
-　AIモデルを使用すること
-　発表時に動作する成果物を用意すること
-　プレゼンテーションは各２分間
-　時間になったら即座に終了
-　質疑応答は２分間

〇チームdual出場メンバー（メンバー紹介）

• 松川
• 大串　（過去にdual &Co.に在籍していたメンバー）
• 髙梨　（インターン生）

〇当日のタイムスケジュール

11月3 日（金）
10:30 ~ カフェに集合して作戦会議
11:30 ~ 受付
12:00 ~ AIハッカソン開始・テーマの発表（「楽」）
12:00 ~ 13:50 アイディア出し・実装の流れや担当範囲の整理
14:00 ~ 24:00 実装

1月4 日（土）
10:00  ~ 12:00 実装
12:00 ~ 開発・発表準備時間終了
12:15 ~ プレゼンテーション・審査会

〇チームdual　開発品

アプリ名：『Instrumental Sight』

▮内容

• 写真から楽器を生成
• 物体検知AIモデル（YOLO）を用いて写真内の物体を検知（デモでは3つ）
• 画像解釈AIモデル（CLIP）を用いて、物体に最も近い名前の楽器を紐付け
• 写真のなかをクリック・タップすると、その物体に応じた音が鳴る

▮概要
私たちの身の回りにある全てのものは固有の音を持っていて、それぞれが全て楽器になりうる(空き缶、ペットボトル、輪ゴム、etc.)

Instrumental Sight はそういった身の回りのものをAIで認識し、楽器として演奏することのできるweb アプリケーションとなっている。

▮システム概要

1. ユーザーがwebアプリで画像を送信
2. 送信した画像からYOLOで物体を検知
3. 検知した物体の画像がどの楽器に近いかをCLIPで計算
4. 最も近い楽器の音をその物体の音としてアプリで表示
5. 画像上の物体の場所を叩いて遊ぶ

◆審査員　質疑応答

音階は出せるのでしょうか？　　　
松川：音階も設定しています。ドレミファソラシドの７段階の音階に分けられています。また、物体の色で音階を判断しています。虹の色で設定をし、紫の色を「ド」赤色を「シ」の音で設定し、物体検知とは別で音階を設定しました。

弦楽器と管楽器などの割り当てや楽器の特定はどうしているのでしょうか。
髙梨：見た目がどんな楽器に近いかを判断して見た目だけで決めています。

開発で一番難しかった点がありましたらお聞かせください。
大串：バックエンドとフロントエンドの繋ぎこみが難しかったです。それぞれが作ったものを更にブラッシュアップしてまた直すという作業にむずかしさを感じました。

開発のこだわりポイントはどんなところですか。
松川：AIで「ラク」をするのではなく、「楽しい」を生み出すアプリを作りたかったんです。そのため、自分たちも「楽しい」を常に意識して作っていました！

〜開発時間中に、審査員の方々が個人的に各チームを回っていて、お話しする機会がありました！～

審査員　千代田さん：1週間前に出たばかりのNext.jsのv14を使っているのはかなり挑戦的ですね笑 

松川：使ったことはないけど24時間あるし、最新のもので作っちゃえという感覚でした笑
（心の声：ちなみに、最近というのは知っていましたが、1週間前に出たばかりなのは知らなかったです笑）

◆結果発表

なんとdualは準優勝に選ばれました！！！！

大会出場後のメンバーインタビュー

メンバーの松川にインタビューを行いました！

ー出場背景を教えてください。

社会人でも参加できるハッカソンに参加したいと思っていました。また、短い時間でアプリケーションを作り上げる経験をしてみたいという気持ちと、人前で発表する機会が欲しかったからです！そんな想いから、ハッカソンに参加しました。

ー出場までの準備していたことはありますか。

そんなに何もしてないです（笑）
ハッカソンのテーマは前日まで知らされないので、準備という準備は出来ないんです（笑）

ー準優勝おめでとうございます！準優勝を獲得できた秘訣を教えてください！

他のチームと方向性を差別化することを特に意識して作っていたので、正直、発表前に「結構いいところまで行く」という実感はありました。

「楽」というテーマだったので、おそらく他のチームは「ラク」＝効率化に着目するのではと考えていました。ですが、同じような考えになってしまうと埋没するのではないかと考え、私たちは「楽しい」と捉えてアプリを作りました。

自分がフロントエンド・他2人がバックエンドで1つずつAIモデルの実装を行ったのですが、チーム全員の持ち場を明確にでき、それぞれが役割を果たせたのではないかと思います。

ー出場されての感想や今後の目標など教えてください。

24時間帰らずにハードワークするのが楽しかったです（笑）
短時間で動作するものを作り上げられるという自信になったのではないかと思います。

AIモデルを直接使ったアプリ制作は初めてだったのですが、AIモデルを使うということへの心理的なハードルがなくなったのが一番の収穫でした。普段は１機能１人のアサインで、１からメンバーと並行して開発する経験がなかったので、タスクの重さなどを振り分けるのが特に難しいと感じました。

これを機に、今後も積極的にイベントや大会に出ていこうと思いました！
AIモデルを使ったアプリなど、どんどんチームで開発していきたいです！

ーありがとうございました！

▽松川個人X（旧Twitter）はこちらから

https://x.com/Kohei_dual/status/1720976414193901860?s=20

▽「第一回 AI フェスティバル（24時間AIハッカソン/第二回AIアートグランプリ） Powered by GALLERIA」の様子はこちらから

dual＆co.では、エンジニアを募集しています！
気になった方は、こちらからエントリーお願いします！是非お待ちしております！

エントリーはこちらから▼

インタビュー記事はこちらから▼