【ChatGPT研究開発】ChatGPTをカスタムして業務効率を上げる！

こんにちは。ホライズンテクノロジー株式会社　広報担当です。
今回はホライズンテクノロジーにアルバイトとして入社されてから、大活躍されている伊藤さんと津留さんに「ChatGPTの研究開発」についてインタビューをしました！

ーー自己紹介をお願いします！

伊藤さん：
九州大学大学院 システム情報科学府修士1年の伊藤 龍之介です。
2022年10月より、ホライズンテクノロジーでアルバイトとして働いています。
大学院では、深層学習の性能解析手法について研究を行っています。

津留さん：
九州大学大学院 材料工学専攻修士1年の津留 一斗です。
2023年4月より、同じくホライズンテクノロジーでアルバイトとして働いています。
大学院では、機械学習を用いた役に立つ材料を探索し、実際に実験して性能を確かめる研究を行っています。

ーー業務内容を教えてください！

伊藤さん：
システムのバックエンド開発をメインに行なっています。
現在は、建設業向けの業務管理システムにAIを使った新機能の開発を担当しています。

津留さん：
主にChatGPTなどのLLMを個々の目的にあわせるように学習させるといった研究開発をしています。

ーーなぜ当社でアルバイトをしようと思われたんですか？

伊藤さん：
もともとIT企業に就職したいと考えており、実務経験を積みたいと思っていたところ大学の近くに未経験でも勉強しながら経験を積める会社があったので応募しました。

津留さん：
研究でコードを書くことがあり、それが楽しかったので実際に実務に生かせるようなアルバイトを探していたところ、同級生の唯人くんが働いているということを聞き、業務内容も楽しそうで生きた知識を学べそうだと思ったので入社しました。

ーー「ChatGPTの研究開発」とは主にどんなことをされているのでしょうか？

津留さん：
ChatGPTのAPIのファインチューニングやembeddingなどの手法を用いて、個々の要件に沿った回答が得られるようにカスタマイズするといったことをしています。

ーーファインチューニングやembeddingとは？

伊藤さん：
ファインチューニングは、実際に答えさせたいような文章を今あるChatGPTなどに追加で学習させることで、例えば、ある分野に対して正確な回答が得られるようになったり、人の口調を真似させたりすることができるというものです。

ファインチューニングがChatGPT自体に学習させるイメージなのに対して、embeddingは、事前に回答や質問の理解に役に立ちそうな文章を与えることで、あたかもChatGPTが専門性の高いように見せかける手法です。

【例】ChatGPTに「2024年問題とは」と質問した結果

【学習前】

【学習後】

ーーなぜ「ChatGPTの研究開発」をしようと思われたんですか？

津留さん：
ChatGPTをカスタムしていけば、より業務効率が上がるのではないかと考えたからです。
ChatGPTは一般的な知識を高いレベルで回答することが得意ですが、コールセンターや社内情報の共有など、ChatGPTが知り得ない情報に関してはもちろん回答を得ることはできません。
しかし、前述したような手法を用いることで、社内情報といった専門性の高い分野に関しても精度の高い回答を得ることができ、実務レベルでの運用が可能になるのではないかと思い試行錯誤を重ねています！

ーー各々の役割分担はどのようになっているのでしょうか？

津留さん：
自分がモデルを作って、実際に良い回答が得られているか検証を行って、

伊藤さん：
僕が津留さんに作ってもらったモデルを、実際のシステムに組み込むといった部分を担当しています。

ーー業務を行う中で難しかったこと、またそれをどう乗り越えたか、エピソードがあればお願いします。

伊藤さん：
はじめは、ファインチューニングでChatGPTのカスタマイズを行おうとしていたのですが、OpenAIが公開しているファインチューニングができるモデルはGPT-3までとなっていて、現在はGPT-3.5やGPT-4が主流となっているのでなかなか精度が出ず苦戦していました。
そこで、なにか解決策がないか調べていたところembeddingという手法に出会い、実際に実装してみるとファインチューニングよりも高い精度を出すことができました。

津留さん：
OpenAIから与えられたモデルの中でいかに高い精度を出せるかという部分に悩んでいました。例えば、embedding一つにしてもどのようにテキストを学習させるか、どの単位で学習させたい文章を区切るかなどが重要になってくるのですが、実際の精度は動かしてみるまでわからないんです。その中で、文章の区切り方をある程度意味のまとまった単位で学習させるなどの工夫をすることで比較的精度の高いモデルを得ることができました。

ーーこの業務のやりがいについて教えてください！

伊藤さん：
やっぱり、今一番盛り上がっている分野に取り組めるというのはテンションが上りますね（笑）

津留さん：
自然言語処理の分野は学術レベルでの論文が次々に出ていたりと、まさに最前線で研究が進められている分野です。日々情報が更新される中で自分がどのようにそれらの知識を活かすかという試行錯誤はすごくやりがいを感じます！

ーー業務のゴールと、これからの展望を教えてください！

津留さん：
ゴールは最強のChatGPTを創ることです！一からモデルを作ったりするのにも興味があるので、そういった検討の中でより理解を深め業務に活かしていけたらなと思います！

伊藤さん：
これからの展望としては、学習させるデータはどんどん蓄積されるものだと思うので、蓄積されるデータに対して継続的にモデルが更新されるような基盤を作ってみたいと思っています。

ーー今後どんな人と働きたいですか？未来の仲間に一言お願いします！

伊藤さん：
新しいことに挑戦したい！という熱意を持った人と働きたいと思ってます！
是非一緒にチャレンジしよう！

津留さん：
AIというまだ未開拓の領域が多い分野なので、上手くいかないことも多いです。
しかし、その中での試行錯誤や考える過程を楽しめるような人と、意見を交わしながら働けると楽しいだろうなと思います！興味のある方は是非ホライズンテクノロジーへ！

伊藤さん、津留さん、ありがとうございました！

お二人をはじめに、たくさんの優秀なアルバイトメンバーたちに弊社は支えられています。これからも業務を楽しみつつ頑張っていただきたいですね！

ホライズンテクノロジーではChat GPT手当があり、業務以外でもChat GPTを使用することができます。
他にも、勉強会参加支援制度・書籍購入制度・資格支援制度・Github Copilot支援制度などのさまざまな支援制度があります！

会社に興味をお持ちいただけましたら、ぜひお気軽にお問合せください！