李研究室では、音声および言語を用いた人対人・人対機械のコミュニケーションを対象として、音声認識・音声対話・自然言語処理・音声インタラクション・アバターコミュニケーションに関する研究を行っています。機械による音声・言語・対話処理を軸とした知的情報処理(いわゆるAI)の技術発展、ならびに万人にとってより自然で使いやすい声やことばによるマンマシンインタフェースの高度な実現を目指して、理論に基づくものづくり、モノづくりの知見による理論の推進の両面を重視しながら、身近な話題から最新のトピックまで様々な研究に取り組んでいます。

主な研究トピック

  • 音声認識・音声合成
  • 音声対話システム
  • 自然言語処理
  • CGエージェントインタラクション
  • アバターコミュニケーション支援

李研は酒向研究室と共同で研究室を運営しています。また徳田・南角・橋本研究室と協力関係にあります。


研究室主催者

名古屋工業大学 教授

李 晃伸 / LEE Akinobu

名古屋工業大学 教授

1998年京都大学大学院修士課程修了.2000年同大学院情報学研究科博士課程短期修了.同年奈良先端科学技術大学院大学情報科学研究科助手.2005年より名古屋工業大学大学院工学研究科助教授,2007年,同准教授.2016年,同教授。主として音声言語理解・音声認識・音声対話システム・アバターコミュニケーションの研究に従事.博士(情報学).JSPS科研費,JST CREST,内閣府ムーンショット型研究開発等の研究開発プロジェクトおよび多くの共同研究に従事.電子情報通信学会,情報処理学会,日本音響学会,人工知能学会,ISCA,IEEE各会員.

コーディングを愛し、オープンソース活動に長年従事。 以下のオープンソースソフトウェア・CGアバターの主開発者でもある。

  • 連続音声認識エンジンJulius (1996~)
  • 音声インタラクション構築ツールキット MMDAgent (2011~)
  • 音声インタラクション・アバターツールキット MMDAgent-EX (2020~)
  • CGアバター ジェネ / うか (2023~)

最近のニュース・投稿


2018年度卒論発表が行われました

2018年度の卒業論文発表会が行われ、李・酒向研からは以下の8名が発表を行いました.

  • 水谷 生風樹「車載用音声対話インタフェースにおける状況およびタスクに基づく対話戦略の選択」
  • 加藤 修悟「ニューラル対話モデルへの検索型応答文選択およびリランキングの導入」
  • 鈴木 駿「超速音声インターフェースのためのニューラルネットワークを用いた早期確定」
  • 薮崎 祐貴「複数エージェントとの三者対話を用いたユーザ生成型音声対話システム」
  • 髙木 広大「個人の音楽的知識を考慮した協調フィルタリングによる楽曲推薦手法」
  • 福谷 和貴「メドレー作成のための高揚度変化を付与した楽曲構造解析」
  • 渡邉 樹里「バイオリンの初級者教育に有効な運指推定」
  • 安江 謙太「モーションキャプチャデータを用いた手話の非手指信号の基本要素抽出」

2019年度卒業論文発表会が行われました

2019年度の卒業論文発表会が行われました。李・酒向研からは以下の10名が発表を行いました。

  • 松岡 優太「楽曲の再生履歴情報を用いた GA による自動メロディ生成」
  • 中川 樹「ホルンを対象とした音響信号による音色悪化要因判別」
  • 尾関 日向「音楽音響信号を対象としたギターパートの分離」
  • 池田 将「対話的楽曲推薦を目的とした発話からの感情要素と感情強度推定手法」
  • 高井 幸輝「マルチコーパスおよびマルチラベルを用いた Pre-training Fusion による自発音声の感情分類」
  • 岡本 空大「ニューラルネットワークを用いた講演音声の自動発話印象推定における推定精度の向上」
  • 大平原 海斗「Weakly-labeled Data を用いた音響イベント検出」
  • 加藤 弘泰「音声対話システムにおけるユーザ話速およびコーパスに基づく話速制御」
  • 西山 達也「話者情報を用いたBERTによる複数人対話における応答選択」
  • 石島 侑弥「対話状態追跡における対話行為タグを用いた重要対話履歴抽出」

2019年度修士論文審査会が行われました

2019年度の修士論文審査会が行われ、李・酒向研からは以下の9名が発表を行いました。

  • 森 凜太朗「言語対の音素事後確率を用いた第二言語学習者の発音習熟度判別」
  • 降籏 暢基「擬人化エージェントを用いた情動表出による対話性認知の獲得」
  • 冨田 直希「頑健な音声対話システムのための言語情報と統計情報による対話シナリオ拡張」
  • 尾関 晃英「ニューラル対話システムにおける発話評価器を用いたスタイル性の高い応答文生成」
  • 田中 涼太「収束的- 拡散的デコーディングを用いた事実知識に基づく対話生成」
  • 神谷 祐太朗「バイオリンを対象とした楽譜情報からのビブラート予測」
  • 河島 有孝「コード認識による押弦絞り込みを取り入れた異弦同音を区別可能な演奏音からのタブ譜推定」
  • 谷口 拓海「音色とピッチの揺らぎを考慮した歌声区間推定」
  • NGUYEN TU NAM「転移学習と合成画像を用いた指文字認識」

DSTC8に参加してきました

ニューヨークで開かれた AAAI20/DSTC8 に参加し、以下の発表を行ってきました。

  • Tatsuya Nishiyama, Ryota Tanaka, Yuya Ishijima, Akinobu Lee, “Speaker-Aware BERT for Multi-Party Dialog Response Selection” In Proc. AAAI2020 Dialogue System Technology Challenge 8 workshop.

M2の田中涼太君の論文がComputer Speech & Languageジャーナルに採択されました

M2の田中涼太君の論文がC omputer Speech & Language ジャーナルに掲載されました。

Ryota Tanaka, Akihide Ozeki, Shugo Kato, Akinobu Lee, “Context and Knowledge Aware Dialogue System and System Combination for Grounded Response Generation” In Proc. Computer Speech & Language Journal, vol. 62, July 2020. http://www.sciencedirect.com/science/article/pii/S0885230820300036

当研究室からシンポジウムで3件の発表を行いました

第6回自然言語処理シンポジウムでは以下の2件の口頭発表を行いました.

  • 田中涼太,李晃伸「話題展開器を導入した外部知識に基づくニューラル対話モデル」
  • 尾関晃英,李晃伸「個別の発話スタイルを強調する Boosting Framework を用いた感情表現生成」

第21回音声言語シンポジウムでは以下のポスター発表を行いました.