稲葉 達郎 (Tatsuro Inaba) [English]

Tatsuro Inaba

Mohamed Bin Zayed University of Artificial Intelligence(MBZUAI)のNLP Departmentで博士課程1年生です(2025年8月入学)。 言語/音楽モデルの解釈可能性、学習ダイナミクス、学習データの保護等に興味があります。

News

  • 2025/08: MBZUAI NLP Department の博士課程に入学しました。
  • 2025/06: 九州大学で講演とチュートリアルを実施しました。 [talk slides]
  • 2025/03: 主著の preprint "How LLMs Learn: Tracing Internal Representations with Sparse Autoencoders." を arXiv に公開しました。 [arXiv]

経歴

学歴

  • 2025/08–現在: Ph.D. student, NLP Department,Mohamed Bin Zayed University of Artificial Intelligence(MBZUAI)
  • 2025/04–2025/08: 東北大学 大学院情報科学研究科 博士後期課程(2025年8月に退学)
  • 2023/04–2025/03: 京都大学 大学院情報学研究科 修士課程
  • 2019/04–2023/03: 京都大学 工学部電気電子工学科 学士課程

職歴

  • 2025/04–2025/08: 日本学術振興会 特別研究員(DC1),東北大学
  • 2024/12–2025/08: リサーチアシスタント,国立情報学研究所 大規模言語モデル研究開発センター
  • 2024/01–2024/02: Visiting Student,MBZUAI [blog]
  • 2023/11–2024/11: リサーチアシスタント,京都大学
  • 2023/09–2023/10: 開発インターン,Recruit Co., Ltd.
  • 2023/08–2023/09: リサーチインターン,Preferred Networks, Inc. [blog]
  • 2022/11–2023/07: リサーチエンジニア,DATAGRID Inc.

奨学金・受賞

  • 2025/04–2025/08: 日本学術振興会 特別研究員(DC1)(708/4959 = 14.3%)— 「音楽知識を有する記号音楽と言語のマルチモーダルモデルの作成」(退学に伴い終了)
  • 2024/08: 学生奨励賞,第141回 音楽情報科学研究発表会(SIGMUS)
  • 2023/08: 奨励賞(20/139 = 14.4%),NLP若手の会(YANS)第18回シンポジウム
  • 2023/03: 優秀賞(13/579 = 2.2%),言語処理学会第29回年次大会

出版物

Preprints

  • Ryosuke Takahashi, Tatsuro Inaba, Kentaro Inui, and Benjamin Heinzerling.
    "TopK Language Models."
    [arXiv]
  • Tatsuro Inaba, Kentaro Inui, Yusuke Miyao, Yohei Oseki, Benjamin Heinzerling, and Yu Takagi.
    "How LLMs Learn: Tracing Internal Representations with Sparse Autoencoders."
    [arXiv]

国際会議(査読あり)

  • Go Kamoda, Benjamin Heinzerling, Tatsuro Inaba, Keito Kudo, Keisuke Sakaguchi, and Kentaro Inui.
    "Weight-based Analysis of Detokenization in Language Models: Understanding the First Stage of Inference Without Inference."
    The 2025 Annual Conference of the North American Chapter of the Association for Computational Linguistics (NAACL 2025 Findings)
    [arXiv]
  • Tatsuro Inaba, Kazuyoshi Yoshii, and Eita Nakamura.
    "On the Importance of Time and Pitch Relativity for Transformer-Based Symbolic Music Generation."
    The 16th Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA 2024)
    [paper]
  • Tatsuro Inaba, Hirokazu Kiyomaru, Fei Cheng, and Sadao Kurohashi.
    "MultiTool-CoT: GPT-3 Can Use Multiple External Tools with Chain of Thought Prompting"
    The 61st Annual Meeting of the Association for Computational Linguistics (ACL 2023 Main)
    [code, arXiv, poster]

国内会議(査読なし)

  • 稲葉 達郎, 乾 健太郎, 宮尾 祐介, 大関 洋平, Benjamin Heinzerling, 高木 優.
    「スパースオートエンコーダーを用いた大規模言語モデルのチェックポイント横断分析」
    言語処理学会第31回年次大会.2025.
    [paper]
  • 鴨田 豪, Benjamin Heinzerling, 稲葉 達郎, 工藤 慧音, 坂口 慶祐, 乾 健太郎.
    「言語モデルのパラメータから探るDetokenizationメカニズム」
    言語処理学会第31回年次大会.2025.
    [paper]
  • 稲葉 達郎, 吉井 和佳, 中村 栄太.
    「音楽生成における時間と音高相対性の重要性」
    第141回 音楽情報科学研究発表会(SIGMUS).2024.
    [paper]
  • 稲葉 達郎, 清丸 寛一, Fei Cheng, 黒橋 貞夫.
    「大規模言語モデルに基づく複数の外部ツールを利用した推論フレームワーク」
    言語処理学会第29回年次大会.2023.
    [paper, poster]
  • 稲葉 達郎, 藤井 拓郎, 小原 涼馬, 柴田 幸輝.
    「三言語モデル寄れば文殊の知恵を」
    NLP若手の会(YANS)第18回シンポジウム,2023.
    [poster]

招待講演・学会活動等

  • 2025/06: 講演とチュートリアル(PyTorch / Transformer / Music Generation),九州大学 [talk slides]
  • 2025/03: 講演,東北大学 NLP グループ [slides]
  • 2024/08: 論文紹介.第16回 最先端NLP勉強会 [slides]
  • 2023/09: 学会記事:「大規模言語モデルに基づく複数の外部ツールを利用した推論フレームワーク」の研究自然言語処理 30巻 3号,pp.1100–1104 [paper]
  • 2023/08: 論文紹介.第15回 最先端NLP勉強会 [slides]