Hitoshi Matsuyama松山 仁

HCI × AI Researcher — SB Intuitions HCI × AI 研究者 — SB Intuitions

HitoshiMatsuyama 松山仁

I use data and AI to give structure to expert knowledge — so that people can understand it, check it, and act on it.

専門家の知識をデータとAIで構造化し、人が理解し、確かめ、活かせる形にする。

Across HCI research and data science — from ballroom dance and figure-skating judging to LLM-assisted writing.

HCI研究とデータサイエンスの両面から — 社交ダンスやフィギュアスケートの採点から、LLMによる文章作成支援まで。

Selected work研究事例を見る Publications業績一覧
NOW Presenting DocuDebug at UIST 2026 · Detroit · Nov 3 DocuDebug を UIST 2026 で発表 · デトロイト · 11月3日
Portrait of Hitoshi Matsuyama.
01

Selected work研究事例

Three projects at three scales — a document, a performance, a body. The interfaces below are re-created from the papers. Try them.

文書・演技・身体という3つのスケールの研究。各インタフェースは論文の図を元に再現したもので、実際に操作できます。

UIST 2026 Human–AI Co-creation LLM AI-Assisted Writing

DocuDebug

A Graph-Supported Interactive Editor for Verifying and Maintaining Internal Logical Consistency

Problem課題
One edit, many breaks. Change a single result and paragraphs pages away stop holding up. Ctrl+F finds words, not dependencies — and asking an AI to update the document rewrites paragraphs that were fine.
一つの修正が、多くの破綻を生む。結果を一つ変えるだけで、離れた段落の論理が崩れる。Ctrl+F は単語しか探せず、依存関係は見つけられない。AIに更新を頼めば、問題のない段落まで書き換えてしまう。
Approachアプローチ
Debug text like code. DocuDebug builds a semantic dependency graph of paragraphs and sources — the document’s abstract syntax tree — and runs a logic linter over it: deterministic errors from graph traversal, probabilistic warnings from an LLM. Every diagnostic is a suggestion; the writer decides.
文章をコードのようにデバッグする。段落と出典の意味的な依存グラフ（文書版の抽象構文木）を構築し、ロジックリンターを実行。グラフ探索による決定的なエラーと、LLMによる確率的な警告を区別して示し、最終判断は常に書き手が行う。
Result結果
In a within-subjects study with 12 professional writers against Google Docs with Gemini, edits to paragraphs that needed no change fell from 40.8% to 2.8%. Writers resolved warnings rather than clicking them away.
プロのライター・編集者12名による Google Docs + Gemini との被験者内比較で、修正不要な段落への編集が 40.8% から 2.8% に減少。書き手は警告を安易に消さず、一つずつ解決した。
  • 40.8%→2.8%unaffected paragraphs edited anyway修正不要な段落への編集
  • 94%of 84 diagnostics resolved in 30 min84件の診断のうち30分以内に解決
  • 169 smedian review before suppressing a warning警告を抑制するまでの検討時間（中央値）
  • n = 12professional writers and editorsプロのライター・編集者
Project pageプロジェクトページ Paper論文 Video動画 Slidesスライド Posterポスター
Editing paragraph 1 to say bulls don't hate red updates the semantic graph: paragraph 1 now contradicts its cited source, and paragraph 3, which argued 'because bulls hate red', loses its premise. The editor shows a red Broken Evidence error on paragraph 1 and a yellow Logic Leap warning on paragraph 3.
Edit, update the graph, debug the document. Editing paragraph 1 to “Bulls don’t hate red” makes it contradict its own source, and paragraph 3 loses its premise. DocuDebug surfaces both on the text: a red Broken Evidence error and a yellow Logic Leap warning. 編集 → グラフ更新 → 文書のデバッグ。段落1を「Bulls don’t hate red」に編集すると、段落1は自身の出典と矛盾し、段落3は前提を失う。DocuDebug はこれらを本文上に、赤の Broken Evidence（エラー）と黄の Logic Leap（警告）として示す。
Video figure

Details on the project page詳細はプロジェクトページへ

IUI 2023 Explainable AI Action Quality Assessment

IRIS

Interpretable Rubric-Informed Segmentation for Action Quality Assessment

Problem課題
AI judges for sports video output a single opaque score — useless to an athlete who needs to know what to fix.
スポーツ映像のAI採点は、根拠のない単一スコアを出すだけ。何を直すべきか知りたい選手には役に立たない。
Approachアプローチ
Mirror how human judges work. IRIS segments a figure-skating performance by the rubric, scores each element against its base value, adds program components, and sums them into the final score.
人間の審判と同じ手順をなぞる。フィギュアスケートの演技をルーブリックに沿って要素ごとに分割し、基礎点からの出来栄えを採点、演技構成点を加えて最終スコアを構成する。
Result結果
Outperformed non-interpretable state-of-the-art models. Practicing skaters agreed with its explanations, found them useful, and trusted the AI’s judgments more.
解釈性のない最先端モデルを上回る精度。現役スケーターは説明に同意し、有用と評価し、AIの判定をより信頼するようになった。

with Brian Y. Lim (National University of Singapore) Brian Y. Lim（シンガポール国立大学）との共同研究

ACM DL arXiv

Re-created from Fig. 3 of the paper. The broadcast video is replaced with an illustration of the skater’s path.論文の Fig. 3 を再現。放送映像はスケーターの軌跡のイラストに置き換えています。

IEEE Sensors J. 2021 Wearable Sensing 3D Pose Estimation

Deep Learning for Ballroom Dance Recognition

A Temporal and Trajectory-Aware Classification Model With Three-Dimensional Pose Estimation and Wearable Sensing

Problem課題
Existing dance recognition supports things like pose evaluation and foot timing, but detailed analysis and feedback are still missing. That requires understanding a performance at the level of its components — the figures.
既存のダンス認識はポーズ評価や足のタイミング合わせなどに使われてきたが、詳細な分析やフィードバックには至っていない。そのためには、演技を構成要素（フィガー）の単位で理解する必要がある。
Approachアプローチ
Formulate it as dance-figure classification from 3D body joints and wearable sensors, with an LSTM-based model that adds a trajectory-wise structure within each timestep and a temporal masking module.
3次元の身体関節とウェアラブルセンサからのダンスフィガー分類として定式化。LSTM をベースに、各タイムステップ内の軌跡情報を扱う構造と、時間方向のマスキングモジュールを組み込んだモデルを提案。
Result結果
93% accuracy — well above the baseline (84.7%) and very close to experienced dancers (93.6%). The ballroom dance performance dataset is open to researchers.
精度 93% を達成。ベースライン（84.7%）を大きく上回り、経験者ダンサー（93.6%）に迫る結果となった。社交ダンスの演技データセットは研究者向けに公開。
  • 93%figure classification accuracyフィガー分類精度
  • 93.6%experienced dancers経験者ダンサー

Kawaguchi Lab, Nagoya University名古屋大学 河口研究室

IEEE Xplore
fusion_viewer — pose × IMU

Simulated skeleton with accelerometer traces derived from its own joints.シミュレーションした骨格と、その関節から算出した加速度波形。

02

Publications業績

Peer-reviewed papers in HCI, ubiquitous computing, and sensing, plus domestic publications in Japanese.

HCI・ユビキタスコンピューティング・センシング分野の査読付き論文と、国内発表。

  1. 2026

    DocuDebug: A Graph-Supported Interactive Editor for Verifying and Maintaining Internal Logical Consistency

    Hitoshi Matsuyama, Keita Higuchi

    Proceedings of the 39th Annual ACM Symposium on User Interface Software and Technology (UIST ’26) to appear採録・発表予定

    UIST ’26
    Project DOI
  2. 2023

    IRIS: Interpretable Rubric-Informed Segmentation for Action Quality Assessment

    Hitoshi Matsuyama, Nobuo Kawaguchi, Brian Y. Lim

    Proceedings of the 28th International Conference on Intelligent User Interfaces (IUI ’23), pp. 368–378

    IUI ’23
    DOI arXiv
  3. 2022

    Smartphone Localization with Solar-Powered BLE Beacons in Warehouse

    Kazuma Kano, Takuto Yoshida, Nozomi Hayashida, Yusuke Asai, Hitoshi Matsuyama, Shin Katayama, Kenta Urano, Takuro Yonezawa, Nobuo Kawaguchi

    HCI International 2022, LNCS, pp. 291–310

    HCII ’22
    DOI
  4. 2021

    Deep Learning for Ballroom Dance Recognition: A Temporal and Trajectory-Aware Classification Model With Three-Dimensional Pose Estimation and Wearable Sensing

    Hitoshi Matsuyama, Shunsuke Aoki, Takuro Yonezawa, Kei Hiroi, Katsuhiko Kaji, Nobuo Kawaguchi

    IEEE Sensors Journal, 21(22), pp. 25437–25448

    IEEE Sens. J.
    DOI
  5. 2021

    A Gaze-Based Unobstructive Information Selection by Context-Aware Moving UI in Mixed Reality

    Nozomi Hayashida, Hitoshi Matsuyama, Shunsuke Aoki, Takuro Yonezawa, Nobuo Kawaguchi

    HCI International 2021, LNCS, pp. 301–315

    HCII ’21
    DOI
  6. 2020

    A Basic Study on Ballroom Dance Figure Classification with LSTM Using Multi-modal Sensor

    Hitoshi Matsuyama, Kei Hiroi, Katsuhiko Kaji, Takuro Yonezawa, Nobuo Kawaguchi

    Activity and Behavior Computing (ABC 2020), Smart Innovation, Systems and Technologies, pp. 209–226

    ABC ’20
    DOI
  7. 2020

    Nurse Care Activity Recognition Challenge: A Comparative Verification of Multiple Preprocessing Approaches

    Hitoshi Matsuyama, Takuto Yoshida, Nozomi Hayashida, Yuto Fukushima, Takuro Yonezawa, Nobuo Kawaguchi

    Adjunct Proceedings of UbiComp/ISWC ’20, pp. 414–418

    UbiComp ’20
    DOI
  8. 2020

    社交ダンスの動作特性を考慮したマルチモーダルセンサによるダンスフィガー認識

    松山 仁, 浦野 健太, 廣井 慧, 梶 克彦, 米澤 拓郎, 河口 信夫

    情報処理学会論文誌, 61(10), pp. 1591–1604

    IPSJ Journal論文誌
  9. 2020

    マルチモーダル社交ダンス認識における従来手法と深層学習の比較評価

    松山 仁, 廣井 慧, 梶 克彦, 米澤 拓郎, 河口 信夫

    情報処理学会 研究報告 ユビキタスコンピューティングシステム（UBI）, No. 32, pp. 1–2

    IPSJ UBI
  10. 2019

    Ballroom Dance Step Type Recognition by Random Forest Using Video and Wearable Sensor

    Hitoshi Matsuyama, Kei Hiroi, Katsuhiko Kaji, Takuro Yonezawa, Nobuo Kawaguchi

    Adjunct Proceedings of UbiComp/ISWC ’19, pp. 774–780

    UbiComp ’19
    DOI
  11. 2019

    Hybrid Activity Recognition for Ballroom Dance Exercise using Video and Wearable Sensor

    Hitoshi Matsuyama, Kei Hiroi, Katsuhiko Kaji, Takuro Yonezawa, Nobuo Kawaguchi

    Joint 8th ICIEV and 3rd icIVPR 2019, pp. 112–117

    ICIEV ’19
    DOI
  12. 2018

    Short Segment Random Forest with Post Processing Using Label Constraint for SHL Recognition Challenge

    Hitoshi Matsuyama, Kenta Urano, Kei Hiroi, Katsuhiko Kaji, Nobuo Kawaguchi

    Adjunct Proceedings of UbiComp ’18, pp. 1636–1642

    UbiComp ’18
    DOI
  13. —

    ランダムフォレストとルールベース処理を用いた大規模スマートフォンデータに対する行動認識

    浦野 健太, 松山 仁, 湯木 悠太, 野崎 惇登, 廣井 慧, 梶 克彦, 河口 信夫

    HCGシンポジウム

    HCG
03

Curriculum vitae経歴

Industry research and data science, an engineering doctorate, and a habit of entering (and winning) hackathons.

企業での研究とデータサイエンス、工学博士、そしてハッカソンやビジネスコンテストへの挑戦。

Experience職歴

  1. Present現在

    SB Intuitions Corp.

    Human–Computer Interaction research, focusing on LLM-assisted writing.

    LLMによる執筆支援を中心とした、Human–Computer Interaction の研究。

  2. Previously前職

    Recruit Co., Ltd.株式会社リクルート

    Data scientist developing recommender systems — data analysis, model development, pipelines, KPIs, and online evaluation.

    データサイエンティストとして推薦システムの開発に携わり、データ分析、モデル開発、パイプライン構築、KPI、オンライン評価などに従事。

  3. 2021 →

    National University of Singaporeシンガポール国立大学

    Research intern with Brian Y. Lim — explainable AI for action quality assessment.

    研究インターン（Brian Y. Lim 研究室）— Action Quality Assessment のための説明可能AI。

Education学歴

  1. 2020–2022

    Ph.D. in Engineering博士（工学）

    Information and Communication Engineering, Nagoya University. Conferred Sept. 2022.

    名古屋大学 大学院工学研究科 情報・通信工学専攻。2022年9月 学位取得。

  2. 2018–2020

    M.Eng.修士（工学）

    Information and Communication Engineering, Nagoya University.

    名古屋大学 大学院工学研究科 情報・通信工学専攻。

  3. 2014–2018

    B.Eng.学士（工学）

    Information Engineering, Nagoya University.

    名古屋大学 工学部 情報工学。

Awards受賞

  • 2022 Outstanding Researcher — THERS Interdisciplinary Frontier Next Generation Researcher Program 優秀研究者 — THERS 学際フロンティア次世代研究者プログラム
  • 2020 1st Prize — PwC Analytics Hackathon 優勝 — PwC Analytics Hackathon
  • 2020 2nd Prize — Campus Venture Grand Prix (CVG), out of 260 teams 2位 — キャンパスベンチャーグランプリ（CVG）、260チーム中
  • 2020 NEDO Prize — Tongali Business Contest NEDO賞 — Tongali ビジネスプランコンテスト
  • 2020 SMBC Nikko Securities Prize — Tongali Business Contest SMBC日興証券賞 — Tongali ビジネスプランコンテスト

Programsプログラム・活動

  • 2022THERS Interdisciplinary Frontier Next Generation ResearcherTHERS 学際フロンティア次世代研究者
  • 2021Research internship, National University of Singaporeシンガポール国立大学 研究インターンシップ
  • 2020Summer Data Science Program (online), North Carolina State Universityノースカロライナ州立大学 Summer Data Science Program（オンライン）
  • 2018DII Collaborative Graduate Program for Accelerating Innovation in Future Electronics, MEXT & Nagoya University未来エレクトロニクス創成加速 DII 協働大学院プログラム（文部科学省・名古屋大学）

Skillsスキル

Languages言語
Japanese (native) · English日本語（母語）· 英語
Programmingプログラミング
Python · SQL · C
Methods手法
Interactive system prototyping · controlled user studies · deep learning for pose & sensor data · explainable AIインタラクティブシステムのプロトタイピング · ユーザ実験 · 姿勢・センサデータの深層学習 · 説明可能AI
04

Contact連絡先

Google Scholar LinkedIn