NVIDIA Nemotron 3.5 Transcribeの使い方——日本語の文字起こし・翻訳・話者分離を1つで、試し方と必要なGPU

コラム

NVIDIAは2026年10月28日、録音された音声を文字にする「文字起こし」、別の言語に置き換える「翻訳」、誰が話したかを分ける「話者分離」を1つでこなすAIモデル「Nemotron 3.5 Transcribe(ネモトロン3.5トランスクライブ)」を発表しました。

モデルの中身にあたる「重み」が公開されたオープンウェイトのモデルで、ダウンロードして自社のパソコンやサーバーで動かせます。料理にたとえると、お店の料理を食べるだけでなく、レシピごと持ち帰って自分の台所で作れるイメージです。

対応言語は40で、日本語も文字起こし・英語との翻訳・話者分離のすべてに対応しています。この記事では「結局どうやって使うのか」を中心に、試し方、必要なパソコンやGPU、日本語で使うときの注意点を、公式情報をもとにわかりやすく整理します。

公式Xで公開された紹介動画

NVIDIAのAI公式アカウント(@NVIDIAAI)が発表に合わせて投稿した紹介動画です。投稿文では「全員が同時に話していても、誰が何を言ったかを追い続ける様子」を見せるとしています。

公式の紹介動画

NVIDIA Developer公式YouTubeチャンネルが公開したショート動画「Meet NVIDIA Nemotron 3.5 Transcribe」(約53秒)です。

Nemotron 3.5 Transcribeとは?——文字起こし・翻訳・話者分離を1つにまとめた音声AI

これまで会議の録音を議事録にするには、文字起こし用、話者を分ける用、翻訳用と、別々のAIを組み合わせるのが一般的でした。Nemotron 3.5 Transcribeは、それを1つのモデルにまとめ、「この録音を文字起こしして話者ごとに分けて」「英語に翻訳して」と文章で指示するだけで作業を切り替えられます。

できることは、話した通りの文字起こし(えー、あのー等も残す)、読みやすく整えた文字起こし、社名や専門用語のリストを渡して正しく書かせる「用語ヒント付き」文字起こし、最大8人までの話者ラベル付け、単語ごとの時刻(タイムスタンプ)、言語の判定、録音の内容への質問応答などです。なお音声への質問応答などの「理解」系の評価は英語のみで行われています。

規模は全体で340億パラメータ(音声を聞き取る部分を含む)ですが、1回の処理で実際に働くのは約43億だけです。大病院に多くの専門医がいても、患者ごとに必要な数人だけが診察に入るような仕組み(MoE)で、大きさの割に軽く速く動きます。録音は最長1時間まで扱えますが、録り終えた音声を処理する「オフライン専用」で、通話をその場で字幕にするようなリアルタイム用途向けではありません。

精度は、NVIDIAがHugging Faceのモデルカードで公開した比較で、複数の項目で1位とされています(WERやcpWERは「100語あたりの間違いの割合」で、低いほど優秀)。

テスト(低いほど良い)Nemotron 3.5 Transcribe次点のモデル次点の数値
複数話者の文字起こし(AMI・CALLHOMEなど4種の平均 cpWER)★ 15.80DiCoW v3.3 + DiariZen16.83
英語の文字起こし(Open ASR Leaderboard 公開9セット平均 WER)★ 4.71Qwen3-ASR-1.7B4.94
長い録音の英語文字起こし(Open ASR 長尺 平均 WER)★ 10.98Parakeet-TDT-0.6B-v313.37
多言語の文字起こし(Multilingual Open ASR 7言語平均 WER)★ 4.62Qwen3-ASR-1.7B6.49

★と色付きは各テストの1位です(数値はNVIDIAがHugging Faceのモデルカードで発表、2026年10月12日時点の集計)。英語・長尺・多言語の3項目は「オープンウェイトモデルの中での比較」です。

このほかNVIDIAのブログでは、Hugging FaceのOpen ASRリーダーボード(英語)でオープンウェイトモデル中1位(平均WER 5.33%)、第三者評価のArtificial Analysisでオープンウェイトモデル中2位(AA-WER 約2.8%)と紹介されています。集計方法が違うため、モデルカードの4.71%とは数値が異なります。

どうやって使う?——試し方は「ブラウザのデモ」「クラウドAPI」「自分のGPUで動かす」の3通り

使い方は、手軽な順に大きく3つあります。プログラミングをしない人は、まず1つ目のデモで「自分の業務の録音でどこまで使えそうか」の感触をつかむのがおすすめです。

  • ブラウザのデモで試す(いちばん手軽):Hugging Face上の公式デモ「NVIDIA Nemotron Transcribe Demo」を開くだけで、映画・ポッドキャスト・歌などのサンプル音声で、話者ラベル付きの文字起こしや字幕、音声への質問を体験できます。公開デモなので、社外秘の録音は入れないようにしましょう。
  • クラウドのAPIで使う:NVIDIAのブログでは、Baseten・DeepInfra・Simplismartといった事業者のホスティング版が案内されています。モデルカードの公開先にはNVIDIAのAI配信サイト「build.nvidia.com」も挙げられています。自社でGPUを用意せず、システムから呼び出して使う形です。料金や日本からの申込条件は各社の案内を確認してください(NVIDIA側の提供ページの詳細と料金は未公表)。
  • 自分のGPUで動かす(データを外に出さない):Hugging Faceのモデルページから重みをダウンロードし、vLLM(AIを高速に動かす定番ソフト)、SGLang-Omni、Hugging Face Transformers、またはパソコン向けのNeMo-Speech.cppで動かします。インストール手順はコマンドが多いため、モデルカードの「Environment Setup」とNeMo-Speech.cppのREADMEに沿って、エンジニアに依頼するのが確実です。

3つ目の「自分で動かす」場合、vLLMで起動すると、ChatGPTのAPIと同じ形式で呼び出せる窓口ができます。そのため既存の社内ツールにつなぎ込みやすいのが利点です。公式の基準構成は「NVIDIA H100(80GBメモリ)1枚」で、主な対応GPUは次の通りです。

GPU・機器対応する精度(重みの形式)補足
H100 / H200BF16、FP8公式の基準構成はH100 80GB×1枚
A100 80GBBF16
L40S 48GBFP8
B200 / GB200 / GB300 DGX StationBF16、FP8、NVFP4データセンター・大型ワークステーション向け
RTX PRO 6000 Blackwell Server EditionBF16、FP8、NVFP4NeMo-Speech.cppにも対応
DGX Spark(GB10)/ Jetson ThorBF16、FP8、NVFP4卓上・組み込み機器
GeForce RTX 5090NVFP4のみNeMo-Speech.cppならWindowsでそのまま動作

BF16・FP8・NVFP4は、重みをどれだけ「圧縮」して持つかの違いです。写真の画質を落としてファイルを小さくするのと同じで、FP8やNVFP4は必要なメモリが減る代わりに、精度がわずかに下がることがあります。OSはLinuxが基本で、WindowsはWSL2経由、またはNeMo-Speech.cppでの直接実行になります(NVIDIAのモデルカード記載)。

NeMo-Speech.cppは、パソコンで動かすための軽量版の実行ソフトです。既定の設定は32GBメモリのGPUに収まるよう作られています。GPUがなくてもCPUで動かせますが、速度は大きく落ちます。この形式(GGUF)のファイルは、公開されているBF16版から付属の変換ツールで作る手順になっています。

速度については、NVIDIA独自の最適化を入れた「Nemotron Transcribe NIM」をRTX PRO 6000 1枚で動かすと、1秒間に最大2,238秒分の音声を処理でき、30秒の録音なら0.13秒で結果が返るとされています。ただしこの最適化はまだオープンソースに含まれていません。発表時点で公開されたvLLM版は、およそ2倍遅くなる見込みと明記されています。

日本語で使うときのポイントと、商用利用・ライセンス

日本語は、40言語の中で「Production-ready(実務で使える水準)」に分類されています。文字起こし、英語との双方向の翻訳、複数話者の文字起こし、途中で別の言語が混ざる会話(コードスイッチング)のすべてに対応すると明記されています。最上位の「Leading」は英語・韓国語・ドイツ語など13言語で、日本語はその次の段階という位置づけです。

日本語のテスト(NVIDIA発表)結果見方
FLEURS 文字起こし(CER)4.42%100文字あたり約4.4文字の誤り。低いほど良い
CoVoST2 文字起こし(CER)10.61%低いほど良い
言語判定(FLEURS / VoxLingua107)100.00 / 100.00日本語だと正しく判定できた割合
翻訳 日本語→英語(FLEURS / CoVoST2, BLEU)23.00 / 28.93高いほど良い
翻訳 英語→日本語(FLEURS / CoVoST2, BLEU)29.73 / 29.92高いほど良い

日本語の複数話者の文字起こし精度は、モデルカードでは個別の数値が示されていません(未公表)。会議の議事録に使う場合は、自社の実際の録音で試してから判断するのが安全です。

使うときのコツは、指示文(プロンプト)の工夫です。モデルカードでは、作業ごとに次のような英語の指示文が例示されています。翻訳と文字起こしでは、システムプロンプト(AIへの前提設定)は空にし、指示はユーザーメッセージに書くよう案内されています。

やりたいこと指示文の例(公式モデルカードより・要約)
話した通りに文字にするAudio transcription. Language: as spoken. Wording: verbatim, including fillers and repetitions.
社名・専門用語を正しく書かせるTranscribe with punctuation and capitalization. Context terms: <用語リスト>.
誰が話したかを分ける… Put speaker tags <spk:0> <spk:1> … on the transcription.(単語の時刻も有効にする)
別の言語に翻訳するPlease translate the given speech to <target language>.

モデルカードによると、専門用語のテスト(ContextASR-Bench)で詳しい用語リストを渡すと、固有名詞の誤り率が12.21%から2.20%に下がりました。日本の会議なら、社名、製品名、参加者の名前をリストにして渡すだけでも効果が期待できます。また、パソコン向けのNeMo-Speech.cppの説明書には、短い録音では言語を「日本語」と指定するよう書かれています。指定しないと、別の言語で出力されたり翻訳されたりすることがあるためです。

ライセンスは「OpenMDW-1.1」で、モデルカードには「商用・非商用のどちらでも利用可能」と明記されています。自社サービスへの組み込みも想定された条件です。ただし、同梱される部品ごとの第三者ライセンスを守る責任は利用者にあるとされているので、本格導入の前には条文を確認しましょう。話者ラベルは「録音内で声を区別するもの」で、本人確認には使えない点も注意書きされています。

話者分離の部分には、以前当サイトで紹介した「NVIDIA Nemotron 3 Diarization」の技術が組み込まれています。パソコンで無料で使える他の文字起こしAIとの違いは「Macで無料の文字起こし比較——Qwen3-ASR・Cohere Transcribe・Whisper large-v3」も参考にしてください。

まとめ

Nemotron 3.5 Transcribeは、文字起こし・翻訳・話者分離・音声への質問を1つのモデルで、しかも指示文で切り替えられるオープンウェイトの音声AIです。日本語も実務水準として対応し、商用利用も可能です。

試すなら、まずはブラウザの公式デモで感触をつかみ、次にクラウドAPI、データを社外に出したくない場合は自社のGPUで動かす、という順番が現実的です。自前で動かす場合の目安はH100クラスのGPU 1枚で、RTX 5090などのパソコン向けGPUでは圧縮版(NVFP4)を使います。リアルタイム字幕には向かない点と、日本語の話者分離精度は自社の録音で確かめる必要がある点は押さえておきましょう。

参考リンク

この記事を書いた人
この記事を書いた人

毎日20時間以上AIの実践・研究に没頭するITエンジニア。20年以上にわたり、オンラインゲームや生活関連など幅広いジャンルのオウンドメディアで執筆・編集長を歴任。現在は上場企業グループの代表取締役を務め、複数の事業者団体で理事を兼務する経営者でもある。テクノロジーの最前線に身を置きつつ、地域の商店街や神社の運営にも深く携わるなど、地域活性化にも尽力。圧倒的な現場経験とITの専門知識、経営者の視点から、信頼性の高い有益な情報を発信している。
Olive株式会社 代表取締役

tanakaをフォローする
コラム
シェアする
tanakaをフォローする

コメント

タイトルとURLをコピーしました