Ubuntu 26.04 ＋ AMD ROCmでローカルLLM環境を作る

はじめに - ローカルLLMとは

LLM（Large Language Model）とは、ChatGPTやClaudeのような大規模言語モデルのことです。通常、これらはクラウド上のサーバーで動作しており、インターネット経由で利用します。

これに対してローカルLLMとは、自社や手元のPCやサーバー上にLLMの実行環境を構築し、クラウドを介さずに動作させる形態を指します。

なぜローカルで動かすのか

クラウド型の生成AIサービスは手軽に利用できる反面、法人利用においては以下のような課題が生じることがあります。

• 機密情報や社内文書をクラウドに送信することへのセキュリティ上の懸念
• API利用料などの従量課金コストの増大
• 社内文書を活用した高精度な応答（RAG）の検証

ローカルLLMはこれらの課題を解消する選択肢として、法人での生成AI活用において注目を集めています。

PoCから始める、というアプローチ

とはいえ、いきなり本番導入を目指すのはハードルが高いのも事実です。まずはPoC（概念実証）として、

• 自社業務に適したAIモデルの評価
• システムへの組み込み方法の検討

を目的とした小規模な検証から始めるのが現実的なアプローチです。このPoC段階であれば、使用するGPUのメーカーや性能に強いこだわりを持つ必要はありません。

Ubuntu＋AMD（ROCm）の選択

ローカルLLM環境の構築というと、NVIDIA製GPUを使った構成が主流です。しかし、以下のような理由から、Ubuntu 26.04ではAMD製GPUによる環境構築も有力な選択肢になってきました。

AMD GPUのコストパフォーマンス

AMD製のGPUは、上位機種でもNvidia製GPUより市場価格が低めで販売されています。

LLM環境構築のエントリーとして用いられるスペック帯として、VRAM 16GBを搭載した 各社の同クラスの最新GPUを例に挙げると、記事執筆時点（2026年7月）の市場価格は

• AMD Radeon RX 9070（VRAM 16GB）：約9～10万円台
• NVIDIA GeForce RTX 5070 Ti（VRAM 16GB）：約15万～19万円台

となっており、大きな価格差があります。

コストを抑えたPoCのスタートという点でも、AMD製GPUを選ぶ理由としては十分です。

Ubuntu 26.04 LTSでROCmが公式リポジトリに

AMD製GPUでAI環境を構築するにあたって、これまではROCmのインストールにAMDの外部リポジトリを手動で追加し、依存関係を手作業で管理する必要がありました。

Ubuntu 26.04では、CanonicalがAMDと連携し、ROCmをUbuntuの公式パッケージとして管理することで、apt install rocmの1コマンドで導入できるようになりました。

ROCmのインストールが大幅に簡略化されたことは、開発者にとって大きな魅力の一つです。

本記事では、実際に検証した手順をご紹介します。

検証手順

テスト環境

テスト環境の主なスペックは以下の通りです。

OS	Ubuntu Server 26.04
CPU	インテル® Core™ i5 プロセッサー 14500
メモリ	32GB
GPU	ASUS PRIME-RX9070-O16G-EVO
マザーボード	ASUS TUF GAMING B760M-PLUS

事前準備

ROCm公式ドキュメントおよび一般的なAMD GPU環境構築のベストプラクティスによると、ROCmを導入するために確認・変更が推奨されるBIOS設定がいくつか存在します。これらについて手元の環境を確認し、必要に応じて変更します。

項目	設定値
CSM	Disabled
Above 4G Decoding	Enabled
Resizable BAR	Enabled
IOMMU	Enabled

私の手元の環境では、これらの設定値はすべて推奨値で設定済でした。

対応GPUアーキテクチャの確認

接続したGPUがUbuntuから認識されているかを確認します。

lspci | grep -i amd

$ lspci | grep -i amd

0000:01:00.0 PCI bridge: Advanced Micro Devices, Inc. [AMD/ATI] Navi 10 XL Upstream Port of PCI Express Switch (rev 24)

0000:02:00.0 PCI bridge: Advanced Micro Devices, Inc. [AMD/ATI] Navi 10 XL Downstream Port of PCI Express Switch (rev 24)

0000:03:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Navi 48 [Radeon RX 9070/9070 XT/9070 GRE] (rev c3)

3行目に [Radeon RX 9070/9070 XT/9070 GRE] の表示があるので、OKです。

前提パッケージのインストール

以下のコマンドを実行してパッケージをインストールします。

sudo apt update
sudo apt install -y python3-setuptools python3-wheel

ユーザーグループへの追加

GPUデバイスへのアクセス権を付与するため、実行ユーザーをrenderおよびvideoグループに追加します。

sudo usermod -a -G render,video $USER
newgrp render

グループ追加後は、ログアウトして再ログインするかOSを再起動します。

ROCmのインストール

以下のコマンドを実行してROCmをインストールする。インストールには数分ほどかかる。

sudo apt install -y rocm

あわせて、GPU状態確認ツールamd-smiもインストールしておきます。

sudo apt install -y amd-smi

インストールを終えたら、OSを再起動します。

ROCmの動作確認

以下のコマンドを実行して、ROCmが認識しているGPUを確認します。

rocminfo | grep -A5 "Agent"

$ rocminfo | grep -A5 “Agent”
HSA Agents
==========
*******
Agent 1
*******
Name: Intel(R) Core(TM) i5-14500
Uuid: CPU-XX
Marketing Name: Intel(R) Core(TM) i5-14500
Vendor Name: CPU
—
Agent 2
*******
Name: gfx1201
Uuid: GPU-2e6d7b4c9aab5bf9
Marketing Name: AMD Radeon RX 9070
Vendor Name: AMD

Agent 2でRADEONが認識されているのが確認できました。OKです。

続けてGPUの動作状況を確認します。

sudo amd-smi

$ sudo amd-smi
+------------------------------------------------------------------------------+
| AMD-SMI 26.2.1+unknown amdgpu version: 7.0.0-27 ROCm version: N/A |
| VBIOS version: 00159113 |
| Platform: Linux Baremetal |
|-------------------------------------+----------------------------------------|
| BDF GPU-Name | Mem-Uti Temp UEC Power-Usage |
| GPU HIP-ID OAM-ID Partition-Mode | GFX-Uti Fan Mem-Usage |
|=====================================+========================================|
| 0000:03:00.0 AMD Radeon RX 9070 | 0 % 32 °C 0 38/230 W |
| 0 0 N/A N/A | 8 % 0.0 % 57/16304 MB |
+-------------------------------------+----------------------------------------+
+------------------------------------------------------------------------------+
| Processes: |
| GPU PID Process Name GTT_MEM VRAM_MEM MEM_USAGE CU % |
|==============================================================================|
| No running processes found |
+------------------------------------------------------------------------------+

GPU-Name列にAMD Radeon RX 9070が表示されており、GPUが正常に認識されています。あわせてVRAM_MEM列でVRAM容量が約16GB（16304 MB）検出されていることも確認できました。

さらに今回はこの環境にOllamaをインストールし、Dockerコンテナで構成したOpen WebUIを連携させて、日本語LLMモデルがスムーズに動作するところまで検証を完了しました。

まとめ

Ubuntu 26.04におけるROCmの公式リポジトリ化により、AMD製GPUによるローカルLLM環境の構築は大幅に敷居が下がりました。BIOSの設定確認など事前に確認すべき点はあるものの、OS上での手順は非常にシンプルです。

コスト面での優位性も踏まえると、PoC目的でのローカルLLM環境構築において、AMD製GPUによる構成は十分に検討に値する選択肢だと言えます。

一方で、環境構築には一定の手順と技術的な知識が必要であることも事実です。当社では、当社出荷PCにローカルLLM実行環境・WebベースのUI・動作確認済みのLLMモデルをあらかじめセットアップした状態でご提供するローカルLLM PoC環境セットアップサービスもご用意しています。構築の手間を省き、お客様が本来の検証・開発作業に素早く取り掛かれるようお手伝いします。

当社では、こうしたローカルLLM環境の構築にとどまらず、AI・IoT・ネットワークを組み合わせたソリューションをワンストップでご提供しています。GPUの選定から周辺インフラの整備、運用体制の構築まで、PoCの先を見据えたご相談も承っておりますので、ぜひAI・IoT・ネットワークのソリューションページもご覧ください。