ローカルにDify+Langfuseを構築する

「DifyでチャットボットやAIワークフローを組んでみたけれど、実際にLLMへどんなプロンプトが渡り、どれだけトークンやコストを消費しているのか見えない…」と感じたことはありませんか?

そんなときに役立つのが、オープンソースのLLMOps・トレース監視ツール「Langfuse(ラングフューズ)」です。

ローカルPC(Docker環境)にDifyとLangfuseの両方を立ち上げて連携すれば、社外へ機密データやプロンプトを送信することなく、無料でLLMの入出力・トークン消費量・レイテンシ(応答速度)を可視化できます。

この記事では、Docker Composeを使ってローカル環境にDifyとLangfuseを構築し、トレースを連携させるまでの手順と、構築時にハマりやすいポイントをわかりやすく解説します。

この記事でできること

  • Docker環境でLangfuseとDifyをポート競合なしで同時起動できる
  • LangfuseのAPIキーを発行し、Difyの監視設定と連携できる
  • LLMの入出力ログ・トークン数・処理時間(レイテンシ)を画面で確認できる
  • host.docker.internal などのコンテナ間通信トラブルを自力で解決できる

前提環境と推奨スペック

DifyとLangfuseはどちらも複数のコンテナ(Webサーバー、ワーカー、データベース、キャッシュなど)で構成されるため、PCのメモリ容量に余裕がある環境が望ましいです。

  • OS:Windows 11(WSL2有効)/ macOS / Linux
  • 必須ツール:Git、Docker および Docker Compose(Windows / macOS は Docker Desktop 推奨)
  • 推奨メモリ(RAM):16GB以上推奨(Dockerへの割り当ては8GB〜12GB以上が快適)
  • ディスク空き容量:20GB以上推奨(Dockerイメージ・DBデータ保存用)
  • LLM APIキー:OpenAI、Gemini、Anthropic Claude などのAPIキー(またはローカルの Ollama)

メモリ8GB以下のPCを使っている場合
Dify単体でも複数コンテナが立ち上がるうえ、Langfuse(PostgreSQL・ClickHouse・Redis・MinIO・Web・Worker)を同時に動かすとメモリ不足で動作が重くなることがあります。
PCスペックに不安がある場合や、24時間稼働させたい場合は、クラウドやVPS環境での構築も検討してみてください。

構築手順:ローカルにDify+Langfuseを立てて連携する

構築は大きく分けて以下の4ステップで進めます。先にLangfuseを立ち上げてAPIキーを用意しておくと、Dify側の設定がスムーズです。

  • Step 1:Langfuseのローカル構築(Docker Compose)
  • Step 2:Langfuseの初期設定とAPIキー(Public / Secret Key)の発行
  • Step 3:Difyのローカル構築(Docker Compose)
  • Step 4:Dify側でのLangfuse連携設定とトレース確認

Step 1: Langfuseのローカル構築(Docker Compose)

まずは作業用のフォルダを作成し、Langfuseの公式リポジトリを git clone します。

git clone https://github.com/langfuse/langfuse.git
cd langfuse

デフォルトの docker-compose.yml では、Web画面(langfuse-web)がホストの3000番ポート(3000:3000)を使用します。

もしPC上でNext.jsやGrafanaなど別のアプリがすでに3000番ポートを使っている場合は、起動前に docker-compose.yml を開いてホスト側のポート番号を変更しておきましょう(例:3001番に変更)。

services:
  langfuse-web:
    image: docker.langfuse.com/langfuse/langfuse:${LANGFUSE_IMAGE_TAG:-4}
    ports:
      - "3001:3000"  # 左側(ホスト側)を3000以外に変更
    environment:
      # ポート変更時は langfuse-worker-env 側の NEXTAUTH_URL も合わせる
      NEXTAUTH_URL: http://localhost:3001

ポート番号を変えたら NEXTAUTH_URL もセットで変更!
ports だけ 3001:3000 に変えて NEXTAUTH_URL が http://localhost:3000 のままだと、ログイン時のリダイレクトが失敗します。必ずセットで書き換えてください。

また、ローカルでの動作確認だけであれば初期設定の環境変数でも起動できますが、外部ネットワークへ公開するサーバーで運用する場合は、docker-compose.yml 内に記載されている NEXTAUTH_SECRET・SALT・ENCRYPTION_KEY や各種DBパスワードを必ず強固なランダム文字列に変更してください。

設定が確認できたら、以下のコマンドでLangfuseを起動します。

docker compose up -d

初回はPostgreSQLやClickHouse、MinIOなどのイメージ取得とマイグレーションが走るため、1〜2分ほど待ちます。docker compose ps を実行し、各コンテナのステータスが running(または healthy)になっていればOKです。

Step 2: Langfuseの初期設定とAPIキーの発行

コンテナが起動したら、ブラウザで Langfuse の画面にアクセスします(ポートを変更していない場合は http://localhost:3000、3001 に変更した場合は http://localhost:3001)。

Langfuseのサインイン画面
  • 1. 画面下部の「Sign up」からローカル用の管理者アカウントを作成する(ローカルDBに保存されるだけなので自由なメールアドレス・パスワードでOK)
  • 2. ログイン後、画面の案内に従ってOrganization(組織)とProject(例:dify-local)を作成する
  • 3. プロジェクト画面の左メニュー下部から「Settings」→「API Keys」を開く
  • 4. 右上の「+ Create new API keys」をクリックし、生成されたPublic Key(pk-lf-...)とSecret Key(sk-lf-...)をコピーしてメモ帳等に控える
LangfuseのAPIキー発行画面(Secret KeyとPublic Key)

Secret Keyは作成直後しか表示されません
ダイアログを閉じると Secret Key(sk-lf-...)の全文は再表示できなくなります。必ずその場でコピーして保存してください。

Step 3: Difyのローカル構築(Docker Compose)

続いて、Langfuseとは別のフォルダに移動して、Difyの公式リポジトリをクローンし、環境設定ファイル .env を作成します。

cd ..
git clone https://github.com/langgenius/dify.git
cd dify/docker
cp .env.example .env

最新版の Dify(v1.20以降)では .env にローカルエージェント用のトークン設定欄(DIFY_AGENT_LOCAL_SANDBOX_AUTH_TOKEN)があるため、ランダムな文字列を生成して設定しておきます。あわせて、同一ホスト上のLangfuseへ通信できるように SSRF_PROXY_ALLOW_PRIVATE_DOMAINS=host.docker.internal も追記しておきます。

# サンドボックストークンを生成して .env に設定(例)
TOKEN=$(openssl rand -hex 32)
sed -i "s/^DIFY_AGENT_LOCAL_SANDBOX_AUTH_TOKEN=.*/DIFY_AGENT_LOCAL_SANDBOX_AUTH_TOKEN=${TOKEN}/" .env

# Dify内のSSRFプロキシが host.docker.internal 宛て通信を許可するよう追記
echo 'SSRF_PROXY_ALLOW_PRIVATE_DOMAINS=host.docker.internal' >> .env

また、DifyのWeb画面はデフォルトで 80番ポート(http://localhost)を使用します。もしすでにローカルで別のWebサーバーが80番を使っている場合は、.env に以下を追記してポート番号を変更してください。

# 80番ポートが競合する場合は .env に追記(例:8080番にする場合)
EXPOSE_NGINX_PORT=8080

さらに、Linux(WSL2含む)環境ではコンテナ内から host.docker.internal を名前解決できるよう、同じ dify/docker フォルダに docker-compose.override.yaml を作成してから起動します(Windows / macOS の Docker Desktop でも入れておいて問題ありません)。

cat << 'EOF' > docker-compose.override.yaml
services:
  api:
    extra_hosts:
      - "host.docker.internal:host-gateway"
  worker:
    extra_hosts:
      - "host.docker.internal:host-gateway"
  ssrf_proxy:
    extra_hosts:
      - "host.docker.internal:host-gateway"
EOF

準備ができたら、Difyのコンテナ群を起動します。

docker compose up -d

起動後、ブラウザで http://localhost/install(ポートを変更した場合は http://localhost:8080/install)へアクセスし、Difyの管理者アカウントを作成してログインします。

ログインしたら、必要に応じて右上のアカウントアイコンから「Settings」→「Language」→「日本語」でUIを日本語化しましょう。そのあと「スタジオ」→「最初から作成」から、簡単なチャットアプリやテスト用のワークフロー(「ユーザー入力(開始)」→「出力(終了)」など)を1つ作成します(LLMを使いたい場合は「設定」→「モデルプロバイダー」からAPIキーを登録します)。

Difyの日本語UIワークフロー作成画面

Step 4: Dify側でのLangfuse連携設定とトレース確認

いよいよDifyとLangfuseを接続します。連携はアプリ単位で設定できます。

  • 1. Difyの「スタジオ」から連携したいアプリを開く
  • 2. 左側のメニューから「監視」をクリックする
  • 3. 右上の「アプリのパフォーマンスの追跡」をクリックし、一覧から「Langfuse」の「設定」を開いて Step 2 で控えたキーとホストを入力する

Dify側のLangfuse設定入力例

  • 秘密キー(Secret Key):sk-lf-...(Langfuseで発行したもの)
  • 公開キー(Public Key):pk-lf-...(Langfuseで発行したもの)
  • Host:http://host.docker.internal:3000
    (※Langfuseのポートを3001に変更した場合は http://host.docker.internal:3001)

入力後に「保存 & 有効に」を押し、追跡パネルで Langfuse が「使用中」になっていることを確認してください。

Difyの監視画面でのLangfuse設定画面

最後に動作確認です。Difyのアプリ画面(「オーケストレート」)に戻り、右上の「テスト実行」から適当なメッセージを送信して実行します。

数秒待ってから Langfuse の画面に戻り、左メニューの「Tracing」を開くと、Difyで実行されたワークフローやプロンプト・出力結果・レイテンシ(処理時間)・各ノードの実行ツリーが記録されていることを確認できます。

LangfuseのTracing画面でDifyのトレース詳細を確認している画面

ハマりやすいポイントと対処法

DifyとLangfuseはどちらも複数のDockerコンテナで構成されているため、同じPC上で同時に動かすとネットワークやポート周りでつまずきがちです。代表的なエラーと対処法を押さえておきましょう。

1. ポート番号の被り(3000番・80番など)

docker compose up -d の実行時に Bind for 0.0.0.0:3000 failed: port is already allocated のようなエラーが出た場合は、別のコンテナやアプリが同じポートを占有しています。

  • Langfuseが3000番で被る場合:langfuse/docker-compose.yml の ports を "3001:3000" 等へ変更し、あわせて NEXTAUTH_URL も http://localhost:3001 に変更する
  • Difyが80番や443番で被る場合:dify/docker/.env の EXPOSE_NGINX_PORT を 8080 などに変更し、アクセスURLを http://localhost:8080 にする

2. コンテナ間通信エラー(localhost指定NG・host.docker.internal と SSRFプロキシの罠)

最もハマりやすいのが、DifyのLangfuse設定保存時に「The tracing configuration could not be verified.」という赤いエラーが出て保存できないケースです。

これには主に2つの原因があります。

  • 原因A:Hostに http://localhost:3000 を指定している
    Difyのプログラム(api / worker)から見た localhost は「Difyコンテナ自身の内部」を指すため、別コンテナで動いているLangfuseへ届きません。必ず http://host.docker.internal:3000 を指定してください。
  • 原因B:Dify内の ssrf_proxy がプライベート通信をブロックしている(HTTP 503)
    Difyは外部向けHTTP通信を内部の ssrf_proxy(Squid)経由で送信する仕様になっており、デフォルトでは host.docker.internal のようなプライベート/ホスト宛ての通信を 503 Service Unavailable で遮断します。また Linux / WSL2 環境では host.docker.internal 自体の名前解決設定も必要です。

対策として、Step 3 で紹介したように dify/docker/.env へ許可ドメインを追記したうえで、docker-compose.override.yaml に api・worker・ssrf_proxy の3サービス分の extra_hosts を記載し、コンテナを再作成してください。

# .env に追記
SSRF_PROXY_ALLOW_PRIVATE_DOMAINS=host.docker.internal

# docker-compose.override.yaml を作成して再起動
docker compose up -d ssrf_proxy api worker

より確実な方法:共通のDockerネットワークで直接つなぐ
ファイアウォール等でホスト経由(host.docker.internal)の通信がブロックされる場合は、共通の外部ネットワークを作成する方法も有効です。

  1. docker network create langfuse_network を実行する
  2. Langfuse側の langfuse-web と、Dify側の api・worker・ssrf_proxy の networks に langfuse_network(external: true)を追加し、dify/docker/.env に SSRF_PROXY_ALLOW_PRIVATE_DOMAINS=langfuse-web を追記して再起動する
  3. Difyの監視設定のHostにサービス名指定の http://langfuse-web:3000 を入力する

3. 起動直後の接続エラー・メモリ不足によるコンテナ落ち

Langfuseは初回起動時にClickHouseやPostgreSQLのテーブル初期化を行うため、docker compose up -d 直後はまだAPIが応答しないことがあります。1〜2分待ってから再度ブラウザリロードやDify連携テストを行ってください。

また、Docker Desktop(Windows / macOS)でメモリ割り当て上限が4GB程度になっていると、一部コンテナがOOM(メモリ不足)で強制終了する場合があります。Docker Desktopの設定(Resources → Memory)から十分なメモリを割り当てておきましょう。

生成AI・Dify活用を深めるおすすめ技術書・書籍

DifyとLangfuseの環境が手元に整ったら、次は実用的なAIワークフローやRAG(検索拡張生成)の設計、プロンプト改善の手法を体系的に学ぶのがおすすめです。

1. コーディング不要で毎日の仕事が5倍速くなる!Difyで作る生成AIアプリ完全入門

Difyの基本操作からRAG・業務活用まで体系的に学べる実践入門書

  • ノーコードでのチャットボット・ワークフロー作成から、実務で使えるRAG(ナレッジ)機能やセキュリティの考え方まで幅広く網羅
  • Difyを触り始めたばかりの方が次のステップへ進む一冊として最適です
コーディング不要で毎日の仕事が5倍速くなる!Difyで作る生成AIアプリ完全入門 | 吉田真吾, 清水宏太 |本 | 通販 | Amazon
Amazonで吉田真吾, 清水宏太のコーディング不要で毎日の仕事が5倍速くなる!Difyで作る生成AIアプリ完全入門。アマゾンならポイント還元本が多数。吉田真吾, 清水宏太作品ほか、お急ぎ便対象商品は当日お届けも可能。またコーディング不要で...

2. LangChainとLangGraphによるRAG・AIエージェント[実践]入門

LLMアプリ開発・プロンプト設計・評価&LLMOpsの土台を深める一冊

  • Difyの裏側にあるRAGやAIエージェントの仕組み・設計パターンをコードレベルでしっかり理解したい方におすすめ
  • Langfuseでトレースを計測したあと、どう回答精度や検索品質を改善していくかの実践的なヒントが得られます
LangChainとLangGraphによるRAG・AIエージェント[実践]入門 (エンジニア選書) | 西見 公宏, 吉田 真吾, 大嶋 勇樹 |本 | 通販 | Amazon
Amazonで西見 公宏, 吉田 真吾, 大嶋 勇樹のLangChainとLangGraphによるRAG・AIエージェント[実践]入門 (エンジニア選書)。アマゾンならポイント還元本が多数。西見 公宏, 吉田 真吾, 大嶋 勇樹作品ほか、お...

まとめ

今回は、ローカルPCのDocker環境にDifyとLangfuseを両方構築して連携させる手順を解説しました。

今回のポイントおさらい

  • Langfuseを先に起動し、ポートを変更する場合は ports と NEXTAUTH_URL をセットで合わせる
  • Langfuse側で発行した Public Key / Secret Key を Difyの「監視(Monitoring)」に設定する
  • DifyのHost欄には localhost ではなく http://host.docker.internal:ポート番号(または共通Dockerネットワークのサービス名)を指定する

Langfuseとつなぐことで、「なんとなく動いている」状態から、トークンコストや応答速度・回答精度をデータで改善できる本格的なLLMOps環境へ一歩進めます。ぜひ手元の環境で試してみてください!

コメント

タイトルとURLをコピーしました