本サイトでは、文章の一部の生成系AIを活用しています。また、一部の記事にはアフィリエイトリンクを設定しています。
はじめに
生成AIにPDF資料を読ませたいとき、PDFをそのまま渡すと見出しや表の構造が崩れたり、そもそも文字が取れなかったりします。そこで、事前にMarkdownへ変換するのが定番です。
Pythonでこれをやるライブラリとしてよくあがるのが markitdown と pymupdf4llm です。
この記事では、同じ sample.pdf を両方で変換して、何が取れて何が取れないのかを比較しました。ライセンスの違いも重要なので、最後にまとめています。
他の形式の比較は次の記事をご覧ください。
markitdownとは
markitdown は、Microsoftが公開しているPython製のOSSで、さまざまなファイルをMarkdownに変換するツールです。
- PDF、Word、Excel、PowerPoint、HTMLなど、多くの形式に対応
- 見出し・リスト・表といった文書の構造をMarkdownとして残す
- コマンドライン(
markitdown sample.pdf)でも、Pythonコードからでも使える - 生成AI(LLM)に文書を読ませる前処理として使う用途を想定している
pymupdf4llmとは
pymupdf4llm は、Artifex Softwareが提供するPDF処理ライブラリ PyMuPDF をベースに、PDFをLLM向けのMarkdownに変換するパッケージです。
- 見出し(
#)・表・太字などをMarkdownとして出力する - Markdown以外に、JSONやプレーンテキストでも出力できる
- ページごとに分割して取得できる(
page_chunks=True) - OCRにより、テキストが埋め込まれていない画像PDFも処理できる
- 入力は主にPDF(PyMuPDFが扱える形式)
markitdownが「いろいろな形式を変換する汎用ツール」なのに対して、pymupdf4llmは「PDFに特化した変換ライブラリ」です。
2つのツールの概要
| 項目 | markitdown | pymupdf4llm |
|---|---|---|
| バージョン(検証時) | 0.1.9 | 2.1 |
| 提供元 | Microsoft(米国) | Artifex Software(米国) |
| ライセンス | MIT | AGPL-3.0 |
| 出力形式 | Markdownのみ | Markdown / JSON / プレーンテキストなど |
| 入力形式 | PDF以外も可(Word / Excel / PowerPoint / HTMLなど) | 主にPDF(PyMuPDFが扱える形式) |
| テキスト埋め込みなしPDF(画像PDF) | 抽出不可 | OCRにより抽出可能 |
| テキスト埋め込みありPDF | 抽出可能(誤検出などあり) | 抽出可能 |
検証方法
次のスクリプト(compare_pdf.py)で、同じPDFを両方の方法で変換しました。全文は次のとおりです。
"""PDF の解析を pymupdf4llm と markitdown で行い、結果を比較するサンプル。
使い方:
python compare_pdf.py sample.pdf --out-dir out
"""
import argparse
from pathlib import Path
import pymupdf4llm
from markitdown import MarkItDown
def parse_pymupdf4llm(path: Path) -> list[str]:
"""pymupdf4llm で Markdown に変換し、ページごとに返す。
Args:
path: 入力 PDF のパス。
Returns:
ページごとの Markdown テキストのリスト(0 番目が page 1)。
"""
chunks = pymupdf4llm.to_markdown(str(path), page_chunks=True)
return [f"## page {i}\n{c['text'].strip()}" for i, c in enumerate(chunks, start=1)]
def parse_markitdown(path: Path) -> list[str]:
"""markitdown で Markdown に変換する。
markitdown の PDF 変換はページ区切りを出力しないため、全体を 1 要素で返す。
Args:
path: 入力 PDF のパス。
Returns:
変換結果の Markdown テキスト(要素 1 つのリスト)。
"""
return [MarkItDown().convert(str(path)).text_content.strip()]
def main() -> None:
parser = argparse.ArgumentParser(description="pymupdf4llm と markitdown の比較")
parser.add_argument("pdf", type=Path, help="入力 PDF")
parser.add_argument("--out-dir", type=Path, default=Path("output"), help="出力先")
args = parser.parse_args()
args.out_dir.mkdir(parents=True, exist_ok=True)
results = {
"pymupdf4llm": parse_pymupdf4llm(args.pdf),
"markitdown": parse_markitdown(args.pdf),
}
# 手法ごとに全体を 1 ファイル(<out-dir>/<pdf名>.<手法>.md)に保存する。
for name, parts in results.items():
content = "\n\n".join(parts) + "\n"
out = args.out_dir / f"{args.pdf.stem}.{name}.md"
out.write_text(content, encoding="utf-8")
print(f"===== {name} -> {out} =====")
print(content)
if __name__ == "__main__":
main()
検証に使った sample.pdf は4ページ構成で、ページごとに要素を1種類ずつ入れています。
| ページ | 内容 |
|---|---|
| 1 | テキストのみ(タイトル+本文) |
| 2 | 表(3行×3列) |
| 3 | グラフ(四半期別売上) |
| 4 | 画像 |
検証に使ったPDFは次のリンクから確認できます。
比較結果
実際の出力は次のとおりです。
markitdownの出力
テキストのサンプル
テキストのみのスライド
テーブルのサンプル
| R1C1 | R1C2 | R1C3 |
| ---- | ---- | ---- |
| R2C1 | R2C2 | R2C3 |
| R3C1 | R3C2 | R3C3 |
四半期別売上グラフ
売上
35
30
30
25
20
20
15
15
10
10
5
0
Q1 Q2 Q3 Q4
画像のサンプル
pymupdf4llmの出力
## page 1
# テキストのサンプル
## `テキストのみのスライド`
## page 2
# テーブルのサンプル
|**R1C1**|**R1C2**|**R1C3**|
|---|---|---|
|R2C1|R2C2|R2C3|
|R3C1|R3C2|R3C3|
<!-- Start of picture text -->
R3C3<br><!-- End of picture text -->
## page 3
# 四半期別売上グラフ
<!-- Start of picture text -->
売上<br>35<br>30<br>30<br>25<br>20<br>20<br>15<br>15<br>10<br>10<br>5<br>0<br>Q1 Q2 Q3 Q4<br><!-- End of picture text -->
## page 4
# 画像のサンプル
画像
差が出なかったもの(テキストと表)
PDFに埋め込まれた文字そのものは、どちらも取得できました。表も、どちらもMarkdownの表として出力されています。
見出しの認識
最も差が出たのは見出しです。
- markitdown: 単純にPDFに埋め込まれたテキストを抽出しているだけなので、文字の大きさから見出しを判断できず、
#を付けずに出力する。タイトルも本文も同じ扱いになる - pymupdf4llm: 文字の大きさから見出しを判断し、
###を付けて出力する。ページごとの区切り(## page N)も付けられる
LLMに読ませる場合や、見出し単位でチャンク分割してRAGに使う場合は、見出しが付くpymupdf4llmのほうが扱いやすいです。
グラフ
グラフの中の文字は、どちらも取得できましたが、グラフとして読めているわけではありません。
- markitdownは、軸の目盛りの数値(
353025…)とラベル(Q1Q2…)が1行ずつ並ぶだけで、どの棒がいくつなのかは分からない - pymupdf4llmは、同じ文字を
<!-- Start of picture text -->というコメントで囲み、<br>区切りで出力する。図として扱って文字だけ取り出している
どちらも、グラフの値(Q1=10、Q2=20…)は読み取れません。これは今回のスクリプトに限らず、PDFに描画されたグラフに共通する制約です。
画像
画像ページは、どちらも画像の中身は出力されず、見出しと「画像」という文字だけです。
画像の内容を説明させたい場合は、別途LLMなどで画像を解析する必要があります。
画像PDF(テキスト埋め込みなし)
スキャンしたPDFなど、テキストが埋め込まれていない画像PDFでは差がはっきり出ました。
- markitdown: テキストを取得できず、空のファイルになった。エラーも出ないため、空出力に気づきにくい
- pymupdf4llm: OCRにより、テキスト埋め込みありでもなしでも出力できる
markitdownをパイプラインに組み込む場合は、出力が空でないかのチェックを入れておくのがおすすめです。
品質面での注意
別のPDFで試した範囲では、どちらも完全ではありませんでした。
- markitdown
- 見出しを認識しない
- グラフ内のテキストを表として誤認識して出力することがあった
- pymupdf4llm
- Azure AIのDocument Intelligenceなどクラウドサービスに比べると品質は落ちる
- 元にない装飾が混入する(取り消し線
~~…~~、<mark>、<u>) - 日本語の誤認識がある(例: 「ノウハウ」→「ノウ八ウ」)
- 英文の途中に不要なスペースや改行が入る
- 図の部分が文字化けする
OCR結果は、そのまま信用せず、重要な文書は目視で確認することをおすすめします。
ライセンスの違い
機能面だけでなく、ライセンスの違いも選定時には重要です。
- markitdown: MIT
- pymupdf4llm: AGPL-3.0
pymupdf4llmは内部でPyMuPDFを使用しており、PyMuPDFがAGPL-3.0ライセンスで提供されています。
AGPL-3.0で気をつけること
AGPL-3.0は、ソフトウェアを利用者・顧客に提供する場合に、ソースコードの開示義務が生じるライセンスです。
- 自社内だけで完結して使用する、外部へ配布・提供しない場合は、ソースコードの開示義務は通常は生じない
- 従業員・部門間の利用を超えて、外部の顧客・パートナー向けにサービス提供する場合や、SaaSとして提供する形態に移行する場合は、開示義務が生じる可能性がある
つまり、社内ツールのうちは問題なくても、あとから外部向けサービスにしたときに問題になる可能性があります。
商用利用での対応策
PyMuPDFには、商用利用を想定した有償ライセンス版も提供されています。
ソースコードを開示せずに商用製品へ組み込みたい場合は、販売元のArtifex Software, Inc.から有償ライセンスを取得することが推奨されます。
ライセンスの解釈は利用形態によって変わるため、商用利用を考えている場合は、法務部門などに確認してください。
比較まとめ
| 項目 | markitdown | pymupdf4llm |
|---|---|---|
| テキストの取得 | 取得可能(誤検出などあり) | 取得可能 |
見出し(#) |
付かない | 付く |
| 表 | Markdownの表として出力 | Markdownの表として出力(太字の混入あり) |
| ページ区切り | なし | あり(page_chunks=True) |
| グラフ | 軸の数値とラベルが並ぶだけ | 同様(画像内テキストとしてコメントで囲まれる) |
| 画像 | 出力されない | 出力されない(OCRで文字は取れる) |
| 画像PDF | 抽出不可(空ファイルになる) | OCRにより抽出可能 |
| 出力形式 | Markdownのみ | Markdown / JSON / プレーンテキストなど |
| 入力形式 | PDF以外も可 | 主にPDF |
| ライセンス | MIT | AGPL-3.0 |
まとめ
-
markitdown
- 見出しが付かず、画像PDFは空になる
- 一方で、Word / Excel / PowerPointなど、PDF以外もまとめて同じ方法で変換できる
- MITライセンスなので、商用利用でも扱いやすい
-
pymupdf4llm
- 見出し・ページ区切りが付き、OCRで画像PDFも処理できる
- ただしOCRの誤認識や、元にない装飾の混入がある
- AGPL-3.0なので、外部向けサービスで使う場合はライセンスに注意が必要
-
使い分け方
- テキスト埋め込みありのPDFや、PDF以外の形式もまとめて変換したい、ライセンスを気にしたくないならmarkitdown
- 画像PDFを扱う、見出し構造を残したい、社内利用に限るならpymupdf4llm
なお、今回の検証は1つのサンプルファイルと、いくつかのPDFによるもので、バージョンによって出力は変わる可能性があります。
実際のPDFで試して確認してください。