ai

markitdownとopenpyxlを比較してみた【Excel解析】

  • POST
はじめに 生成AIにExcel資料を読ませたいとき、.xlsx をそのまま渡せないため、事前にテキストへ変換する必要があります。 Pythonでこれをやる定番ライブラリが markitdown と openpyxl です。 この記事では、同じ sample.xlsx を両方で解析して、何が取れて何が取れないのかを比較しました。 PowerPoint版の比較は markitdownとpython-pptxを比較してみた【PowerPoint解析】 をご覧ください。 markitdownとは markitdown は、Microsoftが公開しているPython製のOSSで、さまざまなファイルをMarkdownに変換するツールです。 PDF、Word、Excel、PowerPoint、HTMLなど、多くの形式に対応 見出し・リスト・表といった文書の構造をMarkdownとして残す コマンドライン(markitdown sample.xlsx)でも、Pythonコードからでも使える 生成AI(LLM)に文書を読ませる前処理として使う用途を想定している Markdownはトークン数が少なく、LLMが扱いやすい形式です。そのため、RAGやAIエージェントの入力準備でよく使われます。 markitdown(GitHub) openpyxlとは openpyxl は、Excelファイル(.xlsx / .xlsm)を読み書きするためのPythonライブラリです。 シート・セル・数式・結合セル・コメントなどをPythonのオブジェクトとして扱える 既存ファイルの読み取りだけでなく、新規作成や編集もできる 数式と、保存済みの計算結果の両方を取得できる 対応するのはxlsx / xlsmのみ(PDFやWordは扱えない) markitdownが「変換ツール」なのに対して、openpyxlは「Excelを操作するための部品」です。 テキストを取り出すには、シートとセルを自分でたどるコードを書く必要があります。 openpyxl(公式ドキュメント) 2つのツールの概要 項目 markitdown openpyxl バージョン(検証時) 0.1.9 3.1.5 提供元 Microsoft(作者 Adam Fourney) OSSコミュニティ(メンテナ Charlie Clark) ライセンス MIT MIT 出力形式 Markdown(表形式)のみ 出力形式は固定されない(自分でテキスト化する) 入力形式 PDF / Word / Excel / PowerPoint / HTML など xlsx / xlsm のみ 書き込み 不可(変換専用) 可(新規作成・編集もできる) ざっくり言うと次の違いです。

markitdownとpython-docxを比較してみた【Word解析】

  • POST
はじめに 生成AIにWord資料を読ませたいとき、.docx をそのまま渡せないため、事前にテキストへ変換する必要があります。 Pythonでこれをやる定番ライブラリが markitdown と python-docx です。 この記事では、同じ sample.docx を両方で解析して、何が取れて何が取れないのかを比較しました。 markitdownとは markitdown は、Microsoftが公開しているPython製のOSSで、さまざまなファイルをMarkdownに変換するツールです。 PDF、Word、Excel、PowerPoint、HTMLなど、多くの形式に対応 見出し・リスト・表といった文書の構造をMarkdownとして残す コマンドライン(markitdown sample.docx)でも、Pythonコードからでも使える 生成AI(LLM)に文書を読ませる前処理として使う用途を想定している Wordの変換には内部で mammoth というライブラリが使われます。 Markdownはトークン数が少なく、LLMが扱いやすい形式です。そのため、RAGやAIエージェントの入力準備でよく使われます。 markitdown(GitHub) python-docxとは python-docx は、Wordファイル(.docx)を読み書きするためのPythonライブラリです。 段落・表・ヘッダー/フッター・コメントなどをPythonのオブジェクトとして扱える 既存のdocxの読み取りだけでなく、文書の新規作成や編集もできる 見出しスタイル・フォント・太字・斜体なども操作できる 対応するのはdocxのみ(PDFやExcelは扱えない) markitdownが「変換ツール」なのに対して、python-docxは「docxを操作するための部品」です。 テキストを取り出すには、段落や表を自分でたどるコードを書く必要があります。 python-docx(GitHub) 2つのツールの概要 項目 markitdown python-docx バージョン(検証時) 0.1.9 1.2.0 提供元 Microsoft(作者 Adam Fourney) Steve Canny ライセンス MIT MIT 出力形式 Markdown(テキスト) Pythonオブジェクト(自分でテキスト化する) 入力形式 PDF / Word / Excel / PowerPoint / HTML など docxのみ 書き込み 不可(変換専用) 可(文書の作成・編集もできる) 検証方法 次のスクリプト(compare_docx.

markitdownとpymupdf4llmを比較してみた【PDF解析】

  • POST
はじめに 生成AIにPDF資料を読ませたいとき、PDFをそのまま渡すと見出しや表の構造が崩れたり、そもそも文字が取れなかったりします。そこで、事前にMarkdownへ変換するのが定番です。 Pythonでこれをやるライブラリとしてよくあがるのが markitdown と pymupdf4llm です。 この記事では、同じ sample.pdf を両方で変換して、何が取れて何が取れないのかを比較しました。ライセンスの違いも重要なので、最後にまとめています。 他の形式の比較は次の記事をご覧ください。 markitdownとopenpyxlを比較してみた【Excel解析】 markitdownとpython-pptxを比較してみた【PowerPoint解析】 markitdownとは markitdown は、Microsoftが公開しているPython製のOSSで、さまざまなファイルをMarkdownに変換するツールです。 PDF、Word、Excel、PowerPoint、HTMLなど、多くの形式に対応 見出し・リスト・表といった文書の構造をMarkdownとして残す コマンドライン(markitdown sample.pdf)でも、Pythonコードからでも使える 生成AI(LLM)に文書を読ませる前処理として使う用途を想定している markitdown(GitHub) pymupdf4llmとは pymupdf4llm は、Artifex Softwareが提供するPDF処理ライブラリ PyMuPDF をベースに、PDFをLLM向けのMarkdownに変換するパッケージです。 見出し(#)・表・太字などをMarkdownとして出力する Markdown以外に、JSONやプレーンテキストでも出力できる ページごとに分割して取得できる(page_chunks=True) OCRにより、テキストが埋め込まれていない画像PDFも処理できる 入力は主にPDF(PyMuPDFが扱える形式) markitdownが「いろいろな形式を変換する汎用ツール」なのに対して、pymupdf4llmは「PDFに特化した変換ライブラリ」です。 PyMuPDF4LLM(公式ドキュメント) 2つのツールの概要 項目 markitdown pymupdf4llm バージョン(検証時) 0.1.9 2.1 提供元 Microsoft(米国) Artifex Software(米国) ライセンス MIT AGPL-3.0 出力形式 Markdownのみ Markdown / JSON / プレーンテキストなど 入力形式 PDF以外も可(Word / Excel / PowerPoint / HTMLなど) 主にPDF(PyMuPDFが扱える形式) テキスト埋め込みなしPDF(画像PDF) 抽出不可 OCRにより抽出可能 テキスト埋め込みありPDF 抽出可能(誤検出などあり) 抽出可能 検証方法 次のスクリプト(compare_pdf.

markitdownとpython-pptxを比較してみた【PowerPoint解析】

  • POST
はじめに 生成AIにPowerPoint資料を読ませたいとき、.pptx をそのまま渡せないため、事前にテキストへ変換する必要があります。 Pythonでこれをやる定番ライブラリが markitdown と python-pptx です。 この記事では、同じ sample.pptx を両方で解析して、何が取れて何が取れないのかを比較しました。 markitdownとは markitdown は、Microsoftが公開しているPython製のOSSで、さまざまなファイルをMarkdownに変換するツールです。 PDF、Word、Excel、PowerPoint、HTMLなど、多くの形式に対応 見出し・リスト・表といった文書の構造をMarkdownとして残す コマンドライン(markitdown sample.pptx)でも、Pythonコードからでも使える 生成AI(LLM)に文書を読ませる前処理として使う用途を想定している Markdownはトークン数が少なく、LLMが扱いやすい形式です。そのため、RAGやAIエージェントの入力準備でよく使われます。 markitdown(GitHub) python-pptxとは python-pptx は、PowerPointファイル(.pptx)を読み書きするためのPythonライブラリです。 スライド・図形・表・グラフ・ノートなどをPythonのオブジェクトとして扱える 既存のpptxの読み取りだけでなく、スライドの新規作成や編集もできる 図形の位置・大きさ・フォント・色なども操作できる 対応するのはpptxのみ(PDFやWordは扱えない) markitdownが「変換ツール」なのに対して、python-pptxは「pptxを操作するための部品」です。 テキストを取り出すには、スライドと図形を自分でたどるコードを書く必要があります。 python-pptx(GitHub) 2つのツールの概要 項目 markitdown python-pptx バージョン(検証時) 0.1.9 1.0.2 提供元 Microsoft(作者 Adam Fourney) Steve Canny ライセンス MIT MIT 出力形式 Markdown(テキスト) Pythonオブジェクト(自分でテキスト化する) 入力形式 PDF / Word / Excel / PowerPoint / HTML など pptxのみ 書き込み 不可(変換専用) 可(スライドの作成・編集もできる) MITライセンスとは MIT は、マサチューセッツ工科大学(Massachusetts Institute of Technology)で生まれたことに由来する名前です。

法人向け「情弱ビジネス」11選

  • POST
はじめに 個人向けには、情報商材、MLM(マルチ商法)、高額な結婚相談所など、情報弱者を狙ったビジネスが数多くあります。 実は法人向けにも、同じ構造のビジネスが存在します。 個人の場合は「自分のお金」ですが、法人の場合は「会社のお金」です。 そのため被害に気づきにくく、気づいたときには数百万円〜数千万円が流出していた、ということも珍しくありません。 この記事では、法人向け情弱ビジネスの代表的なパターンと見分け方、そして勤務先が被害に遭っていないか確認するチェックポイントを紹介します。 ※特定の企業や商品を批判する記事ではありません。あくまで「よくある手口のパターン」を紹介するものです。 なぜ法人は狙われるのか 法人が狙われやすいのには、次のような理由があります。 決裁者が現場を把握していない: 経営者や管理職が技術や相場に詳しくないことが多い 自分のお金ではない: 担当者に「高い」という痛みがなく、価格に鈍感になりやすい 社内に専門家がいない: IT担当者や法務担当者がおらず、比較検討できない 「乗り遅れたくない」心理: DX、AI、補助金など、流行に乗り遅れる不安を突かれる 一度契約すると見直されにくい: 前任者が契約したものが、そのまま続いてしまう 法人向け情弱ビジネスの一覧 1. 高額なDX・AI導入コンサルティング 項目 内容 手口 「DXで生産性が数倍に」「AIで人件費を削減」とうたい、月額数十万円〜のコンサル契約を結ぶ 実態 成果物が一般的な資料やテンプレートだけで、現場に定着しない 見分け方 具体的な成果指標(KPI)や、実績の詳細(事例・数値)を示せない 2. 補助金・助成金の申請代行(成功報酬が不透明なもの) 項目 内容 手口 「実質無料で導入できる」と勧誘し、高額な機器やシステムの購入とセットで申請を代行する 実態 補助金の対象になる分、本体価格が相場より大幅に上乗せされている 見分け方 補助金なしの本体価格を教えてくれない。相見積もりを嫌がる 3.

AWS BedrockでClaudeとGPTモデルを使用する(Bedrock Mantle対応)

  • POST
はじめに AWS Bedrockでは、ClaudeだけでなくOpenAIのGPTモデルも利用できます。 本記事では、BedrockのClaude・GPTモデルを呼び出すときに知っておきたい2つのエンドポイントの違い、必要なIAM権限、そしてPythonのサンプルコードを紹介します。 1. Bedrockの2つのエンドポイント Bedrockには2つのエンドポイントがあります。 通常のBedrock: bedrock-runtime Bedrock Mantle: bedrock-mantle Bedrock Mantleとは Amazon Bedrock Mantleは、OpenAIやAnthropic互換のAPIを利用して最新モデルをスムーズに実行できるよう最適化された、Amazon Bedrockの分散推論エンジンおよび専用コンソール体験です。 従来のBedrockとの最大の違いは、AWS固有の仕様から解放され、OpenAIやAnthropicのコードをそのまま持ち込めるようになった点です。 従来はAWS独自の仕様に合わせるため、boto3などを使って複雑なレスポンスのパース処理(JSONの解析など)を書く必要がありました。 OpenAI/Anthropic互換APIの利用: 既存のOpenAI SDKやAnthropic SDKのコードから、ベースURLとAPIキーを書き換えるだけで、そのままBedrock上のモデルを呼び出せる モデルID指定の違い Mantleでは、global.openai.gpt-6-luna の global. 部分を外し、openai.gpt-6-luna のようにモデルIDを指定する必要があります。 この点が通常のBedrockと異なります。 2. IAMに付与すべき権限 ユーザーグループを作成し、対象のユーザーグループにBedrockのAPIを実行する権限を付与します。 必要な権限は、以下の組み込みポリシーです。 ポリシー 用途 AmazonBedrockLimitedAccess 通常のBedrockを採用する場合に必要。Bedrockへの限定的なアクセス権で、一般的なAPI呼び出し(bedrock:InvokeModel)やモデル一覧取得などが許可されますが、利用可能なモデルや機能は制限される場合があります AmazonBedrockMantleInferenceAccess Mantleを使用する場合に必要 AmazonBedrockMarketplaceAccess AWS Marketplace経由で提供されるモデルのサブスクリプション関連の権限。GPTなどMarketplaceモデルを使う場合、初回に必要 3. 設定手順 ユーザーグループにポリシーを付与する ユーザーグループを作成し、アプリが使用する上記の組み込みポリシーを付与します。 ユーザーを作成しアクセスキーを発行する ユーザーグループ内にユーザーを作成し、作成したユーザーのアクセスキーを作成します。

Claude Codeの権限モードまとめ

  • POST
はじめに Claude Codeには、ファイル編集やコマンド実行をどこまで自動で許可するかを決める権限モードがあります。 本記事では、各モードの特徴と使い分けをまとめます。 詳細は公式ドキュメントも参照してください。 権限モード - Claude Code Docs モードの一覧 Claude Codeに存在する各モードは下表の通りです。 弱い順、並べると次の順番になります。 モード 自動で行われる操作 向いている場面 Plan 読み取りのみ 実装前の調査・設計 Manual 一部の操作のみ 機密データ、1件ずつレビューしたい場合 Accept edits 作業ディレクトリ内のファイル編集 通常の機能実装、テスト追加 Auto 分類モデルが安全と判断した操作 長時間タスク、機械的な変換 Bypass permissions ほぼすべて 隔離環境のみ モード別の詳細 Plan ファイルの読み取りのみで、基本的にファイル編集を行わない調査専用モードです。 実装前に、実装方針や変更計画を作成する際に使用します。 Manual Claude Codeが操作前にユーザーへ確認を求める標準的なモードです。 ファイルの読み取りなど一部の操作は承認なしで自動的に行われますが、それ以外は原則、ファイルの編集やコマンドの実行前にユーザーの承認が求められます。 機密データを扱うプロジェクトや、変更を一つずつレビューしたい場合に適しています。 Accept edits 作業ディレクトリ内のファイル編集を自動承認するモードです。 ファイル・ディレクトリの作成、移動、複製などが承認なしで実行されます。 gitなどのコマンド実行は、ユーザーに承認を求めます。 通常の機能実装やテストコードの追加、変更を最後にまとめてレビューしたい場合に適しています。 Auto 別の分類用モデルが安全と判断した操作を自動実行するモードです。

本当にあった?エンジニアの怖い話「情弱セミナーあるある編」

  • POST
はじめに IT業界には以前から、プログラミングスクールやAIスクールなど、情報商材を扱うセミナーが数多く存在します。 中には「情弱ビジネス」と呼ばれ、現役のプログラマーから嫌われているものもあります。 しかし、実際にセミナーに参加してみると、困惑させられるのは提供側よりも、参加者側だったりします。 この物語では、そんな「情弱セミナーあるある」を描きます。 「情弱セミナーで一番困惑したのは、講師ではなく参加者だった」 これは、とあるAIスクールが開催した無料WEBセミナーでの出来事。 主人公Aは、都内のシステム開発会社に勤めるエンジニア。 その日は特に予定もなく、暇つぶしのつもりで「AIで人生が変わる!」とうたう無料セミナーにWEB参加していた。 画面には熱弁を振るう講師と、司会、そして数十人の参加者が映っている。 講師B 😄 「当スクールでは、他では絶対に教えない黄金のタレのプロンプトを、受講生の皆さまだけにお伝えしています!」 主人公A 😑 「(はいはい、情弱乙。)」 主人公Aは、あきれ顔でコーヒーをすすった。 内容は、ネットで少し調べれば出てくる程度のプロンプトのコツを、大げさな名前で包んだものだ。 講師B 😆 「このプロンプトさえあれば、未経験からでも月収100万円が見えてきます!」 主人公A 🙄 「(そんなプロンプトがあるなら、自分で使って稼げばいいのに……。)」 そして、セミナーは質疑応答の時間に入った。 司会C 🙂 「それでは、ご質問のある方はチャットでお願いします。」 参加者D 🤔 「あの、スクールの受講料は経費にしても大丈夫ですか?」 一瞬、画面の中の空気が固まった。 主人公A 😳 「(え、それをスクールに聞くの?)」 司会C 😅 「えっと……そちらは……。」 講師B 😓 「……。」 本来、経費として認められるかどうかは、税理士や経理担当者に確認すべき内容だ。 スクール側が「大丈夫ですよ」と答えられるはずもない。 司会C 😐 「そちらは、税理士さんか経理の方にご確認いただくのがよろしいかと存じます。」 参加者D 🙂 「わかりました!ありがとうございます!」 質問者だけが満足そうだった。 主人公A 😑 「(講師より、参加者のほうが怖いわ……。)」 情弱セミナーで困惑させられるのは、提供側よりも参加者側であることが多い。 主人公Aは、そう痛感しながらブラウザのタブを閉じた。 解説 情弱ビジネスは提供側を批判する声が多い一方で、「騙される側にもいらいらする」という声も多いです。 地方でも、AIやDXをうたい文句に、中小零細企業へ高額な契約を持ちかける怪しげなコンサル会社は珍しくありません。 IT担当者がいない会社ほど、「よく分からないから、詳しそうな人の言うことを信じる」状態に陥りやすいので注意が必要です。

Azure SRE Agent の Live Reports を解説

  • POST
はじめに Azure SRE Agent に、チャットから作成できる保存・共有可能な運用画面「Live Reports」が Public Preview として追加されました。 本記事では、Live Reports の概要、提供状況、活用メリット、利用時の留意事項について解説します。 Live Reports とは 発表日: 2026年8月25日 提供状況: Public Preview Live Reports は、Azure SRE Agent とのチャットから作成できる、保存・共有可能な運用画面です。 利用者が必要な情報を自然言語で説明すると、Agent が chart、table、diagram、status indicator を含む report を作成します。一度作成した report はレイアウトを維持し、開くたびに connector から最新データを取得します。 利用例 serviceのエラー率やlatencyを確認する朝会用dashboard deploymentの成功率と失敗一覧 未解決incidentと担当者の一覧 Kustoの運用データを用いたservice trend compliance、capacity、costの定期確認 on-callの引き継ぎ画面 何が嬉しいか 毎日同じpromptを入力したり、複数のdashboardを開いたりする作業を減らせます。 reportの形が固定されるため、日ごとの数値を同じ視点で比較できます。 connector toolのみで更新するreportは、表示のたびにactive-flow AAUを消費しません。 link共有により、同じAgentへのアクセス権を持つチームメンバーが共通の運用画面を利用できます。 sanitized static HTMLとして出力し、postmortemなどの記録へ添付できます。 report上のbuttonから、incidentの更新やworkflowの開始など、許可されたtool actionを実行できます。 留意事項 reportはsandboxed iframeで実行され、session tokenやcookieへアクセスできません。 reportが呼び出せるのは、保存時に承認されたconnector toolに限定されます。 linkの共有だけではアクセス権は付与されません。閲覧者にも対象Agentのロールが必要です。 reportの作成・変更はactive-flow AAUを消費します。 model-assisted analysisを設定した場合、reportを更新するたびにmodel利用分のactive-flow AAUが発生します。 Previewでは、生成HTMLは10 MB以下です。 cross-tenant userは、approvalが必要なreport actionを承認できません。 model-assisted sectionにreport単位またはuser単位のAAU budgetはありません。 おわりに Live Reports は、Azure SRE Agent とのやり取りをそのまま日々使える運用画面に変換できる機能です。