Anthropic Claudeのプロンプトキャッシュ入門

  • POST
はじめに この記事では、Anthropic Claudeのプロンプトキャッシュについてまとめました。 Anthropoc Caludeとは Anthropic Claudeは、Anthropic社が開発した高度なAI言語モデルです。 このモデルは、自然言語処理タスクにおいて高い性能を発揮し、特に会話型AIやテキスト生成、分析などの用途に適しています。 Anthropic Claudeは、AWSやGoogle Cloudなどのクラウドプラットフォームを通じて利用可能であり、さまざまな業界で活用されています。 Anthropic公式サイト Anthropic Claudeのプロンプトキャッシングの仕組み プロンプトキャッシングを導入すると、指定したプロンプトをキャッシュすることができます。 キャッシュするとキャッシュブレークポイント(cache_control)が設定されているプロンプトのプレフィックス(先頭部分)が、キャッシュされているかを確認します。 キャッシュされている場合、プレフィックス部分のプロンプトを再利用することで、LLM側での内部処理が不要になり、処理時間とコストを削減することができます。 キャッシュされていない場合は、プロンプト全体を新規に処理した後に、プロンプトのプレフィックスを保存します。 この仕組みにより、繰り返し使用されるプロンプトの再処理を避け、システム全体の効率を向上させています。 OpenAIにも同様にプロンプトキャッシュが導入されています。 GoogleのGeminiシリーズにもコンテキストキャッシュという名称は異なりますが、同様の機能があります。 Anthropic: プロンプトキャッシュ Google Cloud: Claudeモデルのプロンプトキャッシュ OpenAI: プロンプトキャッシングAPI Medium: LLMのプロンプトキャッシュのメカニズム 株式会社Algomatic: テックブログ Zenn: Claude Prompt Cachingは本当に効果的なのか検証してみた プロンプトキャッシュの料金 料金 キャッシュの料金は以下の通りです。 キャッシュ書き込み: 入力トークンよりも25%高価格 キャッシュ読み取り: 入力トークンよりも90%低価格 初回に発生するキャッシュの書き込みでは、料金が上がってしまいますが、複数回LLMとの会話が行われると、キャッシュが活用されるので、その分料金が安くなります。 サポートモデル プロンプトキャッシュをサポートしているモデルは以下になります。 Claude 3.7 Sonnet(claude-3-7-sonnet@20250219) Claude 3.5 Sonnet v2(claude-3-5-sonnet-v2@20241022) Claude 3.5 Sonnet(claude-3-5-sonnet@20240620) Claude 3.5 Haiku(claude-3-5-haiku@20241022) Claude 3 Haiku(claude-3-haiku@20240307) Claude 3 Opus(claude-3-opus@20240229) プロンプトキャッシュの利用方法 プロンプトキャッシュを利用するにはClaudeのAPIをコールする際にcache_controlパラメータを指定します。

Azure Durable Functions入門

  • POST
はじめに この記事では、Azure Durable Functionsについて解説します。 Azure Durable Functions ​Durable Functionsは、Azure Functionsの拡張機能で、状態を保持する(ステートフルな)ワークフローを実現可能にする機能です。 ​複数の処理を順番や並列で実行し、状態管理や再実行といった処理をユーザーは実装する必要がなく、Durable Functions側で自動で行うため、開発者はビジネスロジックの実装に集中することができます。 また、HTTPトリガー関数の場合3分50秒のタイムアウト制限があるため、長時間の処理を行うことができませんが、Durable Functionsを使うことで、長時間の処理を行うことが可能になります。 Azure公式ドキュメント: Azure Durable Functionsとは Azure Durable Functionsのアーキテクチャ Durable Functionsは以下の4つの関数で構成されています。 クライアント関数 (Client Function) オーケストレーター関数 (Orchestrator Function) アクティビティ関数 (Activity Function) エンティティ関数 (Entity Function) 次の項で、それぞれの関数について解説していきます。 Azure公式ドキュメント: Azure Durable Functionsにおける各関数の説明 クライアント関数 Durable Functionsをスタートさせるトリガー関数です。 通常のFunctionsと同様にHTTPトリガーやタイマートリガーなどイベントドリブンで実装されており、 定義したトリガーからイベントなどを受け取って、オーケストレーター関数を起動するのがこの関数の役目です。 オーケストレーター関数 後述するアクティビティ関数の実行を管理する役割の関数です。 後述するアクティビティ関数や他の関数を記載された通りに起動します。 ただし注意点として、オーケストレーター関数は 決定論的(deterministic) である必要があります。 決定論的とは、「同じ入力なら、いつ呼んでもまったく同じ動きをする」ように書く必要があることを示します。 Durable FunctionsではAzureサービスの障害時やサービスメンテナンス時などで処理が中断された場合に、オーケストレーター関数を再実行することができます。 再実行時に実行のたびに結果が変わるような処理が入っていると、予期しない動作を起こす危険性があるため、現在時刻やランダム値を使った処理など、毎回結果が変わるようなコードをオーケストレーター関数で定義することはアンチパターンとされています。

【2025年01月】3大クラウドのAI系サービスリリースノート

  • POST
はじめに この記事では、Azure、AWS、Google Cloudの3大クラウドサービスのAIサービスの新規機能リリース履歴をまとめています。 主に以下のURLの情報をもとに新機能のキャッチアップを行っています。 Azure公式ドキュメント: Azure OpenAI Serviceニュース Github: Azure公式ドキュメント管理リポジトリ Github: Azure OpenAI APIプレビューバージョン一覧 Github: Azure OpenAI API安定版バージョン一覧 AWS公式ドキュメント: AWS Bedrockリリースノート Google Cloud公式ドキュメント: Vertex AIリリースノート Anthropic公式ドキュメント: APIバージョン一覧 Azure 2025年01月21日: gpt-4o-realtime-previewがグローバルデプロイ可能に gpt-4o-realtime-previewのモデルバージョン 2024-12-17がEast US 2とSweden Centralリージョンでグローバルデプロイメント可能になりました。 Azure公式: グローバルスタンダードデプロイメント 2025年01月21日: GPT-4o Realtime APIがプロンプトキャッシュをサポート GPT-4o Realtime APIがプロンプトキャッシュをサポートしました。 プロンプト キャッシュを使用すると、プロンプトの開始時に同じ内容だった長いプロンプトに対して、全体的なリクエストの遅延とコストを削減できます。 Azure公式: プロンプトキャッシュについて 2025年01月21日: GPT-4o Realtime APIが新音声をサポート GPT-4o Realtime APIで以下の新しい音声が使用できるようになりました。

2024年岡山ITニュースまとめ

  • POST
2024年岡山ITニュースまとめ はじめに 2024年の岡山県の県内のシステム会社の動向や、ITに関連した主なニュースについてまとめました。 エンジニアや、就職活動中の学生の方の参考になれば幸いです。 2024年主要イベント年表 日付 ジャンル 会社・団体 イベント 2024/01/09 経営情報 セリオ様 ファジアーノ岡山の2024シーズン ユニフォームスポンサー決定 2024/01/09 経営情報 両備システムズ様 ファジアーノ岡山の2024シーズン アップウェアスポンサー決定 2024/01/25 リリース 岡山大学様 生成AIチャットボットによる介護保険説明で理解をサポート 2024/01/26 リリース トスコ様 RFIDを活用して人件費削減・社内DX化 2024/01/25 経営情報 両備システムズ様 「中期経営計画2024~2026」を発表、2026年に売上高446億円を目指す 2024/02/23 - 2024/03/09 キャンペーン オーユーシステム様 【2月23日~ 3月9日】ベトコンラーメン倉敷新京が特別メニューを提供 2024/02/27 リリース ベネッセホールディングス様 ベネッセ幼児向け会話型 AI「しまじろう」を共同開発 2024/03/01 経営情報 セリオ様 本社移転プロジェクト開始 2024/03/11 リリース ベネッセホールディングス様 生成AIによる自己PR作成支援サービスを2024年3月11日(月)より提供開始 2024/03/12 経営情報 セリオ様 経済産業省「健康経営優良法人2024(中小規模法人部門)」に認定 2024/03/18 経営情報 ピープルソフトウェア様 株式会社フォーバルとGDXで業務提携 2024/03/25 経営情報 両備システムズ様 両備システムズ東京本社移転 2024/04/04 人事 ビザビ様 2025年卒学生が選ぶ人気企業ランキング発表(株式会社ビザビ様調べ) - 両備システムズ様 : 前年1位 → 3位 - OEC様 : 前年56位 → 16位 - ピコシステム様 : 前年100位 → 30位 - システムエンタープライズ様 : 前年13位 → ランク外 - 東都システムズ様 : 前年17位 → ランク外 - セリオ様 : 22位 → ランク外 - ピープルソフトウェア様 : 前年27位 → ランク外 2024/04/12 経営情報 両備システムズ様 両備システムズが東京本社を移転、首都圏での売上高を2030年までに倍増を目指す 2024/04/24 経営情報 セリオ様 セリオ本社ビル建築プロジェクトが「CLT建築実証事業」として採択 2024/05/14 経営情報 両備システムズ様 事業拡大のため、岡山市南区豊成に新オフィス建設 2024/05/23 認定 エクシードシステム様 LINEヤフー Partner Program LINEミニアプリ部門「Technology Partner」に認定 2024/05/31 リリース 両備システムズ様 ファイル共有サービス「R-Cloud FileShare」の無料トライアルを受付開始 2024/06/01 イベント SEO SEO親睦フットサル大会 2024/06/03 リリース リゾーム様 商業施設のテナント選びを支援するChatGPTを使ったAIクラウドサービス『PROCOCO』を5月リリース 2024/06/08 イベント 岡山IT座談会 THE岡山IT座談会 2024/06/09 その他 岡山大学様 産学官連携「おかやまデジタルイノベーション創出プラットフォーム」設立 2024/06/10 リリース 両備システムズ様 AI画像解析による物流の数量確認の時間を短縮できるAIカウントツール「CountShot」などを使ったサービスを提供 2024/06/10 リリース アイアットOEC様 ノーコードツール「@pocket(アットポケット)」をリリース 2024/06/12 - 2024/06/14 イベント 両備システムズ様 「画像センシング展2024」へ出展 2024/06/14 イベント ネットリンクス様 kintoneでのアプリ作成体験ワークショップ開催 2024/06/15 イベント フィネット様 Geeks Who Drink in Okayama 20224/06/17 ピープルソフトウエア様 リリース 複数映像の自動切り替えソフトウェア「Intelligent Switching」をリリース 2024/06/18 経営情報 セリオ様 役員異動:取締役 的野秀明氏が任期満了により退任 2024/06/20 リリース アイアットOEC様 ノーコードツール「@pocket(アットポケット)」をリリース 2024/06/22 イベント Okayama.

Azure OpenAIの各デプロイメントタイプ

  • POST
Azure OpenAIの各デプロイメントタイプ はじめに Azure OpenAIでは、モデルをデプロイするときに5つのデプロイメントタイプを選択することができます。 この記事では、Azure OpenAIのそれぞれのデプロイメントタイプについて紹介します。 Azure OpenAI のデプロイメントタイプ Azure Open AIでは、以下の5つのデプロイメントタイプが存在します。 Standard Provisioned Global Standard Global Provisioned Global Batch Azure公式ドキュメント: Azure OpenAI デプロイメントタイプ Azure公式ドキュメント: Azure Open価格 Standard Standardは、Azure OpenAIのサービス開始当初からあるデプロイメントタイプです。 モデルのデプロイ時に設定したTPM(1分当たりのトークン数)を処理上限として、APIのコール時に使用したトークン数に応じて従量課金される形式になっています。 データを処理するリージョンは、作成したAzure OpenAIリソースのリージョンで固定されるため、データを処理する所在地の指定があるリージョンでの利用に適しています。 Azure公式ドキュメント: Azure OpenAI デプロイメントタイプ Provisioned Provisionedは、月間または、年間通して使用するスループット(PTU: Provisioned Throughput)を事前予約することができるデプロイメントタイプ。 事前にモデルの処理可能量にあたるPTUを購入することで、以下のメリットが得られます。 Azure公式ドキュメント: Azure OpenAI Provisioned Throughput 一貫したレイテンシ: レートリミットによる429エラーの発生が抑止され、応答時間が安定する コストの削減: 月間または、年間通しての利用により従量課金よりも安いコストでOpenAIを利用できる デメリットとしては、 未使用時のコストの増加: 事前にPTUを購入するため、使用量が少ない場合にもコストが発生する Azure OpenAIのモデルバージョンごとに、購入できるPTUの単位や、PTU当たりの処理能力(単位時間当たりで何トークン処理できるかなど)は異なります。 PTU当たりの処理能力や、PTU当たりの料金はドキュメントに記載がないが、Azure OpenAI Studioのモデルのデプロイの画面から、 プロンプトトークン、生成トークン、1分当たりのピーク時のリクエスト数から必要な推定PTUを算出と価格の確認が可能です。 Global Standard/Provisioned Globalデプロイメントは、Azure基盤側でAzure Open AIへの各リクエストを最も可用性の高いリージョンのデータセンターにルーティングすることで、 通常のデプロイメントタイプよりも高い可用性を提供するデプロイメントタイプ。

PowerAutomate WorkflowからTeamsのチャネルにメッセージを通知

  • POST
PowerAutomateワークフローからTeamsのチャネルにメッセージを通知 はじめに この記事ではAzure MonitorのアラートをMicrosoft Teamsに通知する方法を紹介します。 PowerAutomateワークフローを作成する ワークフローを作成する場合、 PowerAutomateのWEBサイトか、 TeamsのWEBサイトまたはアプリから作成が可能です。 この記事では、 Teamsアプリからワークフローの作成を行います。 PowerAutomate 以下の手順で作成を行います。 通知対象のチャネルのメニューからワークフローを選択する Webhook要求を受信するとチャネルに投稿する ワークフローの名前を入力し、ワークフローを追加 追加後に表示されるワークフローのURLを控える Adaptive Cardでの通知 ワークフローから通知を行う際は、 メッセージの形式をAdaptive Cardにする必要があります。 Adaptive Cardは、 JSONで記述されたUI要素を、 アプリケーションで表示する際のJSONの標準フォーマットです。 Adaptive Cardは、 Teams、 Outlook、 Androidアプリ、 iOSアプリなどのマルチプラットフォームに対応(Adaptive)しています。 以下のサイトで、 Adaptive Cardのプレビューが可能です。 Designer | Adaptive Cards Adaptive Cardで通知を行うPythonコード ワークフローの作成完了後は、 ワークフローのURLに通知を送信するPythonコードを用意します。 .env TEAMS_WEBHOOK_URL=※コピーしたワークフローのURLを設定 main.py 以下のコードはテキスト、 テーブル、 ファクトセットの3 種類メッセージをポストする。 import os import requests from dotenv import load_dotenv load_dotenv() # URL取得 WEBHOOK_URL = os.