Home
About
Corporate Site
About
kou135
2026年1月21日
Bedrock Prompt Routerによりどれくらいコスト削減ができるのかを検証してみた
こんにちは。APでエンジニアインターンをしている鈴木鴻太です。 今回は、AWS Bedrock の Prompt Router を実装し、実際に複数のLLM を最適に振り分ける仕組みがどれだけのコスト削減を実現できるのかを、ベンチマーク結果を通じて検証してみました。 Bedrock Prompt Router とは? 概要 Bedrock Prompt Router は、ユーザーのクエリに基づいて複数の LLM の応答品質を自動予測 し、最適なモデルを自動選択する仕組みです。これにより品質を維持しながらコストを削減できます。 AWS の公式ドキュメントはこちら: * AWS Bedrock Prompt Router API Reference [https://docs.aws.amazon.com/bedrock/latest/APIReference/API_GetPromptRouter.html] * 詳細解説記事(AWS ブログ) [https://aws.amazon.com/jp/blogs/machine-learning/use-amazon
2025年12月2日
CDKタスクは本当にKiro CLIが有効?Copilot CLIとベンチマーク比較してみた
こんにちは!現在APでインターンをしている学部3年の鈴木鴻太です! 最近、Amazon Q Developerと Kiro CLI が統合されました。そこで今回、性能を測るためにKiro CLI と GitHub Copilot CLI を同じ条件下でベンチマーク比較してみました。 本記事では、5つの段階的難易度のCDKタスクを両CLIに解かせ、LLM-as-a-Judge(LLMによる自動評価)を用いて定量的・定性的に比較した結果をまとめます。 -------------------------------------------------------------------------------- 背景:なぜ比較しようと思ったか AWS開発では、Q devやKiroが有名ですが、逆に以下の疑問が生まれました。 * その他のAI CLIツールで同じLLM(Claude Sonnet 4.5など)を使った場合、推論層(RAG・システムプロンプト等) の違いだけでどれだけ性能が変わるのか? * AWS CDK という「抽象化された IaC」において、どちらのツー