如何運用 Anthropic Claude Messages API 體驗 Claude3 強大的視覺化能力

Claude 3 的突出特點之一就是它先進的視覺能力，使它能夠處理並分析圖像數據，幫助使用者更好理解圖表、圖形、照片。

使用者可以利用 Claude Messages API 來開發虛擬助手應用程序，透過這個 API 可以有效地處理使用者與 Anthropic Claude 模型（助手）之間的對話互動。首先，讓我們導入所需的 module 並創建一個名為 run_multi_modal_prompt 的函數。

在這個函數中，將必要的參數（如 anthropic_version、max_token 和 messages）以 JSON格式打包到 body 中。messages 將包含 Multimodal prompt，這部分稍後討論。

接下來，利用 invoke_model 函數調用 Amazon Bedrock，通過提供 model_id 指定使用 Claude 3，然後解析 response 並返回生成的內容。 為了檢驗 Claude3 強大的視覺化的能力，準備了 2 張女子照片，並將其編碼為 base64。

接下來，為模型構建一個 multimodal prompt。multimodal prompt 允許使用者可以在 content input field 中指定類型為圖像或文本，比如說把兩張女子圖給模型，並請 Claude3 描述兩張圖的差異。

將看到模型如以下回覆：

這兩張圖片顯示的是同一位年輕漂亮的金髮女性。她淺色眼眸、紅潤的嘴唇和溫柔的表情都讓她看起來相當迷人。不同之處在於她穿著的服裝有細微區別。第一張照片她身穿一件白色上衣，上面有一些藍色和紅色的刺繡圖案裝飾。第二張照片她穿的是一件白色蕾絲邊飾的上衣，顯得更加細緻純淨。兩張照片的背景都是柔和的灰色調，讓焦點集中在她悅目的面容和金髮上。總的來說，兩張圖片呈現出同一位秀麗動人的女性不同裝扮下的優雅形象。

除了識別兩張圖片的差異之外，Claude3 也可以用來分析圖表，接著來看下一個例子，希望 Claude3 可以專業地分析下圖 A 公司與 B 公司營收圖表的內容。

接著稍微調整一下 user_message 與 system_prompt 的內容，並呼叫 run_multi_modal_prompt 函數。

將看到模型如以下回覆：

這張圖表呈現了兩家公司 A 和 B 在 2023 年 1 月到 12 月期間的營業收入變化趨勢。橫軸代表時間軸，縱軸則顯示營收數值。藍色折線代表 A 公司的營收，橙色折線則代表 B 公司的營收。從圖表可以看出， A 公司的營收在前半年逐步上升，達到高峰 9.7 後開始驟降，最終在 12 月下探至 2.0 的低點。相反地，B 公司的營收呈現持續上升的趨勢，從 1 月的 0.6 逐步攀升至 12 月的 10。總的來說，該圖清晰呈現了兩家公司在 2023 年營收表現的明顯差異，其中 B 公司營收穩健增長，而 A 公司營收則出現了明顯的下滑。不過,由於缺乏更多背景資訊，圖表本身無法解釋造成這種差異的具體原因。

除此之外，Claude3 也可以識別手寫字體，接著來看下一個例子，希望 Claude3 可以解析下圖手寫菜單，並告知特定品項的價格。

接著稍微調整一下 user_message 且這次嘗試不輸入 system_prompt 的內容，並呼叫 run_multi_modal_prompt 函數。

將看到模型如以下回覆：

根據圖片上的資訊，一杯不加糖可可的 L size （大杯）價格是 150 元。菜單上顯示＂不加糖可可 M 120元、L 150元＂，所以一杯不加糖可可的大杯（L size）價格是150 元。

有興趣的朋友也不妨試試！