10月2日消息，美東時間10月1日OpenAI舉行了年度開發(fā)者大會DevDay，推出系列新工具，包括四大創(chuàng)新：實時API（Realtime API）、視覺微調（Vision Fine-Tuning）、提示詞緩存（Prompt Caching）、模型蒸餾（Model Distillation），為開發(fā)者帶來在降低模型成本、提高模型視覺理解水平、提升語音AI功能和小模型性能的新選擇。在OpenAI官網，上述功能介紹已經做了全面更新，一起看看。

實時 API（Realtime API）

OpenAI DevDay發(fā)布了Realtime API，目前處于公開測試beta階段。

Realtime API 能夠構建低延遲、多模式對話體驗。它目前支持文本和音頻作為輸入和輸出，以及函數(shù)調用。Realtime API 中的音頻功能由新的 GPT-4o 模型“gpt-4o-realtime-preview”提供支持。

通過此更新，開發(fā)人員可以將任何文本或音頻輸入傳遞到 GPT-4o，并讓模型以他們選擇的文本、音頻或兩者做出響應。

本質上，Realtime API 簡化了構建語音助手和其他對話式 AI 工具的過程，無需將多個模型拼接在一起進行轉錄、推理和文本到語音的轉換。

Realtime API 定價方面，Realtime API 同時使用文本tokens和音頻tokens。文本輸入tokens的價格為5 美元/百萬tokens，輸出tokens的價格為20 美元/百萬tokens。音頻輸入的價格為100 美元/百萬tokens，輸出的價格為200美元/百萬tokens。這相當于每分鐘音頻輸入約 0.06 美元，每分鐘音頻輸出約 0.24 美元。

視覺微調（Vision Fine-Tuning）

OpenAI DevDay公布，OpenAI最新的大語言模型（LLM） GPT-4o 引入了視覺微調。此功能讓開發(fā)人員可以自定義模型以獲得更強大的圖像理解能力，從而實現(xiàn)增強的視覺搜索功能、改進的自動駕駛汽車或智能城市的物體檢測以及更準確的醫(yī)學圖像分析等應用。

視覺微調遵循與文本微調類似的過程——開發(fā)人員可以準備他們的圖像數(shù)據(jù)集，然后將該數(shù)據(jù)集上傳到Open AI的平臺。他們可以用少至 100 張圖像來提高 GPT-4o 在視覺任務中的性能，并使用更大量的文本和圖像數(shù)據(jù)來提高性能。

OpenAI舉例稱，東南亞食品配送和拼車公司Grab已經利用這項技術改進其地圖服務。僅使用 100 個示例進行視覺微調，教會 GPT-4o 正確定位交通標志并計算車道分隔線以優(yōu)化其地圖數(shù)據(jù)，結果，與基礎 GPT-4o 模型相比，Grab 能夠將車道計數(shù)準確度提高 20%，限速標志定位率提高13%。

價格方面，截至 2024年10月31日，OpenAI每天免費提供100萬tokens，以使用圖像微調 GPT-4o。2024 年 10 月 31 日之后，GPT-4o 微調訓練將花費每 100 萬tokens 25 美元，推理將花費每 100 萬個輸入tokens 3.75 美元和每 100 萬個輸出tokens 15 美元。圖像輸入首先根據(jù)圖像大小進行標記，然后按與文本輸入相同的每令牌費率定價。

提示詞緩存（Prompt Caching）

提示詞緩存被視為本次DevDay發(fā)布的最重要更新。該功能旨在降低開發(fā)者的成本、減少延遲。

許多開發(fā)人員在構建 AI 應用程序時，會在多個 API 調用中重復使用相同的上下文，例如在編輯代碼庫或與聊天機器人進行長時間的多輪對話時。今天，我們推出了提示詞緩存（Prompt Caching），讓開發(fā)人員可以降低成本和延遲。通過重復使用最近處理的輸入token，開發(fā)人員可以獲得 50% 的折扣和更快的提示詞處理時間。

目前，提示詞緩存（Prompt Caching）已自動應用于最新版本的 GPT-4o、GPT-4o mini、o1-preview 和 o1-mini，以及這些模型的微調版本。與未緩存的提示相比，緩存的提示可享受折扣。

模型蒸餾（Model Distillation）

OpenAI 推出了一款新的模型蒸餾產品，為開發(fā)人員提供集成的工作流程，以直接在 OpenAI 平臺內管理整個蒸餾流程。

這讓開發(fā)人員可以輕松使用前沿模型（如 o1-preview 和 GPT-4o）的輸出來微調和提高更具成本效益的模型（如 GPT-4o mini）的性能，讓小模型也可擁有尖端模型功能。

這種方法讓小公司也可能利用與尖端模型類似的功能，并且無需承擔使用這類模型的計算成本。例如一家從事醫(yī)療技術的小型初創(chuàng)公司要為農村的診所開發(fā)一種AI 驅動的診斷工具。使用模型蒸餾，該公司可以訓練一個緊湊的模型，該模型可以捕捉大模型的大部分診斷能力，同時只需要在標準的筆記本電腦或平板電腦上運行。

生成海報

免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現(xiàn)的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。