探索Generative AI 與 Bedrcok
很開心今天有這個機會與大家分享Generative AI 與 Bedrock的功能亮點，以及後續可以如何使用在商業應用服務之中。
以一個資訊業工作者來看AWS推出的這項服務，真的是太開心了，因為早年的人工智能(AI)還有機器學習(ML)門檻較高，不僅要懂不同的AI模組框架，還有行業別的Domain Know-How要了解，資料收集及處理也都是要花費不小的功夫，如果沒有足夠的時間跟人力根本就連碰都不敢碰。
而現在AWS推出的Bedrock讓這一切都變得更加簡單，我們可以透過API的呼叫就能輕鬆完成！讓人不禁喊一聲「太神啦！」，我們會透過幾個部分的介紹，讓各位可以簡單的了解這一切是怎麼出現的，事不宜遲，那我們就開始窺探這一切吧！
Generative AI趨勢與大語言模型(LLM)
AI的未來就是現在
在了解這一且之前，請容許筆者在這邊講古一下，早期的數位轉型大部分是著重在基礎設施上的進化，打個比方來說，我們將地端的機器推上雲端，或是讓我們配置容器化，抑或是在我們流程當中加入DevOps，BUT！最重要的就是這個BUT，生成式AI大大改變了AI的進程。
根據調查，其實現在95%的企業分析師認為，AI納入數位轉型非常重要，也有高達80%的企業報告中指出，他們有使用一樣或多樣的人工智慧運行在他們的商業活動或是生產流程當中，我們也不難想像，未來將會更多更多的AI服務被使用在企業的工作之中。AI也驅動了商業結果，有81%的企業在使用了AI後，不到兩年的時間內，報告了積極的"被"投資報酬率。
AI的使用情境與投資
沒圖沒真相，讓我們看到IDE在7月份做出的調查：
我們首先看到最左邊的辣個圈圈，已經約有78%的組織，不是已經用了Generative AI 就是走在Generative AI的路上，但時至今日我相信真實的數字應該更多了，因為他真的可以節省大量的時間，最直觀的方式就是問問你身旁邊的同事或是朋友，在Coding、寫文案、產生圖片抑或是製作影音的時候，是不是或多或少有用上各種AI的輔助工具，以便更有效率地完成目標。
緊接著看到中間這些藍色的長條圖，這個圖代表描述的是哪些領域因為Generative AI的加入產生巨大的變化，第一個當然就是軟體開發，網路上有太多開源專案可以被Generative AI學習，對於程式碼編寫的能力有著巨大的進步，第二個是產品開發，雖然Generative AI 沒辦法直接幫我們開發產品，不過LLM可以透過我們所收集的大量資訊，協助我們全方面的思考用以設計更為精良的產品，筆者本身也常常使用Generative AI去輔助撰寫一些文件，讓文件的架構更加完整。
受規範的Generative AI
因為上述的這些例子，我們可以知道的Generative AI 絕對是大量的被應用在工作上，但也因為Generative AI的流行，大量的資料都可以透過它找到，因此產生了一些隱憂。舉例來說，ChatGPT可以說是OpenAI最著名的產品，人人都在使用它，這對OpenAI本身其實造成了不小的壓力，前陣子也有GPT收集了太多不應該出現的資訊，回答出不該回答的內容，進而造成了企業的傷害。也因為如此，有部分的企業不准員工在工作中使用ChatGPT。
但我們都知道Generative AI絕對是商業趨勢，但是符合企業需求的是「受規範下的Generative AI」，有受到規範，才能合宜的完成商業任務。
Generative AI當中的各種LLM
我們都知道近幾年的LLM模型不論是商用的、還是開源的，都如雨後春筍般陸續冒出來，不難發現大家對於Generative AI當中的LLM投注了相當的心力。
我們簡單介紹幾個大家熟悉的LLM：
- GPT-Models
OpenAI推出許多的LLM模型，除了我們們熟知的ChatGPT還有近期發布的GPT-4，GPT模型引起了AI社群的極大興趣，這些模型具有專有授權，這是一種非開源授權，需要用戶支付費用並施加一些使用限制。
- LLaMA 2
由Meta開發的開源LLM。LLaMA用途在幫助研究人員推進LLM領域的工作。它有多種大小可供選擇，參數範圍從7到650億個參數不等，旨在透過需要更少的運算能力和資源來實現LLM存取。
- PaLM-2
由Google開發的下一代大型語言模型。PaLM-2基於Google先前在AI領域的研究，並已在2023年5月的年度I/O主題演講中宣布。
- Claude v2
Claude AI於2022年4月首次發布，是人工智慧安全新創公司 Anthropic 與 AWS 合作推出的人工智慧聊天機器人。Anthropic 採用一種名為「憲法人工智慧」的技術進行訓練，旨在創建對人類有幫助的人工智慧系統。
這邊筆者再針對上述幫大家補充一些內容，我們都知道GPT-4對於To C的部分根本就是超級好用！但也衍生出兩大缺點，就是花費以及內容保護的部分，簡單來說因為人人都在用GPT的關係，它背後的機器需要巨大的算力來支持，巨大的算力也代表巨大的花費，我們都有聽說過OpenAI每天在這方面的費用就高達70萬美金；也因為To C的部分做的非常好，反面來看對於To B的商業內容或是行為保護上可能就沒有這麼優秀。 LLaMa 2也就是大家戲稱的草尼馬，他的設計就是更偏向商業用途，目的是減少算力也能達到跟一般的LLM一樣的目的。PaLM 2是GCP的LLM，也是想要做到減少使用資源的概念。最後一個可能是大家比較陌生的Claude V2，他是由Antheopic與AWS合作推出的人工智慧交談式應用，短短一年多的時間，就回覆內容與基礎模型上來說，他已經足以媲美ChatGPT的解決方案，另外有一點非常特殊，就是上面也有提到過的「憲法式人工智慧」，Claude使用這種方式進行資料模型的訓練，可以造就我們前面也有提到過，「受規範的Generative AI。
Claude AI 大語言模型概述
相信大家對於什麼叫做憲法式的人工智慧這個描述，可能會有點好奇，意思是這個LLM懂法律嗎？還是他對於憲法很有一套呢？請施主切勿著急，待貧僧娓娓道來。
Claude確實是基於LLM產生自然文本，基於訓練好的模型進行問答、文本摘要、情緒分析等等，但隨著時間的演進，能夠透過持續的回饋進而去學習更自然、更有吸引力的對話模式。而為了避免有害的結果，他遵循著HHH架構(Helpful、Honest、Harmless)，協助用戶提供真實訊息，避免參與有爭議的活動等，為的也是防止用戶被欺騙或收到操縱訊息，給予足夠的誠信。最後就要來解釋憲法式的人工智慧，Claude在被創造時，開發者就像是把他當成「人」來看待，因此名稱取的其他的LLM有些不一樣，擁有人一般的名稱Claude，那身為一個人，就跟我們一樣需要遵從法律的約束，憲法式的人工智慧指的就是如此，Claude無須人工幫助即可遵守HHH原則，就像遵從著法律一般，在這樣的訓練下，更加的安全也更加的透明。也就是因為如此，如果內容上需要審核謹慎或是處理敏感訊息，Claude在這方面的應用會是一個很好的選擇。
至於與Claude的互動方式也非常的簡單，可以透過AWS的控制台在聊天介面中與Claude交談，也可以透過API與之互動，將Claude與商業產品/軟體進行整合，並讓客戶再與這些產品進行互動。
AWS Bedrock
剛剛講了這麼多關於Claude的內容，那我們可以從哪裡去使用他呢？聰明的你一定還記得，沒錯就是透過AWS Bedrock。
AWS Bedrock是一個掛載多個LLM的平台，除了提供基礎的模型簡化自訂義的模型建構外，大大簡化了建構LLM的難度，並且可以快速整合AWS上的其他服務，例如S3、EKS、EC2、Lambda等等，簡單來說他就是所謂的Foundation Models(FM)。
何謂Foundation Models(FM)
Foundation Model直接翻譯就是基礎模型，跟我們以往的Machine Learning(ML)差異在於，FM是有做過預先訓練過的模型，這讓AI訓練模型的門檻大大降低，透過FM就就不需要為不同模型訓練準備大量不同的資料，可以快速的搭建自己的LLM訓練。我知道你可能覺得有點抽象，所以請看下圖：
使用傳統ML模型
我要做不同的Tasks需要針對不同領域去準備大量的單一領域資訊與資料，而且訓練出來的AI只能針對我所提供的單一領域去回答問題，舉例來說大家應該都有聽過AlphaGo，對於圍棋方面的能力可能已經沒有人可以匹敵，但AlphaGo沒有辦法回答圍棋以外的問題。
採用基礎模型FM
基礎模型在我們使用他之前，就已經經歷了「預學習(Pre-train)」，所以不論後續提出什麼樣的問題，他都會以原先的學習內容進行回答，如果希望他回答的更加完整，就可以在Data Source新增相對應的資訊，補足FM的知識。
AWS Bedrock關鍵優勢
AWS Bedrock是一種託管服務，所以用戶不需要花費大量的資源搭建自己LLM所需要的Infra，減去了不少的功夫，只要透過API就可以開始進行溝通，並且開始使用，訓練自己的LLM。也因為他是在AWS上的服務，所以可以透過AWS的機制，運用更安全的方式去保護資料。
AI在商業上的應用
AI在商業上的應用，大致上分為三個方向：
1. 增強客戶體驗
不管是Chatbot與虛擬助理，可以根據不同情境及時的回答使用者問題，可以進行更多的個人化服務。
2. 提高員工生產力
需要閱讀大量的文件常常讓人無所適從，透過Generative AI幫忙消化抓取重點，提高員工學習的狀況，進而提升整體公司的產能。
3. 改善業務營運
一間公司平時的運營可能需要確認很多事情，以媒體業者來說，所有的文章審核及圖像幾乎都需要進行審核，避免有違規的內容產生，透過AI可以更快速的達成，並且提供替代方案。再以工廠端為例，根據日常維運的資料顯示讓AI直接進行監控，並對一些異常行為進行檢測，並發出相對應的通知。
智慧會話代理趨勢
如果大家欠缺一個可以開始的方向，可以以智慧對話的方式當成第一個專案，就趨勢預測來看，來年超過80%的企業聊天機器人將用於自動化的完成交付的一個或多個任務，或是主動提供建議。近幾年間，將會有將近一半的Chatbot可以進行更有溫度的客戶服務，甚至是像是Siri或Alexa一樣的私人助理，可以幫忙更新行事曆甚至發送Email。更多人使用人工智慧對話的應用，市場規模將成長30%，而且成本不但不會上升，還有可能下降30％！
結語
這邊關於Generative AI跟Bedrock的介紹就到這邊啦！如果對於如何將AI帶入您的商業活動，或是想要用LLM創造更高的價值，也歡迎聯絡我們網創資訊，那就先這樣，大家掰掰！
探索Generative AI 與 Bedrcok
很開心今天有這個機會與大家分享Generative AI 與 Bedrock的功能亮點，以及後續可以如何使用在商業應用服務之中。
以一個資訊業工作者來看AWS推出的這項服務，真的是太開心了，因為早年的人工智能(AI)還有機器學習(ML)門檻較高，不僅要懂不同的AI模組框架，還有行業別的Domain Know-How要了解，資料收集及處理也都是要花費不小的功夫，如果沒有足夠的時間跟人力根本就連碰都不敢碰。
而現在AWS推出的Bedrock讓這一切都變得更加簡單，我們可以透過API的呼叫就能輕鬆完成！讓人不禁喊一聲「太神啦！」，我們會透過幾個部分的介紹，讓各位可以簡單的了解這一切是怎麼出現的，事不宜遲，那我們就開始窺探這一切吧！
Generative AI趨勢與大語言模型(LLM)
AI的未來就是現在
在了解這一且之前，請容許筆者在這邊講古一下，早期的數位轉型大部分是著重在基礎設施上的進化，打個比方來說，我們將地端的機器推上雲端，或是讓我們配置容器化，抑或是在我們流程當中加入DevOps，BUT！最重要的就是這個BUT，生成式AI大大改變了AI的進程。
根據調查，其實現在95%的企業分析師認為，AI納入數位轉型非常重要，也有高達80%的企業報告中指出，他們有使用一樣或多樣的人工智慧運行在他們的商業活動或是生產流程當中，我們也不難想像，未來將會更多更多的AI服務被使用在企業的工作之中。AI也驅動了商業結果，有81%的企業在使用了AI後，不到兩年的時間內，報告了積極的"被"投資報酬率。
AI的使用情境與投資
沒圖沒真相，讓我們看到IDE在7月份做出的調查：
我們首先看到最左邊的辣個圈圈，已經約有78%的組織，不是已經用了Generative AI 就是走在Generative AI的路上，但時至今日我相信真實的數字應該更多了，因為他真的可以節省大量的時間，最直觀的方式就是問問你身旁邊的同事或是朋友，在Coding、寫文案、產生圖片抑或是製作影音的時候，是不是或多或少有用上各種AI的輔助工具，以便更有效率地完成目標。
緊接著看到中間這些藍色的長條圖，這個圖代表描述的是哪些領域因為Generative AI的加入產生巨大的變化，第一個當然就是軟體開發，網路上有太多開源專案可以被Generative AI學習，對於程式碼編寫的能力有著巨大的進步，第二個是產品開發，雖然Generative AI 沒辦法直接幫我們開發產品，不過LLM可以透過我們所收集的大量資訊，協助我們全方面的思考用以設計更為精良的產品，筆者本身也常常使用Generative AI去輔助撰寫一些文件，讓文件的架構更加完整。
受規範的Generative AI
因為上述的這些例子，我們可以知道的Generative AI 絕對是大量的被應用在工作上，但也因為Generative AI的流行，大量的資料都可以透過它找到，因此產生了一些隱憂。舉例來說，ChatGPT可以說是OpenAI最著名的產品，人人都在使用它，這對OpenAI本身其實造成了不小的壓力，前陣子也有GPT收集了太多不應該出現的資訊，回答出不該回答的內容，進而造成了企業的傷害。也因為如此，有部分的企業不准員工在工作中使用ChatGPT。
但我們都知道Generative AI絕對是商業趨勢，但是符合企業需求的是「受規範下的Generative AI」，有受到規範，才能合宜的完成商業任務。
Generative AI當中的各種LLM
我們都知道近幾年的LLM模型不論是商用的、還是開源的，都如雨後春筍般陸續冒出來，不難發現大家對於Generative AI當中的LLM投注了相當的心力。
我們簡單介紹幾個大家熟悉的LLM：
- GPT-Models
OpenAI推出許多的LLM模型，除了我們們熟知的ChatGPT還有近期發布的GPT-4，GPT模型引起了AI社群的極大興趣，這些模型具有專有授權，這是一種非開源授權，需要用戶支付費用並施加一些使用限制。
- LLaMA 2
由Meta開發的開源LLM。LLaMA用途在幫助研究人員推進LLM領域的工作。它有多種大小可供選擇，參數範圍從7到650億個參數不等，旨在透過需要更少的運算能力和資源來實現LLM存取。
- PaLM-2
由Google開發的下一代大型語言模型。PaLM-2基於Google先前在AI領域的研究，並已在2023年5月的年度I/O主題演講中宣布。
- Claude v2
Claude AI於2022年4月首次發布，是人工智慧安全新創公司 Anthropic 與 AWS 合作推出的人工智慧聊天機器人。Anthropic 採用一種名為「憲法人工智慧」的技術進行訓練，旨在創建對人類有幫助的人工智慧系統。
這邊筆者再針對上述幫大家補充一些內容，我們都知道GPT-4對於To C的部分根本就是超級好用！但也衍生出兩大缺點，就是花費以及內容保護的部分，簡單來說因為人人都在用GPT的關係，它背後的機器需要巨大的算力來支持，巨大的算力也代表巨大的花費，我們都有聽說過OpenAI每天在這方面的費用就高達70萬美金；也因為To C的部分做的非常好，反面來看對於To B的商業內容或是行為保護上可能就沒有這麼優秀。 LLaMa 2也就是大家戲稱的草尼馬，他的設計就是更偏向商業用途，目的是減少算力也能達到跟一般的LLM一樣的目的。PaLM 2是GCP的LLM，也是想要做到減少使用資源的概念。最後一個可能是大家比較陌生的Claude V2，他是由Antheopic與AWS合作推出的人工智慧交談式應用，短短一年多的時間，就回覆內容與基礎模型上來說，他已經足以媲美ChatGPT的解決方案，另外有一點非常特殊，就是上面也有提到過的「憲法式人工智慧」，Claude使用這種方式進行資料模型的訓練，可以造就我們前面也有提到過，「受規範的Generative AI。
Claude AI 大語言模型概述
相信大家對於什麼叫做憲法式的人工智慧這個描述，可能會有點好奇，意思是這個LLM懂法律嗎？還是他對於憲法很有一套呢？請施主切勿著急，待貧僧娓娓道來。
Claude確實是基於LLM產生自然文本，基於訓練好的模型進行問答、文本摘要、情緒分析等等，但隨著時間的演進，能夠透過持續的回饋進而去學習更自然、更有吸引力的對話模式。而為了避免有害的結果，他遵循著HHH架構(Helpful、Honest、Harmless)，協助用戶提供真實訊息，避免參與有爭議的活動等，為的也是防止用戶被欺騙或收到操縱訊息，給予足夠的誠信。最後就要來解釋憲法式的人工智慧，Claude在被創造時，開發者就像是把他當成「人」來看待，因此名稱取的其他的LLM有些不一樣，擁有人一般的名稱Claude，那身為一個人，就跟我們一樣需要遵從法律的約束，憲法式的人工智慧指的就是如此，Claude無須人工幫助即可遵守HHH原則，就像遵從著法律一般，在這樣的訓練下，更加的安全也更加的透明。也就是因為如此，如果內容上需要審核謹慎或是處理敏感訊息，Claude在這方面的應用會是一個很好的選擇。
至於與Claude的互動方式也非常的簡單，可以透過AWS的控制台在聊天介面中與Claude交談，也可以透過API與之互動，將Claude與商業產品/軟體進行整合，並讓客戶再與這些產品進行互動。
AWS Bedrock
剛剛講了這麼多關於Claude的內容，那我們可以從哪裡去使用他呢？聰明的你一定還記得，沒錯就是透過AWS Bedrock。
AWS Bedrock是一個掛載多個LLM的平台，除了提供基礎的模型簡化自訂義的模型建構外，大大簡化了建構LLM的難度，並且可以快速整合AWS上的其他服務，例如S3、EKS、EC2、Lambda等等，簡單來說他就是所謂的Foundation Models(FM)。
何謂Foundation Models(FM)
Foundation Model直接翻譯就是基礎模型，跟我們以往的Machine Learning(ML)差異在於，FM是有做過預先訓練過的模型，這讓AI訓練模型的門檻大大降低，透過FM就就不需要為不同模型訓練準備大量不同的資料，可以快速的搭建自己的LLM訓練。我知道你可能覺得有點抽象，所以請看下圖：
使用傳統ML模型
我要做不同的Tasks需要針對不同領域去準備大量的單一領域資訊與資料，而且訓練出來的AI只能針對我所提供的單一領域去回答問題，舉例來說大家應該都有聽過AlphaGo，對於圍棋方面的能力可能已經沒有人可以匹敵，但AlphaGo沒有辦法回答圍棋以外的問題。
採用基礎模型FM
基礎模型在我們使用他之前，就已經經歷了「預學習(Pre-train)」，所以不論後續提出什麼樣的問題，他都會以原先的學習內容進行回答，如果希望他回答的更加完整，就可以在Data Source新增相對應的資訊，補足FM的知識。
AWS Bedrock關鍵優勢
AWS Bedrock是一種託管服務，所以用戶不需要花費大量的資源搭建自己LLM所需要的Infra，減去了不少的功夫，只要透過API就可以開始進行溝通，並且開始使用，訓練自己的LLM。也因為他是在AWS上的服務，所以可以透過AWS的機制，運用更安全的方式去保護資料。
AI在商業上的應用
AI在商業上的應用，大致上分為三個方向：
1. 增強客戶體驗
不管是Chatbot與虛擬助理，可以根據不同情境及時的回答使用者問題，可以進行更多的個人化服務。
2. 提高員工生產力
需要閱讀大量的文件常常讓人無所適從，透過Generative AI幫忙消化抓取重點，提高員工學習的狀況，進而提升整體公司的產能。
3. 改善業務營運
一間公司平時的運營可能需要確認很多事情，以媒體業者來說，所有的文章審核及圖像幾乎都需要進行審核，避免有違規的內容產生，透過AI可以更快速的達成，並且提供替代方案。再以工廠端為例，根據日常維運的資料顯示讓AI直接進行監控，並對一些異常行為進行檢測，並發出相對應的通知。
智慧會話代理趨勢
如果大家欠缺一個可以開始的方向，可以以智慧對話的方式當成第一個專案，就趨勢預測來看，來年超過80%的企業聊天機器人將用於自動化的完成交付的一個或多個任務，或是主動提供建議。近幾年間，將會有將近一半的Chatbot可以進行更有溫度的客戶服務，甚至是像是Siri或Alexa一樣的私人助理，可以幫忙更新行事曆甚至發送Email。更多人使用人工智慧對話的應用，市場規模將成長30%，而且成本不但不會上升，還有可能下降30％！
結語
這邊關於Generative AI跟Bedrock的介紹就到這邊啦！如果對於如何將AI帶入您的商業活動，或是想要用LLM創造更高的價值，也歡迎聯絡我們網創資訊，那就先這樣，大家掰掰！