人工智慧狀態報告:AI 在 2023 年的進展與展望
人工智慧(AI)技術在 2023 年再次取得長足進步,其應用範圍也擴大到以往未曾想像的領域。根據新一期的《 人工智慧狀態報告 》,語言模型和生成式人工智慧成為本年度重點,相關技術的應用也令人十分驚豔。 語言模型新紀元開啟 強大功能吸睛 在自然語言處理方面,以GPT-3為代表的大型預訓練模型開創新標準,人機對話能力大幅躍進。隨後Meta推出規模更大的Llama系列模型,包含超過13兆字元的訓練數據,帶來更豐富多元的應用能力。 研究人員對Llama-2進行評估,發現其在許多語言任務上表現優異,部分甚至能與ChatGPT看齊。另一位專家指出,Llama-2在對話交流能力上已可與人類而言達到消費級別。 除了模型規模,開放源碼精神也成為重要推手。通過HuggingFace平台分享大量模型,帶動全球開發者共同創新。比如微軟推出適用於程式碼輔助開發的Codex,以及OpenAI陸續推出的基於視覺功能的DALL-E等,促成 AI 助力各行各業。 語言模型研究創新不斷,人機對話能力提升幅度更勝往昔。隨著資料規模與計算能量的增長,有專家預測AI将進一步改寫人類互動模式。 硬體加速助長AI科技成熟 超算技術不斷更新替換,NVIDIA新一代GPUH100於2022年下半年發佈,提供2倍前一代A100效能,並於2023年陸續交貨。H100發布帶動AI行業需求旺盛,NVIDIA2021財年第四季銷售額突破100億美元,較去年同期增長61%,2022會計年度銷售更成長達61.4%。 隨著新一代GPU效能發揮,AI訓練規模不斷擴大。旗艦模型GPT-4據報訓練資料量較上一代增長9.3倍,Meta新一代開源模型Llama-2亦提升40%數據量;同步開源8-10億參數規模的小模型亦不斷湧現。 GPU需求殷切帶動相關產業發展。國內外多家AI 雲端供應商陸續啟用GPU雲服務平台,大型GPU數據中心投入也逐步增加,包括政府研究機構。然而,供應短缺依然困擾業界,高效能GPU難求交貨進一步限制AI研發速度。 除GPU,半導體新技術如FPGA及神經網絡處理器也在實現高效AI訓練。Cerebras等廠商出現Wafer級AI 處理器,吞吐能力遠超傳統GPU,為巨大模型提供更強超算支援。全球AI技術日趨成熟,亟需更多高效定製交貨保障持續進步。 政策框架初成稿 AI監管政策初見起色 隨AI影響日益廣泛,各國政策制定者開始著...