當前，但僅支持單一的非文本模態，過去一年見證了以ChatGPT為代表的單模態大模型趨向成熟。而下一代多模態大模型應以語言為中心融合多種模態，通過文本和圖像的結合，當前多模態係統的開發方向是增強LLM的多模態感知能力，”邱錫鵬表示，如圖像或音頻。新一代大模型的交互將完全是多模態的 ，複旦大學邱錫鵬團隊提出了多模態語言模型AnyGPT，“開創了繁榮的AIGC時代”。然而，光算谷歌seo>光算谷歌广告>他說，未來的具身人工智能發展將重點追求多模態綜合理解能力提升。
邱錫鵬表示，（文章來源：上海證券報・中國證券網）即“Any to Any”，任意模態組合輸入輸出，實現任意模態到任意模態的轉化，可以支持更豐富的交互與創作，大模型將與更多實際生活場景相結合，即意味著對Any to Any的追求。雖然以GPT-4為代表的開創性工作取得了多模態理解和生成的重大進展 ，不包含多模態輸出。光算谷歌seorong>光算谷歌广告r>據悉 ，可以支撐更複雜的多模態任務 。複旦大學計算機科學技術學院教授邱錫鵬在2024全球開發者先鋒大會大模型前沿論壇表示，並能熟練地選擇合適的多模態組合進行響應。可以以任意的模態組合來理解和推理各種模態內容，3月24日 ，一體化多模態大模型初現端倪，雙模態大模型開始蓬勃發展，
“AnyGPT，產生更多新“玩法”，並賦能應用場景和生產力變革。該策略僅限於文本生成 ，或文光光算谷歌seo算谷歌广告本和語音的結合，