紫东太初

紫东太初 是由 中国科学院自动化研究所 、 华为公司 、 武汉东湖高新区 三方联合发布的跨模态通用人工智能平台，全球首个 图、文、音 （视觉、文本、语音）三模态预训练模型。其核心能力包括多模态理解与生成，可支撑全场景AI应用。

主要特点
多模态融合：实现图像、文字、语音及视频的统一表示和互相生成，首次支持“以图生音”“以音生图”功能。
千亿参数规模：作为全球首个千亿级参数多模态大模型，具备强大的跨模态推理和复杂任务求解能力。
应用场景：已应用于智慧城市交通管理、建筑设计、智能制造等领域，通过多模态数据分析提供优化方案。

技术突破
紫东太初3.0版本（2 024年11月发布）实现了从模态独立编码到多模态统一编码的转变，在语言能力、视觉语言能力等方面与 GPT-4o 相当，OCR类能力超越其3个百分点，简单任务规划能力领先5个百分点。