【AiBase提要:】“I”:视频输入。GPT-4V对视频的理解还相当原始，因为它将视频视为一系列离散图像。减少信息冗余的最聪明方法是什么?学习目标应该是什么?下一帧预测与下一个单词预测有着明显的类比关系，但它是否是最佳的?如何与语言交错?如何引导机器人和人工智能的视频学习?业界尚未达成共识。
2023年，我们看到了扩散模型推理速度方面的一些重大理论改进，例如Song等人的原始一致性模型论文，以及最近的LCM。（另外，对抗扩散蒸馏。）我们已经开始看到使用这些想法的项目，例如Dan Wood的Art Spew(每秒77512×512图像，在单个4090上)、Modal的Turbo.art(基于SDXL Turbo) 和fal.ai的30fps脸部交换。
近几年，不少品牌将目光放在了抖音、快手等新兴平台上，但随着行业红利消退，抖音、快手等内容平台大做货架电商，淘宝大搞内容化，几大主流平台又形成了某种均衡。此时，部分品牌开始重新思考淘宝的价值。
BakLLaVA是使用LLaVA1.5架构增强的Mistral7B基础模型，具备更好的性能和商用能力。BakLLaVA在多个基准测试中优于LLaVA213B，并且可以在某些数据上进行微调和推理。虽然BakLLaVA在训练过程中使用了LLaVA的语料库，不允许商用，但BakLLaVA2则采用了更大的数据集和更新的架构，超越了当前的LLaVA方法，具备商用能力。