当前位置 : 首页 > 业界 >  

最大CLIP！LAION发布CLIP的扩增定律_今日热议

来源： 时间：2022-12-23 13:17:33


(资料图片仅供参考)

点蓝色字关注“机器学习算法工程师”

设为星标，干货直达！

近日，LAION等机构在Reproducible scaling laws for contrastive language-image learning发布了CLIP的扩增定律（scaling law），其中最大的CLIP为ViT-H/14，基于LAION-2B数据集训练，可以在ImageNet1K数据集上到78.0%的zero-shot准确度，性能超过OpenAI目前开源的CLIP L/14，和Meta AI的FLIP Huge模型性能相当，但是模型已经开源在https://github.com/LAION-AI/scaling-laws-openclip。

论文的实验采用开源数据集LAION-400M和LAION-2B数据集，训练框架采用开源的OpenCLIP，所以论文的实验是可以复现的。训练在1520 NVIDIA A100 GPUs上进行，采用PyTorch DDP分布式训练策略，采用混合精度（但是fp16会不稳定，所以采用bf16，或者基于TF32的float32），训练的batch size在 86-88K之间。实验的总体结论是：扩增定律也明显适用CLIP，当扩增模型，训练数据和算力时，模型在下游任务上有一致性的提升。但是不同的训练数据集表现出不同的扩增系数：OpenCLIP的模型（基于LAION-2B数据集）在图文检索任务上有较大的扩增系数，而OpenAI CLIP模型（基于私有的WebImageText 400M数据集）在zero-shot分类任务上有较强的扩增系数。这个结论和FLIP的结论比较吻合，这说明训练数据集对CLIP的性能确实有比较大的影响。用论文结论的一句话来说就是：Scaling behavior depends on task type and pre-training dataset。更多内容可见论文：https://arxiv.org/abs/2212.07143

上一篇：

下一篇：

X 关闭

最大CLIP！LAION发布CLIP的扩增定律_今日热议

点蓝色字关注“机器学习算法工程师”设为星标，干货直达！近日，LAION等机构在Reproduciblescalinglawsforcontrastive

2022-12-23

大理药业（603963）12月22日主力资金净卖出327.02万元

截至2022年12月22日收盘，大理药业(603963)报收于13 48元，下跌3 65%，换手率2 41%，成交量5 28万手，成交额7241 47万元。

2022-12-23

当前简讯:交通事故赔偿范围有哪些？有哪些赔偿标准？

交通事故赔偿项目，是指交通事故当中肇事者给予受害者的赔偿所包含的项目，主要包括医疗费、误工费、护理费、交通费、住宿费、住院期间伙食补

2022-12-22

协程这么好，它能完全代替线程么？ 聚看点

好多问题呀，开始回答或者提问前，其实可以看看问题本身是不是有问题，像黄执中一样。------这个问题首先前提就有问题，谁说协程那么好的？任

2022-12-22

各地出台促进汽车消费政策 汽车产业快速复工复产

在此情形下，今年5月底，财政部、国家税务总局推出600亿元汽车购置税优惠“大礼包”之后，各地方政府纷纷积极响应，先后出台汽车消费政策，促

2022-12-22

今日播报!仁东控股董秘回复：根据《深圳证券交易所股票上市规则》等相关规定，目前公司暂未触及风险警示相关情形

仁东控股(002647)12月21日在投资者关系平台上答复了投资者关心的问题。

2022-12-21

独家资金：早盘主力进散户逃前10股

（原标题：独家资金：早盘主力进散户逃前10股）12月21日大单净量前十名个股如下：dde大单净量=dde大单净流入量 流通股本股票简称DDE大单净量DDE大单金

2022-12-21

业务流程建模，细到几层？

​在我做的BDF框架中，业务建模是非常重要的一个能力之一。因为有了建模能力，就可以提供面向于不同目标用户的可解释能力了。这种可解释能力可

2022-12-21

【券商聚焦】国泰君安首予巨子生物(02367)“增持”评级 目标价41.55港元

国泰君安发研报指，巨子生物卡位高成长重组胶原赛道，原料技术优势背书品牌、助力管线拓展，拓产品、扩渠道下有望持续高增。预计2022-2024年公

2022-12-20

退烧药紧缺有望元旦前缓解！超550个生产批文，原料药企“三班倒”

近期随着疫情防控政策的调整叠加冬季呼吸道疾病高发期的影响，解热镇痛类药物市场需求大增。A股布洛芬原料药龙头新华制药炙手可热，实现10天8

2022-12-20

Copyright ?  2015-2022 每日科技网版权所有  备案号：浙ICP备2022016517号-15   联系邮箱：5 146 761 13 @qq.com