flair

data/250117/all_tasks.csv

@@ -1,42 +1,46 @@
-family,model,tag,contr_ent_short,contr_ent_medium,contr_ent_long,contr_bg_short,contr_bg_medium,contr_bg_long,irrel_ent_short,irrel_ent_medium,irrel_ent_long,irrel_bg_short,irrel_bg_medium,irrel_bg_long,Avg
-ALIGN,align-base,coyo700m,63.33333333333334,55.416666666666664,51.25,50.0,50.0,50.0,77.5,57.5,50.0,50.0,50.0,50.0,54.583333333333336
-CLIPS,CLIPS-Large-14-224,recap-datacomp1b,56.66666666666667,62.916666666666664,52.083333333333336,50.0,50.0,50.0,77.08333333333333,62.91666666666667,53.333333333333336,50.0,50.0,50.0,55.41666666666667
-CLIPS,CLIPS-Large-14-336,recap-datacomp1b,58.33333333333333,62.916666666666664,52.916666666666664,50.0,50.0,50.0,77.08333333333333,63.75,54.16666666666667,50.0,50.0,50.0,55.763888888888886
-CLIPS,CLIPS-Huge-14-224,recap-datacomp1b,72.5,62.08333333333333,48.75,50.0,50.0,49.166666666666664,85.41666666666667,62.083333333333336,52.5,50.0,50.0,49.166666666666664,56.80555555555556
-DreamLIP,dreamlip-vitb16,cc3m-long,68.33333333333333,53.75,51.25,50.0,50.0,50.0,67.91666666666666,53.333333333333336,49.166666666666664,50.0,50.0,50.833333333333336,53.71527777777777
-DreamLIP,dreamlip-vitb16,cc12m-long,61.666666666666664,55.41666666666666,47.916666666666664,50.0,50.0,50.0,72.91666666666667,55.833333333333336,53.333333333333336,50.0,50.0,50.0,53.923611111111114
-DreamLIP,dreamlip-vitb16,yfcc15m-long,62.5,50.41666666666667,49.583333333333336,50.0,50.0,50.0,77.91666666666666,59.16666666666667,55.0,50.0,50.0,50.0,54.548611111111114
-DreamLIP,dreamlip-vitb16,cc30m-long,71.66666666666666,55.41666666666666,49.583333333333336,50.0,50.0,50.833333333333336,82.08333333333334,65.83333333333334,52.5,50.0,50.0,50.0,56.49305555555555
-FSC-CLIP,fsc-clip-ViT-B-32,laioncoco-ft,69.16666666666667,50.41666666666667,49.583333333333336,50.0,50.0,50.0,82.91666666666667,64.16666666666667,53.333333333333336,50.0,50.0,49.166666666666664,55.72916666666667
-FSC-CLIP,fsc-clip-ViT-B-16,laioncoco-ft,70.0,52.91666666666667,50.41666666666667,50.0,50.0,50.0,82.91666666666667,70.0,53.333333333333336,50.0,50.0,49.166666666666664,56.5625
-FSC-CLIP,fsc-clip-ViT-L-14,laioncoco-ft,59.16666666666666,52.08333333333333,50.41666666666667,50.0,50.0,50.0,87.91666666666667,70.0,52.5,50.0,50.0,50.0,56.00694444444444
-Jina-CLIP,jina-clip-v1,jinaai,66.66666666666666,70.0,70.0,60.83333333333333,76.66666666666667,69.16666666666667,82.5,80.83333333333333,70.83333333333334,67.5,72.5,70.0,71.45833333333334
-Jina-CLIP,jina-clip-v2,jinaai,76.25,67.5,58.74999999999999,82.08333333333333,79.16666666666667,68.75,80.83333333333334,79.58333333333334,67.08333333333334,77.08333333333334,68.75,63.75,72.46527777777777
-LoTLIP,LoTLIP-ViT-B-32,lotlip100m,54.166666666666664,61.25,61.666666666666664,70.0,52.916666666666664,50.833333333333336,65.83333333333333,60.83333333333333,67.91666666666667,64.16666666666667,54.16666666666667,50.833333333333336,59.548611111111114
-LoTLIP,LoTLIP-ViT-B-16,lotlip100m,55.833333333333336,60.41666666666667,58.333333333333336,66.66666666666666,50.41666666666667,50.0,63.33333333333333,66.66666666666666,64.58333333333334,60.0,50.833333333333336,50.0,58.090277777777786
-LongCLIP,longclip-vitb32,sharegpt4v-1m,72.08333333333334,60.83333333333333,63.33333333333333,81.25,70.0,59.58333333333333,90.0,77.08333333333333,80.83333333333334,86.66666666666667,72.5,59.16666666666667,72.77777777777777
-LongCLIP,longclip-vitb16,sharegpt4v-1m,69.16666666666666,66.66666666666667,60.83333333333333,74.58333333333333,63.333333333333336,43.33333333333333,90.41666666666666,91.25,67.5,82.08333333333334,76.25,54.166666666666664,69.96527777777777
-LongCLIP,longclip-vitl14,sharegpt4v-1m,67.91666666666666,58.75,57.916666666666664,61.25,63.75,50.41666666666667,84.16666666666667,81.25,71.66666666666667,78.75,69.58333333333333,57.5,66.90972222222223
-LongCLIP,longclip-vitl14_336px,sharegpt4v-1m,74.58333333333334,56.66666666666667,52.5,77.08333333333333,63.75,44.16666666666667,89.16666666666667,85.0,64.16666666666666,88.33333333333333,72.5,48.75,68.05555555555556
-OpenCLIP,roberta-ViT-B-32,laion2b_s12b_b32k,67.08333333333334,60.0,51.25,49.583333333333336,50.0,49.166666666666664,76.25,58.75,50.833333333333336,50.0,50.0,50.0,55.24305555555556
-OpenCLIP,coca_ViT-B-32,laion2b_s13b_b90k,67.91666666666666,56.66666666666667,50.41666666666667,50.0,50.0,49.166666666666664,82.91666666666667,63.75,52.083333333333336,50.0,50.0,50.0,56.076388888888886
-OpenCLIP,coca_ViT-L-14,laion2b_s13b_b90k,64.58333333333333,60.0,49.583333333333336,50.0,50.0,49.166666666666664,79.58333333333333,64.58333333333334,52.083333333333336,50.0,50.0,49.166666666666664,55.72916666666667
-OpenCLIP,ViT-H-14,laion2b_s32b_b79k,63.333333333333336,58.75,50.41666666666667,50.0,50.0,49.166666666666664,83.75,65.0,51.66666666666667,50.0,50.0,49.166666666666664,55.9375
-OpenCLIP,ViT-L-14,laion2b_s32b_b82k,58.33333333333333,57.91666666666667,49.583333333333336,50.0,50.0,50.0,82.91666666666667,61.66666666666667,52.5,50.0,50.0,49.166666666666664,55.173611111111114
-OpenCLIP,ViT-B-32,laion2b_s34b_b79k,68.33333333333333,62.08333333333333,47.083333333333336,50.0,50.0,50.0,80.41666666666666,60.833333333333336,55.0,50.0,50.0,50.0,56.145833333333336
-OpenCLIP,ViT-B-16,laion2b_s34b_b88k,62.5,57.08333333333333,49.583333333333336,50.0,50.0,49.166666666666664,72.08333333333334,65.0,54.16666666666667,50.0,50.0,49.166666666666664,54.89583333333333
-OpenCLIP,ViT-g-14,laion2b_s34b_b88k,65.0,55.41666666666666,50.41666666666667,50.0,50.0,49.166666666666664,78.75,65.0,51.66666666666667,50.0,50.0,49.166666666666664,55.38194444444445
-OpenCLIP,ViT-B-16,openai,64.16666666666666,51.25,50.41666666666667,50.0,50.0,49.166666666666664,75.41666666666667,59.16666666666667,51.66666666666667,50.0,50.0,49.166666666666664,54.201388888888886
-OpenCLIP,ViT-B-32,openai,57.5,54.58333333333333,48.75,50.0,50.0,49.166666666666664,67.08333333333333,63.333333333333336,52.5,50.0,50.0,49.166666666666664,53.50694444444444
-OpenCLIP,ViT-L-14,openai,57.5,55.41666666666666,49.583333333333336,50.0,50.0,49.166666666666664,74.58333333333333,62.50000000000001,51.66666666666667,50.0,50.0,49.166666666666664,54.13194444444445
-OpenCLIP,ViT-L-14-336,openai,58.33333333333333,57.08333333333333,47.916666666666664,50.0,50.0,49.166666666666664,75.41666666666667,66.66666666666666,50.0,50.0,50.0,49.166666666666664,54.47916666666667
-OpenCLIP,ViT-B-16-SigLIP,webli,56.25,54.166666666666664,50.41666666666667,50.0,50.0,50.0,67.08333333333333,56.666666666666664,51.666666666666664,50.0,50.0,50.833333333333336,53.09027777777777
-OpenCLIP,ViT-B-16-SigLIP-384,webli,61.25,54.166666666666664,50.41666666666667,50.0,50.0,50.0,70.41666666666667,59.166666666666664,51.666666666666664,50.0,50.0,50.0,53.923611111111114
-OpenCLIP,ViT-L-16-SigLIP-256,webli,62.91666666666666,55.833333333333336,49.58333333333333,50.0,50.0,50.0,77.91666666666667,60.0,50.833333333333336,50.0,50.0,50.0,54.75694444444444
-OpenCLIP,ViT-L-16-SigLIP-384,webli,62.91666666666666,55.0,49.58333333333333,50.0,50.0,50.0,75.41666666666667,58.333333333333336,50.833333333333336,50.0,50.0,50.0,54.34027777777778
-OpenCLIP,ViT-SO400M-14-SigLIP,webli,50.0,50.0,50.416666666666664,50.0,50.0,50.416666666666664,50.0,50.0,50.0,50.0,50.0,50.0,50.06944444444444
-Recap-CLIP,ViT-L-16-HTxt-Recap-CLIP,recap-datacomp1b,56.666666666666664,61.25,56.25,73.33333333333333,50.0,50.833333333333336,77.5,67.91666666666666,55.83333333333333,69.16666666666667,49.16666666666667,50.833333333333336,59.89583333333333
-StructuredCLIP,NegCLIP-ViT-B-32,coco-ft,65.0,54.58333333333333,50.41666666666667,50.0,50.0,50.833333333333336,78.75,67.5,52.5,50.0,50.0,50.0,55.798611111111114
-StructuredCLIP,CE-CLIP-ViT-B-32,coco-ft,65.0,55.41666666666666,50.41666666666667,50.0,50.0,50.0,92.08333333333333,71.66666666666666,56.66666666666667,50.0,50.0,50.833333333333336,57.673611111111114
-StructuredCLIP,DAC-LLM-ViT-B-32,cc3m-ft,65.0,55.41666666666666,49.583333333333336,50.0,50.0,50.0,89.58333333333333,69.16666666666667,55.83333333333333,50.0,50.0,50.0,57.048611111111114
-StructuredCLIP,DAC-SAM-ViT-B-32,cc3m-ft,64.16666666666666,55.41666666666666,47.916666666666664,50.0,50.0,50.0,87.91666666666667,71.66666666666666,56.66666666666667,50.0,50.0,50.0,56.979166666666664
+family,model,tag,contr_ent_short,contr_ent_medium,contr_ent_long,contr_bg_short,contr_bg_medium,contr_bg_long,irrel_ent_short,irrel_ent_medium,irrel_ent_long,irrel_bg_short,irrel_bg_medium,irrel_bg_long,Avg
+ALIGN,align-base,coyo700m,63.33333333,55.41666667,51.25,50,50,50,77.5,57.5,50,50,50,50,54.58333333
+CLIPS,CLIPS-Large-14-224,recap-datacomp1b,56.66666667,62.91666667,52.08333333,50,50,50,77.08333333,62.91666667,53.33333333,50,50,50,55.41666667
+CLIPS,CLIPS-Large-14-336,recap-datacomp1b,58.33333333,62.91666667,52.91666667,50,50,50,77.08333333,63.75,54.16666667,50,50,50,55.76388889
+CLIPS,CLIPS-Huge-14-224,recap-datacomp1b,72.5,62.08333333,48.75,50,50,49.16666667,85.41666667,62.08333333,52.5,50,50,49.16666667,56.80555556
+DreamLIP,dreamlip-vitb16,cc3m-long,68.33333333,53.75,51.25,50,50,50,67.91666667,53.33333333,49.16666667,50,50,50.83333333,53.71527778
+DreamLIP,dreamlip-vitb16,cc12m-long,61.66666667,55.41666667,47.91666667,50,50,50,72.91666667,55.83333333,53.33333333,50,50,50,53.92361111
+DreamLIP,dreamlip-vitb16,yfcc15m-long,62.5,50.41666667,49.58333333,50,50,50,77.91666667,59.16666667,55,50,50,50,54.54861111
+DreamLIP,dreamlip-vitb16,cc30m-long,71.66666667,55.41666667,49.58333333,50,50,50.83333333,82.08333333,65.83333333,52.5,50,50,50,56.49305556
+FLAIR,flair-vitb16,cc3m-recap,68.33333333,51.25,50.41666667,50,50,50,73.75,59.16666667,53.33333333,50,50,50,54.6875
+FLAIR,flair-vitb16,cc12m-recap,71.66666667,54.58333333,49.58333333,50,50,49.16666667,75.41666667,61.66666667,52.5,50,50,49.16666667,55.3125
+FLAIR,flair-vitb16,yfcc15m-recap,66.66666667,54.58333333,50.41666667,50,50,49.16666667,71.25,58.33333333,55,50,50,49.16666667,54.54861111
+FLAIR,flair-vitb16,cc30m-recap,70,54.58333333,52.08333333,50,50,49.16666667,77.08333333,59.16666667,53.33333333,50,50,49.16666667,55.38194444
+FSC-CLIP,fsc-clip-ViT-B-32,laioncoco-ft,69.16666667,50.41666667,49.58333333,50,50,50,82.91666667,64.16666667,53.33333333,50,50,49.16666667,55.72916667
+FSC-CLIP,fsc-clip-ViT-B-16,laioncoco-ft,70,52.91666667,50.41666667,50,50,50,82.91666667,70,53.33333333,50,50,49.16666667,56.5625
+FSC-CLIP,fsc-clip-ViT-L-14,laioncoco-ft,59.16666667,52.08333333,50.41666667,50,50,50,87.91666667,70,52.5,50,50,50,56.00694444
+Jina-CLIP,jina-clip-v1,jinaai,66.66666667,70,70,60.83333333,76.66666667,69.16666667,82.5,80.83333333,70.83333333,67.5,72.5,70,71.45833333
+Jina-CLIP,jina-clip-v2,jinaai,76.25,67.5,58.75,82.08333333,79.16666667,68.75,80.83333333,79.58333333,67.08333333,77.08333333,68.75,63.75,72.46527778
+LoTLIP,LoTLIP-ViT-B-32,lotlip100m,54.16666667,61.25,61.66666667,70,52.91666667,50.83333333,65.83333333,60.83333333,67.91666667,64.16666667,54.16666667,50.83333333,59.54861111
+LoTLIP,LoTLIP-ViT-B-16,lotlip100m,55.83333333,60.41666667,58.33333333,66.66666667,50.41666667,50,63.33333333,66.66666667,64.58333333,60,50.83333333,50,58.09027778
+LongCLIP,longclip-vitb32,sharegpt4v-1m,72.08333333,60.83333333,63.33333333,81.25,70,59.58333333,90,77.08333333,80.83333333,86.66666667,72.5,59.16666667,72.77777778
+LongCLIP,longclip-vitb16,sharegpt4v-1m,69.16666667,66.66666667,60.83333333,74.58333333,63.33333333,43.33333333,90.41666667,91.25,67.5,82.08333333,76.25,54.16666667,69.96527778
+LongCLIP,longclip-vitl14,sharegpt4v-1m,67.91666667,58.75,57.91666667,61.25,63.75,50.41666667,84.16666667,81.25,71.66666667,78.75,69.58333333,57.5,66.90972222
+LongCLIP,longclip-vitl14_336px,sharegpt4v-1m,74.58333333,56.66666667,52.5,77.08333333,63.75,44.16666667,89.16666667,85,64.16666667,88.33333333,72.5,48.75,68.05555556
+OpenCLIP,roberta-ViT-B-32,laion2b_s12b_b32k,67.08333333,60,51.25,49.58333333,50,49.16666667,76.25,58.75,50.83333333,50,50,50,55.24305556
+OpenCLIP,coca_ViT-B-32,laion2b_s13b_b90k,67.91666667,56.66666667,50.41666667,50,50,49.16666667,82.91666667,63.75,52.08333333,50,50,50,56.07638889
+OpenCLIP,coca_ViT-L-14,laion2b_s13b_b90k,64.58333333,60,49.58333333,50,50,49.16666667,79.58333333,64.58333333,52.08333333,50,50,49.16666667,55.72916667
+OpenCLIP,ViT-H-14,laion2b_s32b_b79k,63.33333333,58.75,50.41666667,50,50,49.16666667,83.75,65,51.66666667,50,50,49.16666667,55.9375
+OpenCLIP,ViT-L-14,laion2b_s32b_b82k,58.33333333,57.91666667,49.58333333,50,50,50,82.91666667,61.66666667,52.5,50,50,49.16666667,55.17361111
+OpenCLIP,ViT-B-32,laion2b_s34b_b79k,68.33333333,62.08333333,47.08333333,50,50,50,80.41666667,60.83333333,55,50,50,50,56.14583333
+OpenCLIP,ViT-B-16,laion2b_s34b_b88k,62.5,57.08333333,49.58333333,50,50,49.16666667,72.08333333,65,54.16666667,50,50,49.16666667,54.89583333
+OpenCLIP,ViT-g-14,laion2b_s34b_b88k,65,55.41666667,50.41666667,50,50,49.16666667,78.75,65,51.66666667,50,50,49.16666667,55.38194444
+OpenCLIP,ViT-B-16,openai,64.16666667,51.25,50.41666667,50,50,49.16666667,75.41666667,59.16666667,51.66666667,50,50,49.16666667,54.20138889
+OpenCLIP,ViT-B-32,openai,57.5,54.58333333,48.75,50,50,49.16666667,67.08333333,63.33333333,52.5,50,50,49.16666667,53.50694444
+OpenCLIP,ViT-L-14,openai,57.5,55.41666667,49.58333333,50,50,49.16666667,74.58333333,62.5,51.66666667,50,50,49.16666667,54.13194444
+OpenCLIP,ViT-L-14-336,openai,58.33333333,57.08333333,47.91666667,50,50,49.16666667,75.41666667,66.66666667,50,50,50,49.16666667,54.47916667
+OpenCLIP,ViT-B-16-SigLIP,webli,56.25,54.16666667,50.41666667,50,50,50,67.08333333,56.66666667,51.66666667,50,50,50.83333333,53.09027778
+OpenCLIP,ViT-B-16-SigLIP-384,webli,61.25,54.16666667,50.41666667,50,50,50,70.41666667,59.16666667,51.66666667,50,50,50,53.92361111
+OpenCLIP,ViT-L-16-SigLIP-256,webli,62.91666667,55.83333333,49.58333333,50,50,50,77.91666667,60,50.83333333,50,50,50,54.75694444
+OpenCLIP,ViT-L-16-SigLIP-384,webli,62.91666667,55,49.58333333,50,50,50,75.41666667,58.33333333,50.83333333,50,50,50,54.34027778
+OpenCLIP,ViT-SO400M-14-SigLIP,webli,50,50,50.41666667,50,50,50.41666667,50,50,50,50,50,50,50.06944444
+Recap-CLIP,ViT-L-16-HTxt-Recap-CLIP,recap-datacomp1b,56.66666667,61.25,56.25,73.33333333,50,50.83333333,77.5,67.91666667,55.83333333,69.16666667,49.16666667,50.83333333,59.89583333
+StructuredCLIP,NegCLIP-ViT-B-32,coco-ft,65,54.58333333,50.41666667,50,50,50.83333333,78.75,67.5,52.5,50,50,50,55.79861111
+StructuredCLIP,CE-CLIP-ViT-B-32,coco-ft,65,55.41666667,50.41666667,50,50,50,92.08333333,71.66666667,56.66666667,50,50,50.83333333,57.67361111
+StructuredCLIP,DAC-LLM-ViT-B-32,cc3m-ft,65,55.41666667,49.58333333,50,50,50,89.58333333,69.16666667,55.83333333,50,50,50,57.04861111
+StructuredCLIP,DAC-SAM-ViT-B-32,cc3m-ft,64.16666667,55.41666667,47.91666667,50,50,50,87.91666667,71.66666667,56.66666667,50,50,50,56.97916667

data/250117/summary.csv

@@ -1,42 +1,46 @@
-"('Model', 'family')","('Model', 'model')","('Model', 'tag')","('length_group', 'short')","('length_group', 'medium')","('length_group', 'long')","('neg_target', 'entity')","('neg_target', 'background')","('neg_type', 'contradict')","('neg_type', 'irrelevant')","('Avg', 'Avg')"
-ALIGN,align-base,coyo700m,60.208333333333336,53.229166666666664,50.3125,59.166666666666664,50.0,53.333333333333336,55.833333333333336,54.583333333333336
-CLIPS,CLIPS-Large-14-224,recap-datacomp1b,58.4375,56.45833333333333,51.35416666666667,60.833333333333336,50.0,53.611111111111114,57.22222222222223,55.41666666666667
-CLIPS,CLIPS-Large-14-336,recap-datacomp1b,58.854166666666664,56.666666666666664,51.77083333333333,61.52777777777778,50.0,54.02777777777777,57.5,55.763888888888886
-CLIPS,CLIPS-Huge-14-224,recap-datacomp1b,64.47916666666667,56.041666666666664,49.89583333333333,63.888888888888886,49.72222222222222,55.416666666666664,58.19444444444445,56.80555555555556
-DreamLIP,dreamlip-vitb16,cc3m-long,59.0625,51.770833333333336,50.3125,57.291666666666664,50.138888888888886,53.888888888888886,53.54166666666666,53.71527777777777
-DreamLIP,dreamlip-vitb16,cc12m-long,58.64583333333333,52.8125,50.3125,57.84722222222221,50.0,52.5,55.34722222222223,53.923611111111114
-DreamLIP,dreamlip-vitb16,yfcc15m-long,60.104166666666664,52.395833333333336,51.145833333333336,59.09722222222222,50.0,52.083333333333336,57.013888888888886,54.548611111111114
-DreamLIP,dreamlip-vitb16,cc30m-long,63.4375,55.3125,50.72916666666667,62.84722222222223,50.13888888888889,54.58333333333332,58.40277777777778,56.49305555555555
-FSC-CLIP,fsc-clip-ViT-B-32,laioncoco-ft,63.020833333333336,53.645833333333336,50.520833333333336,61.59722222222223,49.861111111111114,53.19444444444445,58.26388888888889,55.72916666666667
-FSC-CLIP,fsc-clip-ViT-B-16,laioncoco-ft,63.22916666666667,55.72916666666667,50.729166666666664,63.263888888888886,49.861111111111114,53.88888888888889,59.236111111111114,56.5625
-FSC-CLIP,fsc-clip-ViT-L-14,laioncoco-ft,61.77083333333333,55.52083333333333,50.72916666666667,62.013888888888886,50.0,51.944444444444436,60.06944444444445,56.00694444444444
-Jina-CLIP,jina-clip-v1,jinaai,69.375,75.0,70.0,73.47222222222221,69.44444444444444,68.8888888888889,74.02777777777777,71.45833333333334
-Jina-CLIP,jina-clip-v2,jinaai,79.0625,73.75,64.58333333333334,71.66666666666669,73.2638888888889,72.08333333333333,72.84722222222223,72.46527777777777
-LoTLIP,LoTLIP-ViT-B-32,lotlip100m,63.54166666666667,57.29166666666667,57.81250000000001,61.944444444444436,57.15277777777778,58.47222222222222,60.625,59.548611111111114
-LoTLIP,LoTLIP-ViT-B-16,lotlip100m,61.45833333333333,57.083333333333336,55.72916666666667,61.52777777777779,54.65277777777777,56.94444444444445,59.236111111111114,58.090277777777786
-LongCLIP,longclip-vitb32,sharegpt4v-1m,82.5,70.10416666666666,65.72916666666667,74.02777777777777,71.52777777777779,67.84722222222221,77.70833333333333,72.77777777777777
-LongCLIP,longclip-vitb16,sharegpt4v-1m,79.0625,74.375,56.45833333333333,74.30555555555554,65.62500000000001,62.98611111111109,76.94444444444444,69.96527777777777
-LongCLIP,longclip-vitl14,sharegpt4v-1m,73.02083333333333,68.33333333333333,59.375,70.27777777777779,63.541666666666664,60.0,73.81944444444444,66.90972222222223
-LongCLIP,longclip-vitl14_336px,sharegpt4v-1m,82.29166666666667,69.47916666666667,52.39583333333333,70.34722222222223,65.76388888888889,61.458333333333336,74.65277777777779,68.05555555555556
-OpenCLIP,roberta-ViT-B-32,laion2b_s12b_b32k,60.72916666666667,54.6875,50.3125,60.69444444444445,49.791666666666664,54.51388888888889,55.97222222222223,55.24305555555556
-OpenCLIP,coca_ViT-B-32,laion2b_s13b_b90k,62.70833333333333,55.10416666666667,50.41666666666667,62.291666666666664,49.86111111111111,54.02777777777778,58.125,56.076388888888886
-OpenCLIP,coca_ViT-L-14,laion2b_s13b_b90k,61.041666666666664,56.145833333333336,50.0,61.736111111111114,49.72222222222222,53.888888888888886,57.56944444444445,55.72916666666667
-OpenCLIP,ViT-H-14,laion2b_s32b_b79k,61.770833333333336,55.9375,50.104166666666664,62.15277777777778,49.72222222222222,53.611111111111114,58.26388888888889,55.9375
-OpenCLIP,ViT-L-14,laion2b_s32b_b82k,60.3125,54.895833333333336,50.3125,60.486111111111114,49.861111111111114,52.63888888888889,57.70833333333334,55.173611111111114
-OpenCLIP,ViT-B-32,laion2b_s34b_b79k,62.1875,55.729166666666664,50.520833333333336,62.29166666666666,50.0,54.583333333333336,57.708333333333336,56.145833333333336
-OpenCLIP,ViT-B-16,laion2b_s34b_b88k,58.645833333333336,55.52083333333333,50.520833333333336,60.06944444444445,49.72222222222222,53.05555555555555,56.736111111111114,54.89583333333333
-OpenCLIP,ViT-g-14,laion2b_s34b_b88k,60.9375,55.104166666666664,50.104166666666664,61.041666666666664,49.72222222222222,53.333333333333336,57.430555555555564,55.38194444444445
-OpenCLIP,ViT-B-16,openai,59.89583333333333,52.60416666666667,50.104166666666664,58.680555555555564,49.72222222222222,52.5,55.90277777777778,54.201388888888886
-OpenCLIP,ViT-B-32,openai,56.14583333333333,54.479166666666664,49.89583333333333,57.29166666666666,49.72222222222222,51.666666666666664,55.34722222222222,53.50694444444444
-OpenCLIP,ViT-L-14,openai,58.02083333333333,54.479166666666664,49.895833333333336,58.541666666666664,49.72222222222222,51.94444444444445,56.31944444444445,54.13194444444445
-OpenCLIP,ViT-L-14-336,openai,58.4375,55.9375,49.06249999999999,59.23611111111111,49.72222222222222,52.083333333333336,56.875,54.47916666666667
-OpenCLIP,ViT-B-16-SigLIP,webli,55.83333333333333,52.70833333333333,50.72916666666667,56.041666666666664,50.138888888888886,51.80555555555555,54.37499999999999,53.09027777777777
-OpenCLIP,ViT-B-16-SigLIP-384,webli,57.91666666666667,53.33333333333333,50.520833333333336,57.84722222222223,50.0,52.638888888888886,55.208333333333336,53.923611111111114
-OpenCLIP,ViT-L-16-SigLIP-256,webli,60.20833333333333,53.958333333333336,50.104166666666664,59.513888888888886,50.0,53.05555555555555,56.458333333333336,54.75694444444444
-OpenCLIP,ViT-L-16-SigLIP-384,webli,59.58333333333333,53.333333333333336,50.104166666666664,58.68055555555555,50.0,52.916666666666664,55.76388888888889,54.34027777777778
-OpenCLIP,ViT-SO400M-14-SigLIP,webli,50.0,50.0,50.20833333333333,50.069444444444436,50.069444444444436,50.138888888888886,50.0,50.06944444444444
-Recap-CLIP,ViT-L-16-HTxt-Recap-CLIP,recap-datacomp1b,69.16666666666667,57.08333333333333,53.43750000000001,62.569444444444436,57.22222222222222,58.05555555555555,61.736111111111114,59.89583333333333
-StructuredCLIP,NegCLIP-ViT-B-32,coco-ft,60.9375,55.52083333333333,50.9375,61.458333333333336,50.13888888888889,53.47222222222222,58.125,55.798611111111114
-StructuredCLIP,CE-CLIP-ViT-B-32,coco-ft,64.27083333333333,56.77083333333333,51.97916666666667,65.20833333333333,50.138888888888886,53.47222222222222,61.875,57.673611111111114
-StructuredCLIP,DAC-LLM-ViT-B-32,cc3m-ft,63.64583333333333,56.14583333333333,51.35416666666667,64.09722222222221,50.0,53.333333333333336,60.763888888888886,57.048611111111114
-StructuredCLIP,DAC-SAM-ViT-B-32,cc3m-ft,63.02083333333333,56.77083333333333,51.14583333333333,63.95833333333332,50.0,52.916666666666664,61.041666666666664,56.979166666666664
+"('Model', 'family')","('Model', 'model')","('Model', 'tag')","('length_group', 'short')","('length_group', 'medium')","('length_group', 'long')","('neg_target', 'entity')","('neg_target', 'background')","('neg_type', 'contradict')","('neg_type', 'irrelevant')","('Avg', 'Avg')"
+ALIGN,align-base,coyo700m,60.20833333,53.22916667,50.3125,59.16666667,50,53.33333333,55.83333333,54.58333333
+CLIPS,CLIPS-Large-14-224,recap-datacomp1b,58.4375,56.45833333,51.35416667,60.83333333,50,53.61111111,57.22222222,55.41666667
+CLIPS,CLIPS-Large-14-336,recap-datacomp1b,58.85416667,56.66666667,51.77083333,61.52777778,50,54.02777778,57.5,55.76388889
+CLIPS,CLIPS-Huge-14-224,recap-datacomp1b,64.47916667,56.04166667,49.89583333,63.88888889,49.72222222,55.41666667,58.19444444,56.80555556
+DreamLIP,dreamlip-vitb16,cc3m-long,59.0625,51.77083333,50.3125,57.29166667,50.13888889,53.88888889,53.54166667,53.71527778
+DreamLIP,dreamlip-vitb16,cc12m-long,58.64583333,52.8125,50.3125,57.84722222,50,52.5,55.34722222,53.92361111
+DreamLIP,dreamlip-vitb16,yfcc15m-long,60.10416667,52.39583333,51.14583333,59.09722222,50,52.08333333,57.01388889,54.54861111
+DreamLIP,dreamlip-vitb16,cc30m-long,63.4375,55.3125,50.72916667,62.84722222,50.13888889,54.58333333,58.40277778,56.49305556
+FLAIR,flair-vitb16,cc3m-recap,60.52083333,52.60416667,50.9375,59.375,50,53.33333333,56.04166667,54.6875
+FLAIR,flair-vitb16,cc12m-recap,61.77083333,54.0625,50.10416667,60.90277778,49.72222222,54.16666667,56.45833333,55.3125
+FLAIR,flair-vitb16,yfcc15m-recap,59.47916667,53.22916667,50.9375,59.375,49.72222222,53.47222222,55.625,54.54861111
+FLAIR,flair-vitb16,cc30m-recap,61.77083333,53.4375,50.9375,61.04166667,49.72222222,54.30555556,56.45833333,55.38194444
+FSC-CLIP,fsc-clip-ViT-B-32,laioncoco-ft,63.02083333,53.64583333,50.52083333,61.59722222,49.86111111,53.19444444,58.26388889,55.72916667
+FSC-CLIP,fsc-clip-ViT-B-16,laioncoco-ft,63.22916667,55.72916667,50.72916667,63.26388889,49.86111111,53.88888889,59.23611111,56.5625
+FSC-CLIP,fsc-clip-ViT-L-14,laioncoco-ft,61.77083333,55.52083333,50.72916667,62.01388889,50,51.94444444,60.06944444,56.00694444
+Jina-CLIP,jina-clip-v1,jinaai,69.375,75,70,73.47222222,69.44444444,68.88888889,74.02777778,71.45833333
+Jina-CLIP,jina-clip-v2,jinaai,79.0625,73.75,64.58333333,71.66666667,73.26388889,72.08333333,72.84722222,72.46527778
+LoTLIP,LoTLIP-ViT-B-32,lotlip100m,63.54166667,57.29166667,57.8125,61.94444444,57.15277778,58.47222222,60.625,59.54861111
+LoTLIP,LoTLIP-ViT-B-16,lotlip100m,61.45833333,57.08333333,55.72916667,61.52777778,54.65277778,56.94444444,59.23611111,58.09027778
+LongCLIP,longclip-vitb32,sharegpt4v-1m,82.5,70.10416667,65.72916667,74.02777778,71.52777778,67.84722222,77.70833333,72.77777778
+LongCLIP,longclip-vitb16,sharegpt4v-1m,79.0625,74.375,56.45833333,74.30555556,65.625,62.98611111,76.94444444,69.96527778
+LongCLIP,longclip-vitl14,sharegpt4v-1m,73.02083333,68.33333333,59.375,70.27777778,63.54166667,60,73.81944444,66.90972222
+LongCLIP,longclip-vitl14_336px,sharegpt4v-1m,82.29166667,69.47916667,52.39583333,70.34722222,65.76388889,61.45833333,74.65277778,68.05555556
+OpenCLIP,roberta-ViT-B-32,laion2b_s12b_b32k,60.72916667,54.6875,50.3125,60.69444444,49.79166667,54.51388889,55.97222222,55.24305556
+OpenCLIP,coca_ViT-B-32,laion2b_s13b_b90k,62.70833333,55.10416667,50.41666667,62.29166667,49.86111111,54.02777778,58.125,56.07638889
+OpenCLIP,coca_ViT-L-14,laion2b_s13b_b90k,61.04166667,56.14583333,50,61.73611111,49.72222222,53.88888889,57.56944444,55.72916667
+OpenCLIP,ViT-H-14,laion2b_s32b_b79k,61.77083333,55.9375,50.10416667,62.15277778,49.72222222,53.61111111,58.26388889,55.9375
+OpenCLIP,ViT-L-14,laion2b_s32b_b82k,60.3125,54.89583333,50.3125,60.48611111,49.86111111,52.63888889,57.70833333,55.17361111
+OpenCLIP,ViT-B-32,laion2b_s34b_b79k,62.1875,55.72916667,50.52083333,62.29166667,50,54.58333333,57.70833333,56.14583333
+OpenCLIP,ViT-B-16,laion2b_s34b_b88k,58.64583333,55.52083333,50.52083333,60.06944444,49.72222222,53.05555556,56.73611111,54.89583333
+OpenCLIP,ViT-g-14,laion2b_s34b_b88k,60.9375,55.10416667,50.10416667,61.04166667,49.72222222,53.33333333,57.43055556,55.38194444
+OpenCLIP,ViT-B-16,openai,59.89583333,52.60416667,50.10416667,58.68055556,49.72222222,52.5,55.90277778,54.20138889
+OpenCLIP,ViT-B-32,openai,56.14583333,54.47916667,49.89583333,57.29166667,49.72222222,51.66666667,55.34722222,53.50694444
+OpenCLIP,ViT-L-14,openai,58.02083333,54.47916667,49.89583333,58.54166667,49.72222222,51.94444444,56.31944444,54.13194444
+OpenCLIP,ViT-L-14-336,openai,58.4375,55.9375,49.0625,59.23611111,49.72222222,52.08333333,56.875,54.47916667
+OpenCLIP,ViT-B-16-SigLIP,webli,55.83333333,52.70833333,50.72916667,56.04166667,50.13888889,51.80555556,54.375,53.09027778
+OpenCLIP,ViT-B-16-SigLIP-384,webli,57.91666667,53.33333333,50.52083333,57.84722222,50,52.63888889,55.20833333,53.92361111
+OpenCLIP,ViT-L-16-SigLIP-256,webli,60.20833333,53.95833333,50.10416667,59.51388889,50,53.05555556,56.45833333,54.75694444
+OpenCLIP,ViT-L-16-SigLIP-384,webli,59.58333333,53.33333333,50.10416667,58.68055556,50,52.91666667,55.76388889,54.34027778
+OpenCLIP,ViT-SO400M-14-SigLIP,webli,50,50,50.20833333,50.06944444,50.06944444,50.13888889,50,50.06944444
+Recap-CLIP,ViT-L-16-HTxt-Recap-CLIP,recap-datacomp1b,69.16666667,57.08333333,53.4375,62.56944444,57.22222222,58.05555556,61.73611111,59.89583333
+StructuredCLIP,NegCLIP-ViT-B-32,coco-ft,60.9375,55.52083333,50.9375,61.45833333,50.13888889,53.47222222,58.125,55.79861111
+StructuredCLIP,CE-CLIP-ViT-B-32,coco-ft,64.27083333,56.77083333,51.97916667,65.20833333,50.13888889,53.47222222,61.875,57.67361111
+StructuredCLIP,DAC-LLM-ViT-B-32,cc3m-ft,63.64583333,56.14583333,51.35416667,64.09722222,50,53.33333333,60.76388889,57.04861111
+StructuredCLIP,DAC-SAM-ViT-B-32,cc3m-ft,63.02083333,56.77083333,51.14583333,63.95833333,50,52.91666667,61.04166667,56.97916667

data/250117/새 폴더/all_tasks.csv

@@ -0,0 +1,42 @@
+family,model,tag,contr_ent_short,contr_ent_medium,contr_ent_long,contr_bg_short,contr_bg_medium,contr_bg_long,irrel_ent_short,irrel_ent_medium,irrel_ent_long,irrel_bg_short,irrel_bg_medium,irrel_bg_long,Avg
+ALIGN,align-base,coyo700m,63.33333333333334,55.416666666666664,51.25,50.0,50.0,50.0,77.5,57.5,50.0,50.0,50.0,50.0,54.583333333333336
+CLIPS,CLIPS-Large-14-224,recap-datacomp1b,56.66666666666667,62.916666666666664,52.083333333333336,50.0,50.0,50.0,77.08333333333333,62.91666666666667,53.333333333333336,50.0,50.0,50.0,55.41666666666667
+CLIPS,CLIPS-Large-14-336,recap-datacomp1b,58.33333333333333,62.916666666666664,52.916666666666664,50.0,50.0,50.0,77.08333333333333,63.75,54.16666666666667,50.0,50.0,50.0,55.763888888888886
+CLIPS,CLIPS-Huge-14-224,recap-datacomp1b,72.5,62.08333333333333,48.75,50.0,50.0,49.166666666666664,85.41666666666667,62.083333333333336,52.5,50.0,50.0,49.166666666666664,56.80555555555556
+DreamLIP,dreamlip-vitb16,cc3m-long,68.33333333333333,53.75,51.25,50.0,50.0,50.0,67.91666666666666,53.333333333333336,49.166666666666664,50.0,50.0,50.833333333333336,53.71527777777777
+DreamLIP,dreamlip-vitb16,cc12m-long,61.666666666666664,55.41666666666666,47.916666666666664,50.0,50.0,50.0,72.91666666666667,55.833333333333336,53.333333333333336,50.0,50.0,50.0,53.923611111111114
+DreamLIP,dreamlip-vitb16,yfcc15m-long,62.5,50.41666666666667,49.583333333333336,50.0,50.0,50.0,77.91666666666666,59.16666666666667,55.0,50.0,50.0,50.0,54.548611111111114
+DreamLIP,dreamlip-vitb16,cc30m-long,71.66666666666666,55.41666666666666,49.583333333333336,50.0,50.0,50.833333333333336,82.08333333333334,65.83333333333334,52.5,50.0,50.0,50.0,56.49305555555555
+FSC-CLIP,fsc-clip-ViT-B-32,laioncoco-ft,69.16666666666667,50.41666666666667,49.583333333333336,50.0,50.0,50.0,82.91666666666667,64.16666666666667,53.333333333333336,50.0,50.0,49.166666666666664,55.72916666666667
+FSC-CLIP,fsc-clip-ViT-B-16,laioncoco-ft,70.0,52.91666666666667,50.41666666666667,50.0,50.0,50.0,82.91666666666667,70.0,53.333333333333336,50.0,50.0,49.166666666666664,56.5625
+FSC-CLIP,fsc-clip-ViT-L-14,laioncoco-ft,59.16666666666666,52.08333333333333,50.41666666666667,50.0,50.0,50.0,87.91666666666667,70.0,52.5,50.0,50.0,50.0,56.00694444444444
+Jina-CLIP,jina-clip-v1,jinaai,66.66666666666666,70.0,70.0,60.83333333333333,76.66666666666667,69.16666666666667,82.5,80.83333333333333,70.83333333333334,67.5,72.5,70.0,71.45833333333334
+Jina-CLIP,jina-clip-v2,jinaai,76.25,67.5,58.74999999999999,82.08333333333333,79.16666666666667,68.75,80.83333333333334,79.58333333333334,67.08333333333334,77.08333333333334,68.75,63.75,72.46527777777777
+LoTLIP,LoTLIP-ViT-B-32,lotlip100m,54.166666666666664,61.25,61.666666666666664,70.0,52.916666666666664,50.833333333333336,65.83333333333333,60.83333333333333,67.91666666666667,64.16666666666667,54.16666666666667,50.833333333333336,59.548611111111114
+LoTLIP,LoTLIP-ViT-B-16,lotlip100m,55.833333333333336,60.41666666666667,58.333333333333336,66.66666666666666,50.41666666666667,50.0,63.33333333333333,66.66666666666666,64.58333333333334,60.0,50.833333333333336,50.0,58.090277777777786
+LongCLIP,longclip-vitb32,sharegpt4v-1m,72.08333333333334,60.83333333333333,63.33333333333333,81.25,70.0,59.58333333333333,90.0,77.08333333333333,80.83333333333334,86.66666666666667,72.5,59.16666666666667,72.77777777777777
+LongCLIP,longclip-vitb16,sharegpt4v-1m,69.16666666666666,66.66666666666667,60.83333333333333,74.58333333333333,63.333333333333336,43.33333333333333,90.41666666666666,91.25,67.5,82.08333333333334,76.25,54.166666666666664,69.96527777777777
+LongCLIP,longclip-vitl14,sharegpt4v-1m,67.91666666666666,58.75,57.916666666666664,61.25,63.75,50.41666666666667,84.16666666666667,81.25,71.66666666666667,78.75,69.58333333333333,57.5,66.90972222222223
+LongCLIP,longclip-vitl14_336px,sharegpt4v-1m,74.58333333333334,56.66666666666667,52.5,77.08333333333333,63.75,44.16666666666667,89.16666666666667,85.0,64.16666666666666,88.33333333333333,72.5,48.75,68.05555555555556
+OpenCLIP,roberta-ViT-B-32,laion2b_s12b_b32k,67.08333333333334,60.0,51.25,49.583333333333336,50.0,49.166666666666664,76.25,58.75,50.833333333333336,50.0,50.0,50.0,55.24305555555556
+OpenCLIP,coca_ViT-B-32,laion2b_s13b_b90k,67.91666666666666,56.66666666666667,50.41666666666667,50.0,50.0,49.166666666666664,82.91666666666667,63.75,52.083333333333336,50.0,50.0,50.0,56.076388888888886
+OpenCLIP,coca_ViT-L-14,laion2b_s13b_b90k,64.58333333333333,60.0,49.583333333333336,50.0,50.0,49.166666666666664,79.58333333333333,64.58333333333334,52.083333333333336,50.0,50.0,49.166666666666664,55.72916666666667
+OpenCLIP,ViT-H-14,laion2b_s32b_b79k,63.333333333333336,58.75,50.41666666666667,50.0,50.0,49.166666666666664,83.75,65.0,51.66666666666667,50.0,50.0,49.166666666666664,55.9375
+OpenCLIP,ViT-L-14,laion2b_s32b_b82k,58.33333333333333,57.91666666666667,49.583333333333336,50.0,50.0,50.0,82.91666666666667,61.66666666666667,52.5,50.0,50.0,49.166666666666664,55.173611111111114
+OpenCLIP,ViT-B-32,laion2b_s34b_b79k,68.33333333333333,62.08333333333333,47.083333333333336,50.0,50.0,50.0,80.41666666666666,60.833333333333336,55.0,50.0,50.0,50.0,56.145833333333336
+OpenCLIP,ViT-B-16,laion2b_s34b_b88k,62.5,57.08333333333333,49.583333333333336,50.0,50.0,49.166666666666664,72.08333333333334,65.0,54.16666666666667,50.0,50.0,49.166666666666664,54.89583333333333
+OpenCLIP,ViT-g-14,laion2b_s34b_b88k,65.0,55.41666666666666,50.41666666666667,50.0,50.0,49.166666666666664,78.75,65.0,51.66666666666667,50.0,50.0,49.166666666666664,55.38194444444445
+OpenCLIP,ViT-B-16,openai,64.16666666666666,51.25,50.41666666666667,50.0,50.0,49.166666666666664,75.41666666666667,59.16666666666667,51.66666666666667,50.0,50.0,49.166666666666664,54.201388888888886
+OpenCLIP,ViT-B-32,openai,57.5,54.58333333333333,48.75,50.0,50.0,49.166666666666664,67.08333333333333,63.333333333333336,52.5,50.0,50.0,49.166666666666664,53.50694444444444
+OpenCLIP,ViT-L-14,openai,57.5,55.41666666666666,49.583333333333336,50.0,50.0,49.166666666666664,74.58333333333333,62.50000000000001,51.66666666666667,50.0,50.0,49.166666666666664,54.13194444444445
+OpenCLIP,ViT-L-14-336,openai,58.33333333333333,57.08333333333333,47.916666666666664,50.0,50.0,49.166666666666664,75.41666666666667,66.66666666666666,50.0,50.0,50.0,49.166666666666664,54.47916666666667
+OpenCLIP,ViT-B-16-SigLIP,webli,56.25,54.166666666666664,50.41666666666667,50.0,50.0,50.0,67.08333333333333,56.666666666666664,51.666666666666664,50.0,50.0,50.833333333333336,53.09027777777777
+OpenCLIP,ViT-B-16-SigLIP-384,webli,61.25,54.166666666666664,50.41666666666667,50.0,50.0,50.0,70.41666666666667,59.166666666666664,51.666666666666664,50.0,50.0,50.0,53.923611111111114
+OpenCLIP,ViT-L-16-SigLIP-256,webli,62.91666666666666,55.833333333333336,49.58333333333333,50.0,50.0,50.0,77.91666666666667,60.0,50.833333333333336,50.0,50.0,50.0,54.75694444444444
+OpenCLIP,ViT-L-16-SigLIP-384,webli,62.91666666666666,55.0,49.58333333333333,50.0,50.0,50.0,75.41666666666667,58.333333333333336,50.833333333333336,50.0,50.0,50.0,54.34027777777778
+OpenCLIP,ViT-SO400M-14-SigLIP,webli,50.0,50.0,50.416666666666664,50.0,50.0,50.416666666666664,50.0,50.0,50.0,50.0,50.0,50.0,50.06944444444444
+Recap-CLIP,ViT-L-16-HTxt-Recap-CLIP,recap-datacomp1b,56.666666666666664,61.25,56.25,73.33333333333333,50.0,50.833333333333336,77.5,67.91666666666666,55.83333333333333,69.16666666666667,49.16666666666667,50.833333333333336,59.89583333333333
+StructuredCLIP,NegCLIP-ViT-B-32,coco-ft,65.0,54.58333333333333,50.41666666666667,50.0,50.0,50.833333333333336,78.75,67.5,52.5,50.0,50.0,50.0,55.798611111111114
+StructuredCLIP,CE-CLIP-ViT-B-32,coco-ft,65.0,55.41666666666666,50.41666666666667,50.0,50.0,50.0,92.08333333333333,71.66666666666666,56.66666666666667,50.0,50.0,50.833333333333336,57.673611111111114
+StructuredCLIP,DAC-LLM-ViT-B-32,cc3m-ft,65.0,55.41666666666666,49.583333333333336,50.0,50.0,50.0,89.58333333333333,69.16666666666667,55.83333333333333,50.0,50.0,50.0,57.048611111111114
+StructuredCLIP,DAC-SAM-ViT-B-32,cc3m-ft,64.16666666666666,55.41666666666666,47.916666666666664,50.0,50.0,50.0,87.91666666666667,71.66666666666666,56.66666666666667,50.0,50.0,50.0,56.979166666666664

data/250117/새 폴더/summary.csv

@@ -0,0 +1,42 @@
+"('Model', 'family')","('Model', 'model')","('Model', 'tag')","('length_group', 'short')","('length_group', 'medium')","('length_group', 'long')","('neg_target', 'entity')","('neg_target', 'background')","('neg_type', 'contradict')","('neg_type', 'irrelevant')","('Avg', 'Avg')"
+ALIGN,align-base,coyo700m,60.208333333333336,53.229166666666664,50.3125,59.166666666666664,50.0,53.333333333333336,55.833333333333336,54.583333333333336
+CLIPS,CLIPS-Large-14-224,recap-datacomp1b,58.4375,56.45833333333333,51.35416666666667,60.833333333333336,50.0,53.611111111111114,57.22222222222223,55.41666666666667
+CLIPS,CLIPS-Large-14-336,recap-datacomp1b,58.854166666666664,56.666666666666664,51.77083333333333,61.52777777777778,50.0,54.02777777777777,57.5,55.763888888888886
+CLIPS,CLIPS-Huge-14-224,recap-datacomp1b,64.47916666666667,56.041666666666664,49.89583333333333,63.888888888888886,49.72222222222222,55.416666666666664,58.19444444444445,56.80555555555556
+DreamLIP,dreamlip-vitb16,cc3m-long,59.0625,51.770833333333336,50.3125,57.291666666666664,50.138888888888886,53.888888888888886,53.54166666666666,53.71527777777777
+DreamLIP,dreamlip-vitb16,cc12m-long,58.64583333333333,52.8125,50.3125,57.84722222222221,50.0,52.5,55.34722222222223,53.923611111111114
+DreamLIP,dreamlip-vitb16,yfcc15m-long,60.104166666666664,52.395833333333336,51.145833333333336,59.09722222222222,50.0,52.083333333333336,57.013888888888886,54.548611111111114
+DreamLIP,dreamlip-vitb16,cc30m-long,63.4375,55.3125,50.72916666666667,62.84722222222223,50.13888888888889,54.58333333333332,58.40277777777778,56.49305555555555
+FSC-CLIP,fsc-clip-ViT-B-32,laioncoco-ft,63.020833333333336,53.645833333333336,50.520833333333336,61.59722222222223,49.861111111111114,53.19444444444445,58.26388888888889,55.72916666666667
+FSC-CLIP,fsc-clip-ViT-B-16,laioncoco-ft,63.22916666666667,55.72916666666667,50.729166666666664,63.263888888888886,49.861111111111114,53.88888888888889,59.236111111111114,56.5625
+FSC-CLIP,fsc-clip-ViT-L-14,laioncoco-ft,61.77083333333333,55.52083333333333,50.72916666666667,62.013888888888886,50.0,51.944444444444436,60.06944444444445,56.00694444444444
+Jina-CLIP,jina-clip-v1,jinaai,69.375,75.0,70.0,73.47222222222221,69.44444444444444,68.8888888888889,74.02777777777777,71.45833333333334
+Jina-CLIP,jina-clip-v2,jinaai,79.0625,73.75,64.58333333333334,71.66666666666669,73.2638888888889,72.08333333333333,72.84722222222223,72.46527777777777
+LoTLIP,LoTLIP-ViT-B-32,lotlip100m,63.54166666666667,57.29166666666667,57.81250000000001,61.944444444444436,57.15277777777778,58.47222222222222,60.625,59.548611111111114
+LoTLIP,LoTLIP-ViT-B-16,lotlip100m,61.45833333333333,57.083333333333336,55.72916666666667,61.52777777777779,54.65277777777777,56.94444444444445,59.236111111111114,58.090277777777786
+LongCLIP,longclip-vitb32,sharegpt4v-1m,82.5,70.10416666666666,65.72916666666667,74.02777777777777,71.52777777777779,67.84722222222221,77.70833333333333,72.77777777777777
+LongCLIP,longclip-vitb16,sharegpt4v-1m,79.0625,74.375,56.45833333333333,74.30555555555554,65.62500000000001,62.98611111111109,76.94444444444444,69.96527777777777
+LongCLIP,longclip-vitl14,sharegpt4v-1m,73.02083333333333,68.33333333333333,59.375,70.27777777777779,63.541666666666664,60.0,73.81944444444444,66.90972222222223
+LongCLIP,longclip-vitl14_336px,sharegpt4v-1m,82.29166666666667,69.47916666666667,52.39583333333333,70.34722222222223,65.76388888888889,61.458333333333336,74.65277777777779,68.05555555555556
+OpenCLIP,roberta-ViT-B-32,laion2b_s12b_b32k,60.72916666666667,54.6875,50.3125,60.69444444444445,49.791666666666664,54.51388888888889,55.97222222222223,55.24305555555556
+OpenCLIP,coca_ViT-B-32,laion2b_s13b_b90k,62.70833333333333,55.10416666666667,50.41666666666667,62.291666666666664,49.86111111111111,54.02777777777778,58.125,56.076388888888886
+OpenCLIP,coca_ViT-L-14,laion2b_s13b_b90k,61.041666666666664,56.145833333333336,50.0,61.736111111111114,49.72222222222222,53.888888888888886,57.56944444444445,55.72916666666667
+OpenCLIP,ViT-H-14,laion2b_s32b_b79k,61.770833333333336,55.9375,50.104166666666664,62.15277777777778,49.72222222222222,53.611111111111114,58.26388888888889,55.9375
+OpenCLIP,ViT-L-14,laion2b_s32b_b82k,60.3125,54.895833333333336,50.3125,60.486111111111114,49.861111111111114,52.63888888888889,57.70833333333334,55.173611111111114
+OpenCLIP,ViT-B-32,laion2b_s34b_b79k,62.1875,55.729166666666664,50.520833333333336,62.29166666666666,50.0,54.583333333333336,57.708333333333336,56.145833333333336
+OpenCLIP,ViT-B-16,laion2b_s34b_b88k,58.645833333333336,55.52083333333333,50.520833333333336,60.06944444444445,49.72222222222222,53.05555555555555,56.736111111111114,54.89583333333333
+OpenCLIP,ViT-g-14,laion2b_s34b_b88k,60.9375,55.104166666666664,50.104166666666664,61.041666666666664,49.72222222222222,53.333333333333336,57.430555555555564,55.38194444444445
+OpenCLIP,ViT-B-16,openai,59.89583333333333,52.60416666666667,50.104166666666664,58.680555555555564,49.72222222222222,52.5,55.90277777777778,54.201388888888886
+OpenCLIP,ViT-B-32,openai,56.14583333333333,54.479166666666664,49.89583333333333,57.29166666666666,49.72222222222222,51.666666666666664,55.34722222222222,53.50694444444444
+OpenCLIP,ViT-L-14,openai,58.02083333333333,54.479166666666664,49.895833333333336,58.541666666666664,49.72222222222222,51.94444444444445,56.31944444444445,54.13194444444445
+OpenCLIP,ViT-L-14-336,openai,58.4375,55.9375,49.06249999999999,59.23611111111111,49.72222222222222,52.083333333333336,56.875,54.47916666666667
+OpenCLIP,ViT-B-16-SigLIP,webli,55.83333333333333,52.70833333333333,50.72916666666667,56.041666666666664,50.138888888888886,51.80555555555555,54.37499999999999,53.09027777777777
+OpenCLIP,ViT-B-16-SigLIP-384,webli,57.91666666666667,53.33333333333333,50.520833333333336,57.84722222222223,50.0,52.638888888888886,55.208333333333336,53.923611111111114
+OpenCLIP,ViT-L-16-SigLIP-256,webli,60.20833333333333,53.958333333333336,50.104166666666664,59.513888888888886,50.0,53.05555555555555,56.458333333333336,54.75694444444444
+OpenCLIP,ViT-L-16-SigLIP-384,webli,59.58333333333333,53.333333333333336,50.104166666666664,58.68055555555555,50.0,52.916666666666664,55.76388888888889,54.34027777777778
+OpenCLIP,ViT-SO400M-14-SigLIP,webli,50.0,50.0,50.20833333333333,50.069444444444436,50.069444444444436,50.138888888888886,50.0,50.06944444444444
+Recap-CLIP,ViT-L-16-HTxt-Recap-CLIP,recap-datacomp1b,69.16666666666667,57.08333333333333,53.43750000000001,62.569444444444436,57.22222222222222,58.05555555555555,61.736111111111114,59.89583333333333
+StructuredCLIP,NegCLIP-ViT-B-32,coco-ft,60.9375,55.52083333333333,50.9375,61.458333333333336,50.13888888888889,53.47222222222222,58.125,55.798611111111114
+StructuredCLIP,CE-CLIP-ViT-B-32,coco-ft,64.27083333333333,56.77083333333333,51.97916666666667,65.20833333333333,50.138888888888886,53.47222222222222,61.875,57.673611111111114
+StructuredCLIP,DAC-LLM-ViT-B-32,cc3m-ft,63.64583333333333,56.14583333333333,51.35416666666667,64.09722222222221,50.0,53.333333333333336,60.763888888888886,57.048611111111114
+StructuredCLIP,DAC-SAM-ViT-B-32,cc3m-ft,63.02083333333333,56.77083333333333,51.14583333333333,63.95833333333332,50.0,52.916666666666664,61.041666666666664,56.979166666666664

pages/overall_acc_250117.py

@@ -17,6 +17,8 @@ SHORT_CAPTIONS = [
 LONG_CAPTIONS = [
     'DreamLIP:dreamlip-vitb16:cc3m-long', 'DreamLIP:dreamlip-vitb16:cc12m-long',
     'DreamLIP:dreamlip-vitb16:yfcc15m-long', 'DreamLIP:dreamlip-vitb16:cc30m-long',
+    'FLAIR:flair-vitb16:cc3m-recap', 'FLAIR:flair-vitb16:cc12m-recap',
+    'FLAIR:flair-vitb16:yfcc15m-recap', 'FLAIR:flair-vitb16:cc30m-recap',
     'CLIPS:CLIPS-Large-14-224:recap-datacomp1b', 'CLIPS:CLIPS-Large-14-336:recap-datacomp1b',
     'CLIPS:CLIPS-Huge-14-224:recap-datacomp1b', 'LoTLIP:LoTLIP-ViT-B-32:lotlip100m',
     'LoTLIP:LoTLIP-ViT-B-16:lotlip100m', 'Recap-CLIP:ViT-L-16-HTxt-Recap-CLIP:recap-datacomp1b',

pages/summary_acc_250117.py

@@ -19,6 +19,8 @@ SHORT_CAPTIONS = [
 LONG_CAPTIONS = [
     'DreamLIP:dreamlip-vitb16:cc3m-long', 'DreamLIP:dreamlip-vitb16:cc12m-long',
     'DreamLIP:dreamlip-vitb16:yfcc15m-long', 'DreamLIP:dreamlip-vitb16:cc30m-long',
+    "FLAIR:flair-vitb16:cc3m-recap", "FLAIR:flair-vitb16:cc12m-recap",
+    "FLAIR:flair-vitb16:yfcc15m-recap", "FLAIR:flair-vitb16:cc30m-recap",
     'CLIPS:CLIPS-Large-14-224:recap-datacomp1b', 'CLIPS:CLIPS-Large-14-336:recap-datacomp1b',
     'CLIPS:CLIPS-Huge-14-224:recap-datacomp1b', 'LoTLIP:LoTLIP-ViT-B-32:lotlip100m',
     'LoTLIP:LoTLIP-ViT-B-16:lotlip100m', 'Recap-CLIP:ViT-L-16-HTxt-Recap-CLIP:recap-datacomp1b',
@@ -139,6 +141,7 @@ def main():
     st.markdown("### Summarized Evaluation Results on Sentence Addition Tasks")
     st.markdown("- random chance 50% 반영")
     st.markdown("- decoder-based model 결과 추가")
+    st.markdown("- FLAIR model 결과 추가 (context length 77)")
 
     df = pd.read_csv("data/250117/summary.csv")
     df.columns = [ast.literal_eval(col) for col in df.columns]