EfficientNetV2-with-TPU

EfficientNet

EfficientNetV2 adalah jenis jaringan saraf convolutional yang memiliki kecepatan pelatihan lebih cepat dan efisiensi parameter yang lebih baik dari model sebelumnya . Untuk mengembangkan model ini, penulis menggunakan kombinasi pencarian dan penskalaan arsitektur saraf yang sadar pelatihan , untuk bersama-sama mengoptimalkan kecepatan pelatihan. Model dicari dari ruang pencarian yang diperkaya dengan operasi baru seperti Fused-MBConv .

Secara arsitektur perbedaan utama adalah:

• EfficientNetV2 secara ekstensif menggunakan MBConv dan fusi-MBConv yang baru ditambahkan di lapisan awal.
• EfficientNetV2 lebih memilih rasio ekspansi yang lebih kecil untuk MBConv karena rasio ekspansi yang lebih kecil cenderung memiliki lebih sedikit overhead akses memori.
• EfficientNetV2 lebih menyukai ukuran kernel 3x3 yang lebih kecil, tetapi menambahkan lebih banyak lapisan untuk mengkompensasi bidang reseptif yang berkurang yang dihasilkan dari ukuran kernel yang lebih kecil.
• EfficientNetV2 sepenuhnya menghapus tahap stride-1 terakhir di EfficientNet asli, mungkin karena ukuran parameternya yang besar dan overhead akses memori

Note

• Train 90%(45000rb)

• Validation 10%(5000rb)

• Test(10000rb)

• Epochs = 25

• WeightDecay = 1e-5

• Batchsize = 16 * 8(strategy.num_replicas_in_sync)

• optimizers adabelief dengan LearningRateSchduler(Triangular2CyclicalLearningRate) dan Rectified = True(mencegah overshoot)

• cifar-10 tidak di sarankan untuk di ubah ukuran nya, saya mengubah ukuran nya hanya untuk milihat apakah bagus/tidak efficientnetv2 saat mempelajari cifar-10

Referensi

• Official efficientnetv2
• Keras EfficientNetV2
• EfficientNetV2: Smaller Models and Faster Training
• EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
• EfficientNet: Improving Accuracy and Efficiency through AutoML and Model Scaling
• Google