Очень хорошая статья со...

Posted on Wed 12 January 2022 • Tagged with from_telegram, in_russian

Очень хорошая статья со слегка пафосным названием A ConvNet for the 2020s.

TL;DR: чувакам надоел хайп vision трансформеров, и они решили сделать сверточные сети great again. Для этого они проанализировали, в чем же могут быть сильные стороны трансформеров, и попытались воспроизвести аналогичные преимущества в классической сверточной архитектуре (Resnet), что им в основном удалось.

Статья хороша не столько результатом (кого сейчас удивишь очередными 82+% точности на Imagenet), сколько стилем изложения. Авторы описали траекторию исследования и соответствующие кумулятивные улучшения, а не продемонстрировали очередную серебряную пулю из ниоткуда. Отдельный лайк за Robustness Evaluation в приложении.

source