Ostatnimi czasy pojawia się coraz więcej publikacji adresujących wydajność modeli sieci neuronowych. Do niedawna poszukiwania architektur tych sieci sprowadzały się do optymalizacji wyniku w zależności od prób modyfikacji poszczególnych warstw sieci. Pokazuje to jak ciągle brakuje nam narzędzi do usystematyzowanego podejścia modyfikacji architektur sieci neuronowych.
Praca oryginalnie z maja 2019 zatytułowana "EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks" proponuje standard skalowania sieci poprzez wprowadzenie współczynników skalowania. Autorzy najpierw algorytmem zachłannym próbują odnaleźć cechy małej sieci, które wpływają na skuteczność modelu klasyfikacyjnego. Skalowaniu później poddawane są: szerokość sieci, głębokość sieci, rozdzielczość sieci oraz złożone skalowanie.
W listopadzie 2019 pojawia się naturalna kontynuacja poszukiwań od tych samych autorów: detektor obiektów. Praca zatytułowania "EfficientDet: Scalable and Efficient Object Detection", wykorzystując efekty poprzedniej pracy proponuje zdecydowanie wydajniejsze architektury sieci do detekcji. Osiągają one wyniki najlepszych obecnie znanych sieci używając jedynie ułamka mocy obliczeniowej.
Do tej pory standardowym wyborem detektora obiektów był zwykle model YOLOv3. Posiada on implementacje w wielu framework-ach, nawet dla CoreML dla urządzeń Apple. Na moment pisania tego posta na stronie porównującej detektory działające w czasie rzeczywistym opisywany model się jeszcze nie pojawia. Wydaje mi się, że model YOLOv3 jako "pierwszy wybór" zostanie niedługo wyparty przez nowego króla.