Anchor-Free Object Detection 개요

핵심 요약:
Anchor-free 객체 검출은 사전 정의된 앵커 박스(anchor box)를 사용하지 않고, 이미지 특징 맵(feature map) 상의 픽셀 또는 키포인트에서 곧바로 객체의 위치와 크기를 예측하는 방식이다. 이로써 복잡한 앵커 설계 및 하이퍼파라미터 튜닝이 불필요해져 모델 구조가 단순해지고 연산 효율이 향상된다[1].

1. Anchor-Based vs Anchor-Free 비교

구분	Anchor-Based	Anchor-Free
초기 제안 방식	다양한 크기·비율 앵커 생성 → 오프셋 회귀	픽셀/키포인트에서 직접 위치·크기 회귀
하이퍼파라미터	스케일·비율·개수 등 다수 설정 필요	거의 없음
메모리·연산	많은 앵커로 인한 오버헤드	간단한 문자열 파싱 수준 연산
정밀도 조정	앵커 매칭 전략으로 조정	추가 Loss(centerness, embedding) 도입
대표 모델	Faster R-CNN, RetinaNet, YOLOv3/V4	FCOS, CornerNet, CenterNet, FoveaBox

2. Anchor-Free 검출기 종류 및 특징

2.1 Center-Based Methods (중심점 예측)

• FCOS (Fully Convolutional One-Stage) [2]
  각 픽셀을 “객체 중심” 후보로 간주하고, 해당 위치에서 네 변경(상·하·좌·우)까지의 거리를 회귀한다. Centerness 분류 헤드를 추가하여 중심부 예측 정확도를 높인다.
• 구조: FPN + per-pixel 분류·회귀 헤드
• 장점: 앵커 불필요·Hyperparameter 감소
• 단점: 아주 작은 객체 검출 성능 저하 가능
• FoveaBox [3]
  픽셀 단위로 “객체 존재 확률 지도”를 예측하고, 위치별로 사각형 좌표를 회귀한다. FPN 특성맵에서 각 스케일에 맞춰 자연스럽게 크기를 처리한다.
• 구조: 백본 + 카테고리 민감 세맨틱 맵 + 아그노스틱 박스 회귀
• 장점: 간단·유연성 우수
• 단점: 키포인트 기반보다 정밀도 낮을 수 있음

2.2 Keypoint-Based Methods (키포인트 예측)

• CornerNet [4]
  객체의 좌상단(top-left) 및 우하단(bottom-right) 모서리 키포인트를 검출하여 페어 매칭한다. 새로운 “corner pooling” 레이어로 정확도를 높인다.
• 구조: Heatmap + Embedding 헤드
• 장점: 키포인트 기반 정밀도 우수
• 단점: 매칭 연산 및 embedding 손실로 연산 증가
• CenterNet (Objects as Points) [5]
  객체를 단일 중심점으로 표현하고, 중심점 Heatmap, 크기(dim), 로컬 오프셋(offset) 헤드를 사용한다. NMS 전 키포인트 기반 처리로 불필요 박스 억제.
• 구조: 중심점 Heatmap + 크기·오프셋 회귀
• 장점: False positive 감소, 구조 단순
• 단점: Heatmap 해상도 제약
• RepPoints [6]
  학습 가능한 포인트 집합(point set)을 이용해 객체 영역을 표현한다. 첫 단계에서 균일한 포인트를 학습하고, 두 번째 단계에서 이를 객체 경계점으로 정제한다.
• 구조: 포인트 예측 헤드 + 분할적 검증
• 장점: 유연한 공간 표현, instance segmentation 확장 가능
• 단점: 포인트 수 증가 시 과적합 가능

3. 주요 기술 및 트릭

• Centerness (FCOS)
  중심으로부터 멀어질수록 신뢰도 낮춤으로써 불필요 박스 배제[2].
• Adaptive Training Sample Selection (ATSS)
  Anchor/Point에 관계 없이 positive·negative 샘플을 통계적 기준으로 자동 선정, 앵커 기반·앵커 프리 간 성능 격차 해소[7].
• Corner Pooling (CornerNet)
  모서리 위치에서 수평·수직 경로를 pool하여 키포인트 국소화 개선[4].

4. Anchor-Free의 장단점

장점

• 모델 단순화: 앵커 디자인·매칭 로직 불필요
• 연산 효율성: 앵커 수에 비례한 연산·메모리 절감
• 유연성: 다양한 객체 스케일·비율에 적응 용이

단점

• 낮은 리콜 (특히 작은 객체): 앵커 기반 보다 초기 후보 밀도가 낮을 수 있음
• 추가 손실 필요: centerness, embedding 등 후처리 비용
• 고해상도 맵 연산 제약: GPU 메모리 한계

5. 결론 및 적용 가이드

• 리소스 제약·실시간: YOLO 계열 anchor-free(예: YOLOv8), FCOS, FoveaBox 추천
• 정밀도 우선: Keypoint 기반(CornerNet, CenterNet) 활용
• 하이퍼파라미터 최소화: ATSS 결합으로 샘플 매칭 자동화

Anchor-free 검출은 객체 검출의 새로운 패러다임으로, 간단한 구조와 효율적 연산을 통해 다양한 응용에서 강력한 선택지가 되고 있다. Proper한 기법 선택 및 트릭 도입으로 anchor-based 대비 성능 격차를 빠르게 좁힐 수 있다.

출처
[1] Anchor-Free Object Detection – Ultralytics https://www.ultralytics.com/glossary/anchor-free-detectors
[2] Paper page – FCOS: Fully Convolutional One-Stage Object Detection https://huggingface.co/papers/1904.01355
[3] FoveaBox Explained – Papers With Code https://paperswithcode.com/method/foveabox
[4] CornerNet https://serp.ai/cornernet/
[5] CenterNet AI: Anchorless Object Detection | SERP AI https://serp.ai/posts/centernet/
[6] 技术综述四：目标检测之RepPoints系列算法讲解 https://bbs.huaweicloud.com/blogs/197776
[7] [1912.02424] Bridging the Gap Between Anchor-based and … – arXiv https://arxiv.org/abs/1912.02424
[8] Anchor based and Anchor free(无锚VS有锚)【总结】 https://blog.csdn.net/qq_44029998/article/details/129561783
[9] FCOS https://serp.ai/fcos/
[10] FCOS- Anchor Free Object Detection Explained | LearnOpenCV # https://learnopencv.com/fcos-anchor-free-object-detection-explained/
[11] anchor base和anchor free解释 https://blog.csdn.net/qq_60199131/article/details/137920417
[12] GitHub – kap2403/CenterNet-for-Object-Detection https://github.com/kap2403/CenterNet-for-Object-Detection
[13] CornerNet: Detecting Objects as Paired Keypoints (Paper Explained) https://www.youtube.com/watch?v=CA8JPbJ75tY
[14] 논문 리뷰 – Bridging the Gap Between Anchor-based and Anchor … https://byeongjokim.github.io/posts/Bridging-the-Gap-Between-Anchor-based-and-Anchor-free-Detection-via-Adaptive-Training-Sample-Selection/
[15] Papers with Code – FoveaBox: Beyond Anchor-based Object Detector https://paperswithcode.com/paper/foveabox-beyond-anchor-based-object-detector
[16] RepPoints Explained | Papers With Code https://paperswithcode.com/method/reppoints
[17] [딥 러닝, Object Detection] ATSS: Adaptive Training Sample Selection https://velog.io/@markany/%EB%94%A5-%EB%9F%AC%EB%8B%9D-Object-Detection-Adaptive-Training-Sample-Selection
[18] [PDF] FOVEABOX: BEYOUND ANCHOR-BASED OBJECT DE – OpenReview https://openreview.net/pdf?id=HyxFF34FPr
[19] [CVPR 2022] Oriented RepPoints for Aerial Object Detection https://cherish-j.tistory.com/114
[20] [논문리뷰] Bridging the Gap Between Anchor-based and Anchor-free … https://velog.io/@dust_potato/%EB%85%BC%EB%AC%B8%EB%A6%AC%EB%B7%B0-Bridging-the-Gap-Between-Anchor-based-and-Anchor-free-Detection-via-Adaptive-Training-Sample-Selection-CVPR-2020