[카테고리:] 미분류

  • naver.how에 들어온 봇 검색

    2023년 3월 6일 10시 39분 기준.


    1,266 (30.85%)129 (27.86%)8.1 MiB (12.81%)Crawlers
    696 (16.96%)1 (00.22%)23.3 KiB (00.04%)WordPress/6.7.2
    254 (06.19%)1 (00.22%)747.8 KiB (01.16%)bot
    142 (03.46%)21 (04.54%)2.9 MiB (04.64%)AhrefsBot/7.0
    30 (00.73%)25 (05.40%)277.1 KiB (00.43%)Googlebot/2.1
    28 (00.68%)10 (02.16%)126.2 KiB (00.20%)kakaotalk-scrap/1.0
    23 (00.56%)22 (04.75%)686.4 KiB (01.07%)facebookexternalhit/1.1
    18 (00.44%)6 (01.30%)175 KiB (00.27%)Twitterbot/1.0
    9 (00.22%)4 (00.86%)710 KiB (01.10%)TwitterBot
    8 (00.19%)7 (01.51%)264.1 KiB (00.41%)meta-externalagent/1.1
    8 (00.19%)3 (00.65%)111.8 KiB (00.17%)bingbot/2.0
    8 (00.19%)2 (00.43%)60.7 KiB (00.09%)CFNetwork/3826.400.120
    7 (00.17%)2 (00.43%)4.1 KiB (00.01%)CensysInspect/1.1
    6 (00.15%)5 (01.08%)1.4 MiB (02.29%)Googlebot-Image/1.0
    6 (00.15%)4 (00.86%)138.4 KiB (00.21%)Mediapartners-Google
    4 (00.10%)4 (00.86%)43.9 KiB (00.07%)PerplexityBot/1.0
    4 (00.10%)2 (00.43%)43.8 KiB (00.07%)search
    3 (00.07%)2 (00.43%)43.6 KiB (00.07%)(Applebot/0.1
    2 (00.05%)0 (00.00%)29.7 KiB (00.05%)Google-adstxt
    2 (00.05%)2 (00.43%)356 B (00.00%)WRTNBot/1.0
    2 (00.05%)2 (00.43%)910 B (00.00%)YandexBot/3.0
    2 (00.05%)1 (00.22%)43.5 KiB (00.07%)YaK/1.0
    2 (00.05%)2 (00.43%)135.9 KiB (00.21%)NetcraftSurveyAgent/1.0
    2 (00.05%)1 (00.22%)123.6 KiB (00.19%)Java/11.0.13

    워드프레스 사이트 방문 주요 크롤러 봇 순위

    1. Googlebot/2.1 – 구글의 주요 검색 엔진 크롤러로, 웹페이지를 색인화하는 데 사용됩니다.
    2. AhrefsBot/7.0 – Ahrefs SEO 도구의 크롤러로, 백링크와 SEO 데이터를 수집합니다.
    3. Bingbot/2.0 – 마이크로소프트 Bing 검색 엔진의 크롤러입니다.
    4. Googlebot-Image/1.0 – 구글의 이미지 검색용 크롤러입니다.
    5. Mediapartners-Google – 구글 애드센스용 크롤러로, 광고 관련 콘텐츠를 분석합니다.
    6. Facebookexternalhit/1.1 – 페이스북이 링크 미리보기를 생성할 때 사용하는 크롤러입니다.
    7. Twitterbot/1.0 – 트위터가 카드 미리보기를 생성하는 데 사용하는 크롤러입니다.
    8. YandexBot/3.0 – 러시아 최대 검색 엔진 Yandex의 크롤러입니다.
    9. PerplexityBot/1.0 – Perplexity AI의 검색 및 정보 수집용 크롤러입니다.
    10. WRTNBot/1.0 – 네이버의 인공지능 서비스 ‘라이트’ 관련 크롤러입니다.
    11. Kakaotalk-scrap/1.0 – 카카오톡에서 링크 공유 시 미리보기를 생성하는 크롤러입니다.
    12. Applebot/0.1 – 애플의 Siri 및 Spotlight 검색용 크롤러입니다.
    13. NetcraftSurveyAgent/1.0 – 웹사이트 보안 및 호스팅 정보를 수집하는 크롤러입니다.

    이러한 봇들은 대부분 검색 엔진 최적화(SEO), 소셜 미디어 미리보기 생성, 콘텐츠 분석 등의 목적으로 사이트를 방문합니다. 데이터를 보면 Googlebot이 상당히 많은 비중을 차지하고 있는 것으로 보입니다.