자율게시판

웹호스팅업체에서 구글검색로봇ip를 막는 일이 생기고 있습니다.

작성자
SEO
작성일
2011-11-19 11:55
조회
11
일부 웹호스팅업체에서 여러 이유를 들어서 구글로봇ip를 막는 사례들이 있습니다.
반대로 외국에서는 네이버로봇ip을 막는 경우도 있습니다.
구글에서 site:도메인명으로 검색해서 내사이트가 안보이면 일단 의심해봐야합니다.
대부분 보안이나 트래픽관련 이유를 대고 있지만 이는 합당한 이유가 될 수 없습니다.
스스로 자기네 호스팅실력이 부족함을 드러내는 것이나 마찬가지입니다.
로봇접근을 막는 경우에는 대부분 사이트주인측에서 robot.txt나 메타작업등으로 해야되는게
정상일 것입니다.
한국에서도 스마트폰의 사용급증으로 구글검색방문이 적지않이 발생하고 있습니다.
구글로봇방문제한문제는 반드시 해결해야하고 해결이 안되는 경우에는 호스팅업체를
바꿀 수밖에 없습니다.
전체 1

  • 2018-04-04 11:55

    developer
    2011-11-26 18:05
    이런 사례가 워낙 많아서 뭐 이제는 새삼스럽지도 않지요. 국내에서 크롤링 틀어막기는 사이트 하나쯤 만들면 당연히 해둬야할 통상의례처럼 되어버린지 오래지요. 국내 업체들의 지상 목표는 오로지 포털안에서 수작업으로 등록된 사이트 목록중 하나가 검색결과에 나와서 들어오는게 지상목표가 되어버린지 오래지요. 워낙에 포털들이 웹문서 검색을 중요시 하지 않다보니 이렇게 된듯합니다. 검색결과 순위에서 웹문서는 대부분 다른 검색결과에 밀려나오기 일쑤이고 말이죠. 어쩌면 사이트 접근 통로가 오로지 포털들의 수 작업된 목록에서만 접근가능하다고 생각하는지도 모르지요. 구글에서 핵심 키워드로 검색해보면, 얼마나 많은 사이트들이 크롤링을 막고있는지 볼 수 있지요. (크롤링을 막은 사이트들중 카테고리에 등록된 사이트나 일부 랭크 순위가 높은 유명 사이트들 중 일부가 구글에서 검색이 됩니다. 검색해보면 description이 없거나 저장된 페이지가 볼수 없도록 된 사이트들이 크롤링을 막아둔 사이트들이죠.)
    문제는 호스팅 업체가 크롤링을 막게되면 서브도메인까지 모조리 크롤링 하지 않게되어 그 업체로부터 호스팅 서비스를 받는 선량한 이용자들의 사이트가 검색엔진에서 나오지 않게된다는데 있는데 말이죠.
    이러한 조치를 하게 된 이유가 사실 트래픽보다는 구글을 통해 개인정보가 검색된다는등 신상털기라든가 뭐 구글에 내 아이디가 뜬다더라 이런 이유로 대부분 막아둔거지요. 국내에서는 웹문서 검색이 워낙 마이너하게 되어버린탓에 구글 점유율이 3%라고 하지요? 세계 최저...
    이렇게 되다보니까 아예 웹 페이지가 웹문서를 통해 유입될 수 있다는것을 모르거나, 이를 포기해버리고 그냥 포털을 통한 접속에 만족하는거지요.
    seo 좋은 글 감사합니다. 경험이 있으신가 보죠?^^ 서버호스팅과 달리 웹호스팅을 하는 경우 같은 서버를 사용하는 모든 사이트가 같은 피해를 보게되어 더욱 안타깝습니다. 11/27 16:59

    이름아이콘 developer
    2011-11-26 18:05
    국내에서 seo가 되어있는 사이트들이 얼마나 될런지요? 국내에서 seo 따위는 신경쓰지 않지요. 최소한 seo의 기본인, 게시판 글 제목에 따라서 타이틀을 유동적으로 변경되도록 해줘야지 검색엔진에서 타이틀을 이용해서 게시물을 찾을 수 있는데 이것조차 안되어있는 사이트들이 수두룩 합니다. 이러다보니까 웹문서 검색은 더 더욱 품질이 저하될 수밖에 없고 구글과 같은 검색엔진이 국내에서 자리잡지 못하는거지요.
    이것이 자칭 IT 강국의 현실입니다.
    seo 감사합니다. 어느 정도 SEO를 진행한 사이트들은 실제로 구글점유율이
    상당합니다. SEO가 활성화 할 수록 구글검색품질뿐만 아니라 궁극적으로 네이버 검색품질도 개선될 것입니다.403문제든 SEO문제든 사이트주인들의 인식제고가 필요할 때이지요.
    회언가입을 안하신 것 같은데 가입하셔서 좋은 글 부탁드립니다.^^ 11/27 17:04


전체 455
번호 제목 작성자 작성일 추천 조회
공지사항
[필독]자율게시판 이용안내 (1)
SEO | 2007.02.06 | 추천 0 | 조회 124
SEO 2007.02.06 0 124
432
오랜만에 들렀네요 - 엘카 (1)
SEO | 2017.09.13 | 추천 0 | 조회 128
SEO 2017.09.13 0 128
431
(기억하자)워드프레스 홈페이지 갤러리 필터링이 안될 때!
SEO | 2017.04.14 | 추천 0 | 조회 110
SEO 2017.04.14 0 110
430
(기억하자)워드프레스 master slider 플러그인에서 text layer 높이가
SEO | 2017.03.22 | 추천 0 | 조회 123
SEO 2017.03.22 0 123
429
워드프레스 feed주소가 안열리고 오류가 날 경우!
SEO | 2017.03.04 | 추천 0 | 조회 132
SEO 2017.03.04 0 132
428
seoinkorea.com 접근 에러 문의 - 지광빠 (1)
SEO | 2017.02.27 | 추천 0 | 조회 107
SEO 2017.02.27 0 107
427
오랬동안 운영하던 사이트의 도메인을 변경하였습니다. 검색시... - 소피의세상 (1)
SEO | 2016.09.22 | 추천 0 | 조회 72
SEO 2016.09.22 0 72
426
공익봉사... - windrunner (1)
SEO | 2016.09.22 | 추천 0 | 조회 57
SEO 2016.09.22 0 57
425
안녕하세요. - windrunner (1)
SEO | 2016.09.02 | 추천 0 | 조회 50
SEO 2016.09.02 0 50
424
구글 said...... 저작권침해관련
SEO | 2016.08.03 | 추천 0 | 조회 47
SEO 2016.08.03 0 47
423
광고, 기사로 바꿔 네이버 송고하면 건당 30만원”... 신규 네이버 뉴스제휴 매체의 패기! - 뉴스민
SEO | 2016.06.30 | 추천 0 | 조회 37
SEO 2016.06.30 0 37

게시판 최신 글

[공지] 임시 오픈했습니다.
[공지] 유료 검색엔진최적화진단 및 처방안내(의뢰양식 포함)
2018.03.19 홈페이지 리뉴얼을 위한 의견을 수렴합니다. (1)
네이버 웹마스터도구 사용법. 네이버TV로 보자!
네이버 웹문서검색을 고도화하는 그리핀(Griffin) 프로젝트
오랜만에 들렀네요 - 엘카 (1)
robots.txt 문의드립니다. - 버릇없는 고양이 (1)
sitemap.xml 문의, 19금 사이트 문의 - 버릇없는 고양이 (1)
LSI(Latent Semantic Indexing) 키워드발굴 도구
네이버 웹문서검색 이야기...네이버 검색블로그
seo 2007-12-28 15:46 회원캐릭터 -.Updated '07.12.28 seo .Updated: 08.01.05 1/5 16:33 seo .Updated: '08,01.14 1/14 09:39 seo .Updated: '08,01.19 1/19 14:47 seo .Updated: '08.02.18 2/18 09:45 seo .Updated: '09.02.06 2/6 14:54 seo .Updated:'09.05.01 5/1 14:40 seo Updated: '09. 07.04 7/4 09:59 seo Updated: '09. 07.22 7/22 12:47 seo Updfated: '09. 08. 18 8/18 17:44 seo .updated: '09. 09. 14. 9/14 14:39 seo Updated: '11. 07. 16 7/16 11:55 seo Updated: '11. 10. 15 10/15 17:22 seo 23-42, (43/39) 11/10 19:29 이름아이콘 블랙잭 2008-03-02 04:01 회원캐릭터 블로그 등록하는곳도 많이 있군요..근데 말이죠~일반 유저들의 접근성이 용이한 포털블로그만 몇개 선정하여 집중적인 정보제공 및 활성화를 이루는것이 낮지 않을까요??(등록이 문제가 아니라 등록된곳마다 관리하고 신경쓰야 하니깐 쉽지않겠는데요...) seo 맞습니다. 첫 등록시 조금만 신경써서 등록했다면 등록한 곳마다 다 관리할 필요는 없고 유력한 곳 몇군데만 종종 체크해주면됩니다. 3/2 12:55
nammy 2009-06-11 20:27 정말 깔끔하고 정확한 설명이였습니다..^-^b 이름아이콘 전상훈 2011-03-18 09:26 이 자료 퍼가도 될까요 ?? 허락을 구하고 싶습니다. seo 가져가신 후 출처를 기입해주시면 됩니다. 출처는 (여기 회원이시니 SEO Friendly하게) "검색엔진최적화 커뮤니티"를 Anchor Text로 하시고 링크를 걸어주세요. 감사합니다. 3/18 09:36 이름아이콘 여름소나기 2016-04-28 15:26 국내에서의 SEO는 아직까지 큰 신경을 쓰지 않는 경우가 많이 있죠. 광고주에게 SEO를 얘기를 하면 그건 그냥 서비스 아냐? 라던가.. SEO하면 상위에 뜨는가? 라는 직관적인 문의가 많이 있습니다. 그럴때마다 이해시키는 것이 쉽지 않네요.. 좋은 정리 감사합니다~ 저 역시 국내SEO에 관심이 많습니다.. 관심만 많네요.. ^^;; seo 예 여전합니다. 요즘 네이버 웹마스터도구관련 지식인글들을 보면 아직 많이 알려질 필요를 느낍니다. 이제 네이버에서도 검색엔진최적화를 언급하기 시작했으므로 좀 나아지길 기대하고는 있습니다. ^^ 4/28 16:02
쉬앤아이 2009-07-06 13:29 회원캐릭터 정말 좋은 동기를 가지고 시작하셨습니다. 모든 바라는 일이 번창하시기를 기원드립니다. seo 감사합니다. 하시는 쇼핑몰도 대박나시길 기원합니다. 7/6 18:42 이름아이콘 스마트가이 2011-01-25 11:16 운영자님 무역하시는 분이시군요..^^ 저도 현재 미주,유럽지역에 수출을 생각하고 준비하는 중입니다. 상품은 핫팩이구요^^ 많은도움 받을수 있을꺼라는 막연한 기대감만..ㅋㅋㅋㅋ 제마음대로 멘토를 정하네요 ㅎㅎ 항상 번창하시길 바랍니다^^ 좋은사이트 감사합니다^^ seo 반갑습니다. 영문홈페이지는 운영하시나요? 마침 어제 보험사에서 핫팩을 보내와서 제 호주머니에 넣고 있습니다. 아마 중국산들도 많을텐데요. 알리바바에는 꼭 등록해놓으세요. 1/25 11:41 스마트가이 네 영문홈피는 지금 작업중입니다^^ 혼자서 여러개 할려니 벅차네요 선생님의 무역고견좀 듣고싶습니다.ㅎ 혹 블로그 하시는지요? 1/25 13:57 이름아이콘 무쵸리 2012-02-08 18:23 이런 사이트를 왜 지금알았나 싶어요 @.,@;; 더 열심히 공부 하겠습니다. 고맙습니다..^^ seo 감사합니다. 검색의 습관을 바꾸면 새로운 정보들이 보일 것입니다.^^ 도움이 되길 바라며 좋은 활동 기대하겠습니다. 2/8 19:20 이름아이콘 염군 2012-03-16 11:42 이 곳을 알게되어 너무나도 다행이다, 운이 좋다. 라고 생각하고 있습니다. seoinkorea.com 만들어 주신 운영자님께 감사의 말씀 전하고 싶습니다. 영문권 나라에 한국제품 수출을 생각하는 쇼핑몰 창업예정자입니다. 아직 이곳을 다 둘러보진 않았지만 많은 도움을 받을것같다 라는 생각이 드네요. 좋은사이트 운영에 진심으로 감사드립니다 ^^ seo 감사합니다. 좋은 활동 부탁드립니다.^^ 3/16 13:42 이름아이콘 cokie 2012-11-14 14:03 회원캐릭터 인사드립니다 ^^ 궁금한 것도 많고` 앞으로 많이 배우겠습니다` 조만간 문의드리고요 건축사무소 홈페이지 때문에..... seo 어서 오세요. 도움이 되길 바랍니다. 홈페이지를 아직 만들지 않았다면 미리 제 조언을 받으시는게 효율적일 것입니다. 11/14 14:30 이름아이콘 굿맨 2014-02-16 22:48 회원사진 사이트 모든 내용 다 보겠습니다.~ 소개 해주신 워드프레스 책도 구매 했습니다. seo 많은 도움되길바랍니다. 2/17 11:14 이름아이콘 이똘 2014-02-20 03:15 저도 비슷한 경력을 가지고 계신 것 같습니다. - 해외무역마케팅 회사근무 ( 주로 정부지원 사업 위주로 하는 업체 ) - 블로그/쇼핑물 운영 - 현재는 미국에 있는 SEO 회사에서 Software Engineer에서 일하고 있습니다^^ seo 반갑습니다. 좋은 활동 기대하겠습니다.^^ 2/20 11:02 이름아이콘 여름소나기 2016-04-28 15:19 회원가입은 오래전에 했으나..이제서야 하나하나씩 읽어보게 됩니다.. 좋은 내용 감사합니다~ ^^ seo 감사합니다. 예전 글들 중에는 지금과 맞지 않은 내용들도 있을 것입니다. 코멘트해주시면 확인/보정하도록하겠습니다. 4/28 15:58 이름아이콘 저편으로 2016-05-05 18:03 운영자님의 관심과 배려로 인해 이곳에 오게 되어 감사드려요~ 아직 아무것도 모르는 초보인데 이곳에서 많이 배우길 원합니다.~^^ seo 쇼핑몰개설은 해놓고 robots.txt로 검색엔진로봇을 막아 놓은 참으로 어처구니 없고 안타까운 상태를 그냥 볼 수 없어서 직접 전화를 드렸습니다. ^^ 이제 우리 사이트 내에서 많은 정보를 얻어 하나 하나 적용하면서 쇼핑몰이 번창하시길 바랍니다. 5/5 18:32 이름아이콘 행복한하루 2016-09-01 19:19 안녕하세요 반갑습니다. 많은 도움이 될것 같아서 가입했습니다. 좋은하루 되시길...^^ seo 감사합니다. 하나라도 도움이 되길 바라며 좋은 활동 기대하겠습니다. 9/2 12:29 이름아이콘 트롤 2017-01-13 21:24 늦게라도 알게되어 감사합니다. seo 감사합니다. 하나라도 도움이 되시길 바랍니다. 1/14 11:05
morefree 2018-03-23 00:12 축하드립니다. 새로운 전환을 맞는 11년이 되셨으면 합니다. seo 여러모로 어렵습니다만... 잘 부탁드립니다. 감사합니다. 3/26 18:00 이름아이콘 램브란트 2018-05-23 12:53 간만에 들어오네요.ㅎㅎㅎ 화이팅입니다. seo님 seo 반갑습니다.ㅎ 곧 새로운 모습으로 뵙겟습니다. 5/23 13:38 이름아이콘 지포큐브 2018-06-05 10:10 회원캐릭터 새로운 도전 진심으로 응원드립니다^^ 건승하세요~~
시지프스 2010-01-07 18:21 안녕하세요, 가입인사드립니다.CEO 라는 용어를 알기 전 인터넷을 통해 유사 개념을 찾다가 이처럼 소중한 SITE 에 회원가입을 하게 되었읍니다. HOMEPAGE 의 구조에 대한 지식이 너무 없어, 여러분께 폐만 끼치지 않을까 염려가 앞섭니다. 앞으로 많은 지도편달 바라며..이만 인사 줄입니다. 감사합니다. seo 어서오세요. CEO가 아니라 SEO이구요.^^ 검색엔진최적화라는 용어는 거창하기만 하지 하나하나 뜯어보면 별 거없습니다. 각 게시판 앞글부터 차근차근 읽어보시면 감이 잡힐 것입니다. 아무리 초보적인 질문도 환영합니다. 1/7 18:33
우가우가 2012-08-24 14:38 회원사진 좋은정보 감사합니다!
seo 2016-02-25 17:08 회원캐릭터 글쎄요. google 트랜드를 활용하면 되지 않을까요?
seo 2017-09-11 16:08 회원캐릭터 도메인을 봐야겠습니다. 이름아이콘 버릇없는고양이 2017-09-11 16:48 《Re》seo 님 , 유/무료 seo진단에 남겨두었습니다
seo 2017-09-11 13:34 회원캐릭터 기술적으로는 문제가 없을 것입니다만 법적 가이드라인에는 위배가 될 것입니다.
seo 2017-03-17 19:29 회원캐릭터 오랜만입니다. ㅎ 말씀하신대로 301redirect가 바람직하겠지만 아주 유능한 개발자가 아니라면 쉽지 않을 것입니다. 특히 wordpress로 옮긴다면요. 아니면 주요 페이지들만 수동으로 redirect소스를 넣는 방법도 있겠죠. 이런 작업들 대신 404페이지를 잘 구성하고 새 url들에 대해 색인을 재촉하는 작업(사이트맵,패치 등)을 하는 것이 맘 편할 지 모르겠습니다. 이름아이콘 alex 2017-03-18 08:53 서브 디렉토리 위주로 매칭을 하여 수동으로 하고 나머진 말씀하신대로 새 url 작업을 해야겠군요 이름아이콘 alex 2017-03-18 09:30 그런데 고민인것은, 메인페이지 경우인데요, 차라리 도메인이 변경되면 301로 돌리면 되겠지만, 도메인은 그대로 가져가는 경우라서요. abc.com 처럼 메인 도메인은 그대로이고 써브도메인(써브디렉토리)는 변경. 메인이 가장 중요할텐데 어떢해 처리하면 좋을까요? seo 메인이야 404응답을 보이지는 않을 것이므로 특별한 작업은 필요치 않을텐데요? 잘못이해했나요? abc.com이 xx.abc.com으로 변경된 경우인가요? 3/18 13:16 이름아이콘 alex 2017-03-18 19:37 abc.com --> abc.com 그대로입니다. 이름아이콘 alex 2017-03-18 19:41 abc.com --> abc.com 그대로입니다. 그렇다면 현재 인덱싱/노출중인 abc.com 을 클릭하면 리뉴얼된 페이지가 보여지겠죠? seo 실제 url을 알지 못해서 답하기가 쉽지 않네요. 반드시 redirect를 고집하지 않을 수도 있구요. 3/19 13:56 이름아이콘 alex 2017-03-19 14:16 cn.×××.com 도메인 그대로 사용 예정입니다. 현재 SERP상에 cn.×××.com(메인 페이지)이 인덱싱 되어 있는데 특별한 처리를 하지 않아도 새로운 페이지로 연결 되겠죠?(올드 페이지는 서버?에서 내려 갔을테니까요) 대신 써브 페이지들은 404처리나 디렉토리별로 묶어서 301 처리. 아울러 아래 내용이 뭘까요? RewriteEngine On RewriteBase / RewriteRule ^index\.php$ - [L] RewriteCond %{REQUEST_FILENAME} !-f RewriteCond %{REQUEST_FILENAME} !-d RewriteRule . /index.php [L] seo 그냥 지금 전화주세요. 사무실입니다. 3/19 14:25