HTTP 완벽가이드 (5) 썸네일형 리스트형 9. 웹 로봇 웹 로봇 사람과의 상호작용 없이 연속된 웹 트랜잭션들을 자동으로 수행하는 소프트웨어 프로그램 1. 크롤러와 크롤링 웹 크롤러 : 웹페이지를 한 개 가져오고, 그 다음 그 페이지가 가리키는 모든 웹페이지를 가져오고, 다시 그 페이지들이 가리키는 모든 웹페이지들을 가져오는 일을 재귀적으로 반복하는 방식으로 웹을 순회하는 로봇 1. 어디에서 시작하는가: '루트 집합' 크롤러가 방문을 시작하는 URL들의 초기 집합을 루트 집합(root set) 이라고 부른다. 일반적으로 좋은 루트 집합은 크고 인기 있는 웹 사이트, 새로 생성된 페이지들의 목록, 그리고 자주 링크되지 않는 잘 알려져 있지 않은 페이지들의 목록으로구성되어 있다. 이 루트 집합은 시간이 지남에 따 라 성장하며 새로운 크롤링을 위한 시드 목록이 된다.. 7. 캐시 웹 캐시 : 자주 쓰이는 문서의 사본을 자동으로 보관하는 HTTP 장치 1. 불필요한 데이터 전송 복수의 클라이언트가 자주 쓰이는 원 서버 페이지에 접근할 때, 서버는 같은 문서를 클라이언트들에게 각각 한 번씩 전송하게 된다. 불필요한 데이터 전송은 값비싼 네트워크 대역폭을 잡아먹고, 전송을 느리게 만들며, 웹 서버에 부하를 준다. 캐시를 이용하면, 첫 번째 서버 응답은 캐시에 보관된다. 캐시 된 사본이 뒤이은 요청들에 대한 응답으로 사용될 수 있기 때문에, 원서버가 중복해서 트래픽을 주고받는 낭비가 줄어들게 된다. 2. 대역폭 병목 캐시는 네트워크 병목을 줄여준다. 많은 네트워크가 원격 서버보다 로컬 네트워크 클라이언트에 더 넓은 대역폭을 제공한다. 클라이언트들이 서버에 접근할 때의 속도는, 그 경로에.. 6. 프락시 웹 프락시 서버는 중개자다. 클라이언트와 서버 사이에 위치하여 그들 사이의 HTTP 메시지를 정리하는 중개인처럼 동작 1. 웹 중개자 웹 프락시 서버는 클라이언트 입장에서 트랜잭션을 수행하는 중개인 프락시를 이용하면 프락시 서버가 제공하는 좋은 서비스를 이용할 수 있다. HTTP 프락시 서버는 웹 서버이기도 하고 웹 클라이언트이기도 하다. HTTP 프락시를 만든다면, HTTP 클라이언트와 HTTP 서버의 양쪽 규칙 모두를 주의 깊게 따라야 한다. 1. 개인 프락시와 공유 프락시 공용 프락시 대부분의 프락시는 공용이며 공유된 프락시다. 중앙 집중형 프락시를 관리하는 게 더 비용 효율이 높고 쉽다. 캐시 프락시 서버와 같은 몇몇 프락시 애플리케이션은 프락시를 이용하는 사용자가 많을수록 유리 여러 사용자들의 .. 5. 웹서버 1. 다채로운 웹 서버 `웹 서버`라는 용어는 웹서버 소프트웨어와 웹페이지 제공에 특화된 장비 양쪽 모두를 가리킨다. 웹 서버는 기능, 크기 형태가 다양하다. 10줄 짜리 조그마한 펄 스크립트 웹서버 50Mb짜리 안전한 상용 엔진 작은 기판 위의 서버 크기와 기능은 달라도, 모든 웹 서버는 리소스에 대한 HTTP 요청을 받아서 콘텐츠를 클라이언트에게 돌려준다. 1. 웹 서버 구현 웹 서버는 HTTP 및 그와 관련된 TCP 처리를 구현한 것이다. 리소스를 관리하고 웹 서버를 설정, 통제, 확장하기 위한 관리 기능을 제공 TCP 커넥션 관리에 대한 책임을 운영체제와 나눠 갖는다. 운영체제 : 컴퓨터 시스템의 하드웨어를 관리, TCP/IP 네트워크 지원, 파일 시스템, 연산 활동을 제어하기 위한 프로세스 관리.. 1장 - HTTP 개관 1장 HTTP: 인터넷의 멀티미디어 배달부 HTTP는 신뢰성 있는 데이터 전송 프로토콜을 사용 데이터가 지구 반대편에서 오더라도 전송 중 소상되거나 꼬이지 않음을 보장 사용자는 인터넷에서 얻은 정보가 손상된 게 아닌지 염려할 필요 X 개발자는 인터넷 결함이나 약점에 대한 걱정 없이 고유 기능을 구현하는데 집중할 수 있다. 웹 클라이언트와 서버 웹 콘텐츠는 웹 서버에 존재 웹서버는 보통 HTTP 서버라고 불린다. 웹 서버는 인터넷의 데이터를 저장하고 HTTP 클라이언트가 요청한 데이터를 제공 HTTP 클라이언트와 HTTP 서버는 월드 와이드 웹의 기본 요소이다. 리소스 웹 리소스는 웹 콘텐츠의 원천웹 리소스의 종류 정적파일 : 텍스트, HTML, MS Word, 어도비 아크로벳, JPEG, AVI 등등 동.. 이전 1 다음
