python urllib2 예제

위의 예에서 사용되는 샘플 CGI에 대한 코드는 다음과 같습니다 : 우리는 우리가 누다 구글을 말하고 있기 때문에 구글은이 일을하고있다, urllib 파이썬 봇! 헤더의 사용자 에이전트를 수정하여 변경해 보겠습니다. 또한 프록시 설정이 검색되는 경우(예: http_proxy와 같은 *_proxy 환경 변수가 설정된 경우) ProxyHandler가 기본적으로 설치되고 프록시를 통해 요청이 처리되도록 합니다. urlopen은 응답을 처리 할 수없는 경우 URLError를 발생시 (파이썬 API에서 평소와 같이 ValueError, TypeError 등과 같은 기본 제공 예외도 발생할 수 있음). 파이썬 설치에 SSL 지원(즉, ssl 모듈을 가져올 수 있는 경우)이 있는 경우 HTTPSHandler도 추가됩니다. URL을 가져올 때 오프너(혼동할 수 있는 urllib2의 인스턴스)를 사용합니다. 오프너 디렉터). 일반적으로 urlopen을 통해 기본 오프너를 사용했지만 사용자 지정 오프너를 만들 수 있습니다. 오프너는 핸들러를 사용합니다. 모든 “무거운 리프팅”은 핸들러에 의해 수행됩니다. 각 처리기는 특정 URL 구성표(http, ftp 등)에 대한 URL을 여는 방법 또는 HTTP 리디렉션 또는 HTTP 쿠키와 같은 URL 열기 측면을 처리하는 방법을 알고 있습니다. 파이썬은 URL을 여는 잘 알려진 urllib2 모듈을 제공합니다. 이 모듈의 기능 중 일부를 조사해 봅시다.

대부분의 사용 사례는 상위 수준 요청 모듈을 사용하여 더 잘 제공됩니다. 그러나 사용 가능한 옵션에 대해 알아야 합니다. 내 경우에는 직장에서 인터넷에 액세스하기 위해 프록시를 사용해야합니다. 이 프록시를 통해 localhost URL을 가져오려고 하면 URL이 차단됩니다. IE는 urllib2가 선택하는 프록시를 사용하도록 설정되어 있습니다. 로컬 호스트 서버에서 스크립트를 테스트하려면 urllib2가 프록시를 사용하지 못하도록해야합니다. 밝혀, 구글은 405를 반환합니다, 방법은 허용되지 않습니다. 구글은 우리의 요청에 만족하지 않습니다! 다른 웹 사이트에서 위의 변수를 수정해 보십시오.

검색 바가있는 웹 사이트를 찾고 파이썬을 통해 사용할 수 있는지 확인하십시오. URL은 간단한 요청을 위해 urllib2.urlopen()에 직접 전달할 수 있지만 urllib2의 인스턴스를 만들어야 합니다. 요청 헤더 설정에 대한 클래스를 요청합니다. 또한 파이썬으로 웹 리소스를 가져오는 데 유용한 다음 기사를 찾을 수 있습니다: 파이썬 교육의 경우, 우리의 가장 좋은 권장 사항은 DataCamp입니다. 아래 예제 외에도 urllib2를 사용하여 하우토 가져오기 인터넷 리소스에 더 많은 예제가 제공됩니다. urllib2 모듈은 기본 및 다이제스트 인증, 리디렉션, 쿠키 등 복잡한 세계에서 URL(대부분 HTTP)을 여는 데 도움이 되는 기능과 클래스를 정의합니다. 200이 아닌 오류 코드의 경우 OpenerDirector.error()를 통해 프로토콜_error_code 처리기 메서드에 작업을 전달합니다. 결국, urllib2. HTTPDefaultErrorHandler는 다른 처리기가 오류를 처리하지 않으면 HTTPError를 발생시게 됩니다. build_opener()는 프록시 처리기를 포함하여 기본적으로 많은 처리기를 제공합니다.