일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 | 31 |
Tags
- leetcode125
- docker로 airflow 설치하기
- airflow docker
- wargame.kr
- leetcode 234
- leetcode 238
- leetcode 49
- 블로그 이전했어요
- leetcode 5
- 올바른 변수명 짓기
- leetcode 819
- Hortonworks Sandbox
- leetcode 561
- 머신러닝
- 스파크 완벽 가이드
- leetcode 344
- leetcode 121
- webcrawler
- leetcode 15
- Python
- 배열
- 데이터레이크와 데이터웨어하우스
- leetcode 937
- 컴퓨터구조
- MapReduce 실습
- leetcode
- ctf-d
- 빅데이터를 지탱하는 기술
- Hadoop
- 문자열 조작
Archives
- Today
- Total
HyeM
[Python]WebCrawler1_홈페이지URL출력 본문
WebCrawler1_ 학교 홈페이지 웹크롤러
== 기능 ==
학과 전공이 모여있는 학교 홈페이지에서,
학과&전공의 이름과, 학과 홈페이지 링크를 출력해준다.
학과 홈페이지가 없는 경우에는 '홈페이지가 존재하지 않음'을 띄우고,
있는 경우에는, 해당 홈페이지 링크를 출력해준다.
학과 홈페이지의 링크를 얻기 위해선, 학교 홈페이지(www.swu.ac.kr/www/swuniversity.html) 에 있는 각 학과 버튼을 통해, 페이지 이동이 필요하다.
↑ 크롤링 할 페이지 : www.swu.ac.kr/www/swuniversity.html
↑ 코드를 통해 접근해야 하는 페이지↑
== 코드 ==
https://github.com/KimHyeMin0207/Web-Crawler/blob/master/swuWebCrawler.py
'Programming > Python' 카테고리의 다른 글
[Python]GameMacro_순발력테스트 매크로 (0) | 2020.06.07 |
---|---|
[Python]WebCrawler2_웹툰 이미지 크롤링 (0) | 2020.05.30 |
[Python]Up&Down 게임 (0) | 2020.05.30 |
[Python]리스트 함수 (0) | 2020.04.12 |
[Python]문자열 함수 (0) | 2020.04.12 |
Comments