웹페이지에서의 상품 데이터 추출을 위한 동적, 정적 크롤링 비교 및 활용

• 영문명: Comparison and Application of Dynamic and Static Crawling for Extracting Product Data from Web Pages
• 발행기관: 한국전자통신학회
• 저자명: 김상혁(Sang-Hyuk Kim) 김정훈(Jeong-Hoon Kim) 이승대(Seung-Dae Lee)
• 간행물 정보: 『한국전자통신학회 논문지』제18권 제6호, 1277~1283쪽, 전체 7쪽
• 주제분류: 공학 > 전자/정보통신공학
• 파일형태: PDF
• 발행일자: 2023.12.31

국문 초록

본 논문에서는 소비자들이 편의점에서 진행 중인 행사상품에 대해 접근하기 쉬운 웹페이지를 제작하였다. 제작하는 과정에서 행사상품의 데이터를 추출하는 두 가지 크롤링 방식인 정적 크롤링과 동적 크롤링을 비교 및 활용하였다. 정적 크롤링은 홈페이지에서 정적인 데이터를 수집하는 추출 방식이고 동적 크롤링은 웹 페이지에서 동적으로 생성되는 페이지의 데이터를 수집하는 추출하는 방식이다. 두 크롤링에 대한 비교를 통해 행사상품 데이터를 추출하는 데에 있어 어떤 크롤링 방식이 더 효과적인 방식인지에 대해 연구하였다. 그 중 효과적인 정적 크롤링을 이용해 웹 페이지를 제작하였으며, 소비자들이 더 손쉽게 확인할 수 있도록 1+1, 2+1 상품들을 카테고리화 하였고 검색기능을 넣어 웹페이지를 제작하였다.

영문 초록

In this paper, a web page that is easy for consumers to access event products in progress at convenience stores was created. In the production process, static crawling and dynamic crawling, two crawling methods for extracting data from event products, were compared and used. Static crawling is an extraction method of collecting static data from a homepage, and dynamic crawling is a method of collecting data from pages dynamically generated from a web page. Through the comparison of the two crawlings, we studied which crawl method is more effective in extracting event product data. Among them, a web page was created using effective static crawling, and 1+1 and 2+1 products were categorized and a search function was added to create a web page.

목차

Ⅰ. 서 론

Ⅱ. 웹 페이지 구현 및 크롤링 비교

Ⅲ. 웹 페이지 제작 및 구성

Ⅳ. 결 론

References

키워드

에이피아이 동적 크롤링 플라스크 파이썬 정적 크롤링 API Dynamic Crawling Flask Python Static Crawling