1/15 최종 프로젝트 2

내일배움캠프 오늘 학습 내용

 

• 최종 프로젝트 기획 : 크롤링 하는 방법, 기획

 

크롤링

 

웹페이지에서 해당 사이트에 있는 정보를 가지고 오는 법을 말한다. document에서 js로 서버를 만들어 html을 띄울 때 해당 태그마다 정보를 집어넣게 되는데, 크롤링은 반대로 누군가가 올려둔 html을 보고 정보를 가지고 오는 것이다. 그래서 txt 파일, csv파일, db 등에 넣어 자신이 원하는 방법으로 사용할 수 있다. (웹 스크래핑) 남의 작업물과 정보를 사용하는 것이기 때문에 저작권 등에 걸릴 수 있고, 서버에 대한 과부하로 공격이라고 치부될 수도 있으니 사용할 때는 주의해야 한다. 크롤링 방법은 puppeteer나 fetch 등을 사용해 해당하는 url의 페이지를 열고 document.queryselecor 등을 이용해 값을 읽어오기만 하면 된다. 다만 반복 작업이나 속도 면에서 캐쉬 여러 방도를 시도해 볼 수 있다. 멀티 스테딩이나 비동기는 js 언어 특성상 적용하기 힘들 것이고, http 헤더 설정을 해 폰트나 디자인 같은 불필요한 데이터를 받지 않도록 하는 등의 추가적으로 코드를 개선하여 속도를 개선할 수 있다.

 

 

 

프로젝트 방향

 

우선 제작에 앞서 쇼핑몰의 기틀을 먼저 잡고 난 후에 독자성을 붙이는 것이 좋을 것이라 판단되었기 때문에 쇼핑몰의 기틀을 고향사랑기부 사이트를 가지고 오는 것보단 우선 독자적인 쇼핑몰 사이트를 먼저 만들어 보기로 하였다. 팀원들 각자 기능을 나누고 개발을 진행하기로 하였다. 나는 장바구니와 찜, 구매 내역을 관리하는 CRUD 쪽을 잡았는데 ERD가 가장 복잡해 보이고 아직까지 명쾌히 정해지지 않은 곳이기 때문에 개발하면서 확실히 하고 나 또한 이해하고자 이 기능을 만들고자 먼저 지원하였다.