반응형 Language/Python 3 반응형 파이썬 웹크롤링 - 쇼핑몰 크롤링을 해보자(1) : 개발환경 선택 및 구축 안녕하세요. 개발자 김모씨입니다. 얼마전 지인의 부탁이 있었어요. N개의 쇼핑몰을 크롤링 해야 하는데, 짜줄 수 있겠냐 하는 거였죠. 크롤러는 3년전 phantomJs를 활용해 네이버카페, 블로그를 크롤링 해본 게 전부라서 거절하려 했지만, 워낙 막역한 사이기도 하고 제 스스로도 성장할 수 있겠다 싶어 해보기로 하였습니다. 혹시나 이 글을 보게 될 앞으로 크롤러를 개발하게 되실 분들께 도움이 되기를 바라며 개발과 함께 그 기록을 남겨보려 합니다. NEEDS 분석 개발을 시작하기에 앞서 명확한 NEEDS 분석부터 해야죠? 1. 폐쇄적 쇼핑몰 요청이 들어온 쇼핑몰들은 상당히 폐쇄적이었습니다. 로그인한 유저들에게만 상품 정보를 제공하였기에, 크롤링 실행 전 로그인 기능이 필요합니다. 2. 상품 탭 전환 일반적.. 2021. 4. 10. [Python] 파이썬 자료형 총정리!!! 안녕하세요. 파이썬 자료형에 관한 포스팅으로 돌아온, 개발자 김모씨입니다. 파이썬 기본부터 ML 분야로의 응용까지 포스팅을 해보겠다고 질렀긴 했는데 이걸 뭐 어디서부터 시작해야 하나... 고민을 많이 했습니다. 생각해보니 파이썬에 대한 글을 찾아보시는 분들 중 대부분은, 이거나 둘 중 하나이실 거라고 생각이 드네요. 다시 말해, 파이썬의 기본 문법이 중요한 것이 아니라 '파이썬이 어떻게 쓰이는지', '어떤 분야에 어떻게 응용되는지'가 더 궁금하실 것 같았습니다. 그래서 내린 결론으로, 파이썬 기본 문법은 최대한 짧게, 핵심만 짚고 빠르게 넘어가려 합니다! 그리고 ML이나 데이터 쪽 라이브러리를 활용한 응용으로 넘어가는 거죠. 오늘은 그 첫번째로, 파이썬의 자료형에 대한 총괄적 설명입니다! 파이썬 자료형의.. 2020. 9. 19. [Python] 파이썬을 쓰는 이유 안녕하세요. 파이썬을 쓰는 이유 로 돌아온, 개발자 김모씨 입니다. 가장 '우아한' 언어라고 불리는 프로그래밍 언어죠. 파이썬 입니다. 파이썬은 네델란드 출신의 '귀도 반 로섬'이라는 분에 의해 개발되었는데요. Microsoft와의 인터뷰에 따르면, '심심한 김에' 만들었다고 하죠.....(천재는 심심하면 세상을 바꾼다!) 크리스마스 주에 연구실이 닫혀있어서, 집에서 만들었다고 합니다. ㄷㄷㄷㄷㄷ 비슷한 사례로, 리눅스를 만든 '리누스' 라는 분도 계십니다. 리눅스도 핀란드 헬싱키 공대의 대학생이었던 리누스 토르발스가 심심해서 만든 OS로 유명합니다. (천재X들....) 초기에는 다소 불안정했지만, 대기업들이 리눅스 개발을 지원하는 등 발전을 거듭해 갓급의 OS로 재탄생했죠! 귀도반로섬은 유럽 쪽에서는 .. 2020. 9. 17. 이전 1 다음
