loading
본문 바로가기

728x90
반응형
분류 전체보기 41
728x90
반응형

파이썬 웹크롤링 - 쇼핑몰 크롤링을 해보자(1) : 개발환경 선택 및 구축 안녕하세요. 개발자 김모씨입니다. 얼마전 지인의 부탁이 있었어요. N개의 쇼핑몰을 크롤링 해야 하는데, 짜줄 수 있겠냐 하는 거였죠. 크롤러는 3년전 phantomJs를 활용해 네이버카페, 블로그를 크롤링 해본 게 전부라서 거절하려 했지만, 워낙 막역한 사이기도 하고 제 스스로도 성장할 수 있겠다 싶어 해보기로 하였습니다. 혹시나 이 글을 보게 될 앞으로 크롤러를 개발하게 되실 분들께 도움이 되기를 바라며 개발과 함께 그 기록을 남겨보려 합니다. NEEDS 분석 개발을 시작하기에 앞서 명확한 NEEDS 분석부터 해야죠? 1. 폐쇄적 쇼핑몰 요청이 들어온 쇼핑몰들은 상당히 폐쇄적이었습니다. 로그인한 유저들에게만 상품 정보를 제공하였기에, 크롤링 실행 전 로그인 기능이 필요합니다. 2. 상품 탭 전환 일반적.. 2021. 4. 10.
TmaxSoft(티맥스소프트) 입사부터 퇴사까지 (퇴사자의 티맥스 파헤치기) 안녕하세요. 개발자김모씨입니다. 오랜만의 글이네요. 또 이직했습니다! 정신이 없어, 이제야 다시 포스팅을 하게 되었네요. artist-developer.tistory.com/18 내가 제조업계를 떠난 이유 (본격 개발자 퇴사 썰) 퇴사썰로 찾아뵙는 개발자 김모씨입니다. 오늘은 왜 제가 제조업계를 퇴사하고, 현재 회사로 이직을 했는지 그 이유에 대해 이야기해볼까 합 artist-developer.tistory.com 작년 이맘 때, 반도체 회사에서 퇴사를 했었는데요. 제조업을 떠나 이직한 곳이 바로, 티맥스 였습니다. 개발자들에겐 무척 유명하면서도 이직하기엔 멈칫하게 되는 회사죠. 소문이 참 많은 회사이기 때문입니다. 학벌로 연봉을 나눈다더라~ 1인 사무실을 준다더라~ 오늘은 이직부터 퇴사까지. 제가 보고.. 2021. 4. 8.
[DB] DDL, DML, DCL, TCL을 알아보자 안녕하세요. 개발자 김모씨입니다. Database 쪽도 글을 적어보려 합니다. 첫번째로, 오늘은 SQL(Structured Query Language)에서 흔히 사용되는 DDL, DML, DCL에 대해서 알아봅시다. DDL : Data Definition Language - 데이터 정의어 DDL은 데이터베이스 스키마를 정의하거나 조작하기 위한 언어입니다. 생성, 수정, 삭제 등의 데이터 전체 골격을 결정하는 역할을 담당합니다. DDL의 대상은 SCHEMA, DOMAIN, TABLE, VIEW, INDEX 등이 있습니다. 단, DDL은 명령어를 입력하는 순간 작업이 즉시 완료(AUTO COMMIT)되기 때문에 주의하여야 합니다. 종류 역할 CREATE 대상 객체를 생성합니다. ALTER 대상 객체의 구조를.. 2020. 11. 25.
외모가 면접에 미치는 영향(SW 개발자의 입장에서) 안녕하세요. 개발자김모씨입니다. 오늘은 흥미로운 기사를 보고, 이야기를 나눠보려 합니다. v.kakao.com/v/20201119012207829 기업 절반 이상 "지원자의 '외모' 채용 평가에 영향 미쳐"..평균 30% [서울=뉴시스] 김종민 기자 = 직무 역량과 관련 없는 지원자의 ‘외모’가 채용 평가에서 배제돼야 한다는 사회적 요구가 계속되고 있지만, 여전히 영향을 미치고 있는 것으로 나타났다. 구인구 v.kakao.com 우리는 철저히 지원자의 입장에서, '외모 때문에 면접에서 떨어지지 않을까?' 하는 고민을 수 차례 해본 경험이 있습니다. 취준생이 외모 때문에 합격 여부를 걱정한다는 수많은 기사도 있었습니다. 위 기사에 따르면, 사람인에서는 독특하게도 기업체를 대상으로 조사를 했네요. 그 결과로.. 2020. 11. 19.
ETL ELT 차이 (Feat. 데이터 엔지니어링의 변화) 안녕하세요. 개발자 김모씨입니다. 오늘의 이야기는 ETL, ELT에 관한 이야기입니다. ETL. 데이터와 밀접한 분야에서 일하고 계신 분들은 많이 들어보셨을 겁니다. 최근엔 'ETL 시대의 종말'이라고 할 정도로, ETL에서 ELT로 흐름이 바뀌고 있죠. 그래서 오늘은, ETL과 ELT는 무엇이고 왜 이러한 변화의 흐름이 생겨났는지에 대해 이야기해보겠습니다. ETL이란? 보통 데이터 엔지니어 또는 데이터베이스 엔지니어의 일은 ETL에서 시작한다고 해도 과언이 아닙니다. ETL이란 Extract, Transform, Load 세 단어의 축약어죠. 각각의 의미를 살펴보면, Extract : 소스 data로부터 추출 Transform : DeNomalize 등의 추출된 데이터 변형 Load : DW(DataW.. 2020. 11. 18.
어떤 회사에 취업해야 할까? (개발자에게 좋은 회사) 안녕하세요. 개발자 김모씨입니다. 제 글을 보시는 취준생 분도 있으실까요? 저 역시 3년 전 취준생이었습니다. 한 시즌만에 무조건! 취업한다! 라는 의지 아래 한 시즌에 서류 120개를 냈던 괴물이었죠. 인적성을 25 여개 회사를 보았고, 거르고 걸러 15 여개의 회사 면접을 봤었습니다. 뭐....이런 썰은 좀 더 나중에 풀어볼 거구요.... 오늘은 지난 3년간 개발자로 일하면서 느꼈던, 어떤 회사에서 일해야 하는가 에 대해 담백하게 적어보려 합니다. (이 글은 특정 기업을 홍보한다거나 추천해주는 글이 아닙니다.) 개발자 전성시대 4차 산업혁명, 스마트 팩토리, 디지털 트랜스폼, 빅데이터, 인공지능, ... 익숙한 키워드죠? 이런 키워드 아래 수많은 회사들에서 개발자를 채용하고 있습니다. 제조업계는 물론.. 2020. 11. 17.

티스토리툴바