[node] 깃헙 웹사이트를 KST 기준으로 크롤링하는 방법

Github profile 에서 commit record를 가져오는 과정에서 분명히 새로운 칸이 생성되었으나, 내가 scrape(크롤링)한 response data 에서는 보이지 않는 문제가 발생했다. 새벽까지 계속 문제가 뭔지 찾아보려고 했으나 도무지 감이 안와서 일단 잠을 청했다. 오잉? 그런데 자고 일어나서 코드를 실행해보니 새롭게 생긴 commit record의 정보를 가져오는 것이다! 그렇게 확인을 하고 신나게 코딩을 하고 있었는데 딱 밤 12시가 넘는 순간 또 새로운 record의 데이터를 가져오질 못한다. 시차랑 관련이 있는 것이다. 'set node time', 'set html time' 등등 찾아봤지만 결국 삽질. 그래서 결국은 지인에게 물어 해답을 얻었다.

Github과 같은 세계적으로 쓰는 웹사이트의 경우에는 보통 시간대가 GMT(Greenwich Mean Time)로 설정되어 있다. 그러므로 내가 개발자도구로 보고 있는 데이터들을 그대로 가져오기 위해서는 axios로 해당 url에 요청을 보낼 때, headers 정보에 timezone 데이터를 KST(Korean Standard Time)로 setting 해야 한다.

Before

After

 

anyway, indeed It works !