RT @xrath: 어둠의 크롤링을 할 때 IP rate limit을 피하기 위해 저렴한 t4g.nano 인스턴스에 프록시를 올려 30분씩 쓰고 버리는 전략을 쓴 적이 있다. 전세계 리전을 순회하며 한 번에 인스턴스 6개씩 썼는데 꽤 훌륭했다. 이런…
RT @xrath: 어둠의 크롤링을 할 때 IP rate limit을 피하기 위해 저렴한 t4g.nano 인스턴스에 프록시를 올려 30분씩 쓰고 버리는 전략을 쓴 적이 있다. 전세계 리전을 순회하며 한 번에 인스턴스 6개씩 썼는데 꽤 훌륭했다. 이런…