며칠전부터 차이나 게이트를 계속 조사중인 놈이다.
지난 글은 에펨하고 디씨에 같이 글을 올리고 있는데, 관심있으면 지난 글 봐주면 된다. 내용은 디씨에 올린거랑 거의 똑같다.
원글: [3월 10일 10개 사이트] 차이나 게이트 댓글 조사
1편: 조선족이 조직적으로 활동하는지 기록할 댓글 추적기 만들고 있다
3편: [3월 9일짜 8개 언론사] 차이나 게이트 댓글 조사 보고
어제 저녁에 8개 언론사 뿐 아니라 주요 커뮤니티도 조선족이 활동할 수 있다는 생각이 번뜩 들었다.
대표적인 좌파 사이트들을 하나 둘 크롤링할건데 좋은 소식과 안 좋은 소식이 있다.
좋은 소식은 클리앙 댓글을 완전히 긁어오는데 성공했다.
모두의 광장에 등록된 매일매일의 댓글을 가져오는 작업을 하고 있고, 댓글을 보면 알겠지만 ㅈㄴ 역겹다.
특히 클리앙에서 쓰는 빈 댓글이 한 두 개가 아니다.
다만 이거 시도하면서 클리앙의 보안 수준도 조금 알게 됐는데, 덕분에 아이피 밴 2개 먹었다.
디도스 공격 방어용으로 이렇게 만든 것 같다.
하지만 지들이 막아봤자 어쩌냐. 아이피 바꾸고, 크롤링 조건을 바꿔서 여지없이 뚫어버렸다.
그래서 어제와 오늘 클리앙 모두의 광장에 등록된 댓글 44000여개를 가져왔고, 매일 이렇게 가져올 예정이다.
물론 클리앙에서 가져온 자료는 아이피가 없어 짱개 IP를 확인할 수는 없지만 외부 사이트에 동일한 닉네임을 쓰는 사람도 꽤 된다는 점을 고려해서,
닉네임을 통한 벌레 찾기를 시작할 예정이다.
그 뿐 아니라 일간 베스트도 조사하기 시작했다.
일베는 극보수 포지션이긴 한데, 이쪽을 조사하는 이유는 동일한 닉네임을 사용하는 유저가 다르게 행동하고 있는지 확인해보기 위함이다.
여론 분열을 위해서 한 쪽에선 좌파, 한쪽에선 우파인척 쌩쇼하는 놈들이 있을거 같아서 수집해봤다.
일간베스트는 일베에 등록된 글만 크롤링을 진행했다.
클리앙과 비교해보면 댓글을 적는 양도 적고, 아무래도 노이즈가 많이 발생될 것 같아서 이런 조치를 일단 취했다.
사실 전체를 가져와도 상관은 없지만 댓글 상태가 상당히 저급하다.
나쁜 소식도 있는데 루리웹은 뚫지 못했다. 댓글 가져오는 방식이 위의 사이트와 다르기도 하고, 댓글을 관리하는 API가 따로 분리되어있다.
그 밖에도 몇가지 이유가 더 있는데 만약 루리웹을 뚫는데 성공한다면 비슷한 작동원리를 쓰고 있는 다음까지 한방에 긁어올 수 있을 것 같다.
궁극적으로는 다음까지 다 긁어와야 된다고 생각하지만, 아직 내 실력이 부족하다.
어쨌던 해당 자료는 모두가 볼 수 있게 공개되어있다.
링크: https://docs.google.com/spreadsheets/d/1FvI7-jFsqKTBZfWtABxwp8SlKjtEYmSCuK6KtOSdUQU/edit?usp=sharing
네이버나 다음 댓글 보다가 조선족 같은 놈들을 발견하면 링크에 들어간 다음 Ctrl + F 눌러서 닉네임 검색을 돌려보면 된다.
그 밖에 여초 사이트인 82쿡, 인스티즈 그리고 DVD프라임도 가져왔다.
자료들을 찾아보다보니 여초 사이트에서 활동하는 조선족이 많다던데, 앞으로는 여초 본진들을 중심으로 조사 범위를 넓혀갈 생각이다.
최종적으로 다음의 절차를 밟아 조선족 게이트를 밝혀보고자 한다.
1. 4월 총선 전후까지 댓글 데이터를 최대한 많이 모은다.
2. 의심가는 놈들을 정리해 블랙 리스트를 작성한다.
3. 블랙리스트의 댓글 작성 시간을 분석한다.
4. 이들의 활동시간이 거의 일치하거나, 동일한 게시글에 집중하는 경향이 있다면 여론 조작 세력으로 판단할 수 있다.
댓글은 하루에 1~2번 정도 업데이트하고 있고, 혹시라도 실제와 다른 댓글이 있다면 작성자가 추후 수정한 것으로 이해하면 된다.
추천
