코딩코딩코딩

1. Selenium 기반 웹 크롤링 기법 2. 해시태그, 좋아요 등의 정보 크롤링 3. 인스타그램 해시태그와 좋아요 수를 크롤링한 후 각자 개수를 비교해서 어떤 영향을 미치는지 확인할 것 - 키워드 네트워크 분석기법 활용 # Selenium Basic command 1. driver.get('url') : 페이지 접속 2. elem = driver.find_element_by_name('q') : 커서를 검색어 입력 부분에 위치시킴 - find_by_class_name or find_by_xpath 등도 가능 (xpath는 html 검사 시 우클릭>xpath copy로 복사 가능 3. elem.clear() : 검색어 부분 입력내용 삭제 4. elem.send_keys('내용') : 내용 입력 5. e..

지난번 크롤링 했던 내용들을 바탕으로 기사 간 클러스터링 진행 제목 + 요약내용 리스트를 Konlpy 를 통해 명사화 시킨 후 클러스터링을 진행할 예정입니다. TitDesc_okt = [] for item in TitDesc_list: item_nouns = ' '.join(okt.nouns(item)) TitDesc_okt.append(item_nouns) tfidf_vectorizer = TfidfVectorizer() tfidf_matrix_okt = tfidf_vectorizer.fit_transform(TitDesc_okt) TitDesc_okt[:3] #Vectorization okt, komoran, kkma, Hannanum등의 tokenizing 모델들이 있지만 개인적으로 모두 진행해본 ..

네이버 뉴스 키워드 일일 기사 크롤링 - 키워드와 날짜를 지정하고 크롤링하는 함수를 만들고 해당 검색의 페이지가 끝날 때까지 크롤링 진행 import pandas as pd import numpy as np import feedparser from bs4 import BeautifulSoup as bs import urllib import urllib.request as req import requests from konlpy.tag import Kkma, Okt, Komoran okt = Okt() from konlpy.utils import pprint import warnings warnings.filterwarnings("ignore") href_list = [] # 기사 주소가 들어갈 리스트 T..