ChatGpt - 파이썬 크롤링

ChatGpt란?

 

ChatGPT는 대화 방식으로 상호 작용하는 OpenAI 에서 훈련된 고급 AI 챗봇입니다.대화 형식을 통해 ChatGPT는 후속 질문에 답하고, 실수를 인정하고, 잘못된 전제에 이의를 제기하고, 부적절한 요청을 거부할 수 있습니다.

 

오늘은 ChatGpt를 이용해서 1도 모르는 파이썬을 가지고 웹사이트를 크롤링하는 프로그램을 만들어 볼까 합니다.

 

 

1. chatGpt 가입

https://openai.com/blog/chatgpt/

ChatGPT: Optimizing Language Models for Dialogue

 

2. 아래 비쥬얼 스튜디오와 파이썬을 설치하여 개발환경을 맞춰 줍니다.

https://kingsurvival.tistory.com/62

비쥬얼 스튜디오 코드 설치

https://kingsurvival.tistory.com/63

파이썬 설치

 

3. ChatGPT는 한글도 인식하긴 하지만 영문번역으로 한 결과물이 훨씬 좋습니다.(아직 한글을 잘 못 알아들음)

 

아래사이트에 접속하여 회원가입을 진행합니다.

 

https://openai.com/blog/chatgpt/

ChatGPT: Optimizing Language Models for Dialogue

ChatGpt Main Page

ChatGPT

4. 질문할 내용을 적고 엔터 칩니다.

 

네이버 증권의 뉴스의 제목을 크롤링하고 싶다고 가정했을 때

 

https://finance.naver.com/news/

뉴스홈 : 네이버 증권

네이버증권 뉴스

 

 

https://papago.naver.com/

네이버 파파고

[질문]

크롤링해서 제목만 가져오는 파이썬 코드 짜줘

https://finance.naver.com/news/

[파파고 번역]

Make a Python code to crawl and get the title.

https://finance.naver.com/news/

 

하지만 우리 친구 AI는 정확한 걸 좋아하므로  제목 텍스트가 들어 있는 html 샘플을 제공해야 합니다.

주의 : 홈페이지의 구조와 태그 id class 등이 변경되면 인식을 못 하기 때문에 수정이 필요합니다.

뉴스검사

아래와 같이 제목만 가져올 것이기 때문에 li 태그 말고 a 링크의 제목만 따옵니다.

 

 

[질문]

제목 텍스트가 들어있는 html 샘플은 이거야.

 

[번역]

This is the html sample containing the title text.

<a href="/news/news_read.naver?article_id=0004156013&amp;office_id=011&amp;mode=mainnews&amp;type=1&amp;date=2023-02-14" title="[오전시황] 美 CPI 발표 앞두고 코스피 강세…2470선" onclick="clickcr(this, 'nmn.list', '0004156013', '1', event)">[오전시황] 美 CPI 발표 앞두고 코스피 강세…2470선</a>

 

[질문조합]

https://finance.naver.com/news/
크롤링해서 제목만 가져오는 파이썬 코드 짜줘

제목 텍스트가 들어있는 html 샘플은 이거야.
<a href="/news/news_read.naver?article_id=0004156013&amp;office_id=011&amp;mode=mainnews&amp;type=1&amp;date=2023-02-14" title="[오전시황] 美 CPI 발표 앞두고 코스피 강세…2470선" onclick="clickcr(this, 'nmn.list', '0004156013', '1', event)">[오전시황] 美 CPI 발표 앞두고 코스피 강세…2470선</a>

 

[ChatGPT 질문]

ChatGPT

 

코드 카피 후 무지성으로 붙여 넣어보겠습니다.

import requests
from bs4 import BeautifulSoup

url = "https://finance.naver.com/news/"

# URL에서 HTML을 가져옴
res = requests.get(url)
html = res.text

# HTML을 파싱
soup = BeautifulSoup(html, 'html.parser')

# 제목 텍스트를 가져옴
titles = soup.select("a[title]")
for title in titles:
    print(title["title"])

전 아래 코드를 실행했을 때 바로 결과물이 안 나왔습니다.

비주얼스튜디오와 파이썬을 설치한 지 얼마 안 되었기 때문에 관련 라이브러리라 던 지 패키지등이 없었습니다.

 

파이썬오류

아래 코드를 돌리기 위해서는 

크롤링 대표적인 BeautifulSoup과 requests를 설치해주어야 합니다.

위 코드 결과 실행 안된다면 아래 설치

 

[트러블]

2번째 라인에 모듈이 없다고 나오고

File "d:\python\crawling.py", line 2, in <module>
from bs4 import BeautifulSoup

 

#requests 모듈 설치
파이썬 requests 모듈은 간편한 HTTP 요청처리를 위해 사용하는 모듈로써, 기본 내장 모듈이 아니라 개발자가 따로 설치해주어야 한다. 이번 포스트에서는 pip를 이용하여 requests를 설치하는 방법을 알아보도록 하겠다.

pip install requests

#크롤링 대표적인 BeautifulSoup 설치

pip install beautifulsoup4

 

[결과]

놀랍습니다. 파이썬을 1도 몰라도 아래와 같이 네이버 금융 페이지의 뉴스의 제목을 크롤링해서 가져왔습니다.

for문까지 자동으로 넣어주네요 한 줄만 가져오면 여러 줄로 가져오라고 수정해서 쓸려고 했는데

수고를 덜었습니다.

파이썬

앞으로도 계속 ChatGPT와 함께 노는 시간을 갖도록 하겠습니다.