https://docs.scrapy.org/en/latest/intro/tutorial.html 참고

Terminal에서 다음과 같이 입력하면

scrapy shell "http://quotes.toscrape.com/page/1/" 이 page에 대한 html 정보가 나온다.

—>ValueError: invalid hostname: 'http' 가 나는 이유는 쌍따옴표로 사용해야 하기 때문

1. CSS selector 활용

원하는 정보를 getall()과 get()을 사용해서 가져오기 가능

response.css('title')
[<Selector xpath='descendant-or-self::title' data='<title>Quotes to Scrape</title>'>]

• getall()
• get()
• re()도 가능

2. xpath 활용