import crawlist as cl
if __name__ == '__main__':
# 初始化一个pager来实现翻页
pager = cl.StaticRedirectPager(uri="https://www.douban.com/doulist/893264/?start=0&sort=seq&playable=0&sub_type=",
uri_split="https://www.douban.com/doulist/893264/?start=%v&sort=seq&playable=0&sub_type=",
start=0,
offset=25)
# 初始化一个selector来爬取列表
selector = cl.CssSelector(pattern=".doulist-item")
# 初始化一个分析器,实现翻页+爬取列表
analyzer = cl.AnalyzerPrettify(pager, selector)
res = []
limit = 100
# 在分析器中迭代limit条数据
for tr in analyzer(limit):
print(tr)
res.append(tr)
# 如果该网站所有数据都被抓取,则len(res)会小于limit
print(len(res))
import crawlist as cl
if __name__ == '__main__':
# 初始化一个pager来实现翻页
pager = cl.DynamicScrollPager(uri="https://ec.ltn.com.tw/list/international")
# 初始化一个selector来爬取列表
selector = cl.CssSelector(pattern="#ec > div.content > section > div.whitecon.boxTitle.boxText > ul > li")
# 初始化一个分析器,实现翻页+爬取列表
analyzer = cl.AnalyzerPrettify(pager=pager, selector=selector)
res = []
# 在分析器中迭代limit条数据
limit = 100
for tr in analyzer(limit):
print(tr)
res.append(tr)
print(len(res))
# 如果该网站所有数据都被抓取,则len(res)会小于limit
pager.webdriver.quit()