对猫眼电影网站电影top100的爬取

那一抹辉煌

1. import urllib.request
   
2. import re
   
3. import pymysql
   
4. import warnings
   
5. 
   
6. class MaoyanSpider:
   
7.     def __init__(self):
   
8.         self.headers = {"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 OPR/26.0.1656.60"}
   
9.         self.baseurl = "http://maoyan.com/board/4?offset="
   
10.         self.offset = 0
    
11.         self.page = 1
    
12.         # 数据库连接对象
    
13.         self.db = pymysql.connect("localhost","root",
    
14.                              "123456",charset="utf8")
    
15.         # 游标对象
    
16.         self.cursor = self.db.cursor()
    
17. 
    
18. 
    
19.     # 获取页面
    
20.     def getPage(self,url):
    
21.         req = urllib.request.Request(url,headers=self.headers)
    
22.         res = urllib.request.urlopen(req)
    
23.         html = res.read().decode("utf-8")
    
24.         self.parsePage(html)
    
25.    
    
26.     # 解析页面
    
27.     def parsePage(self,html):
    
28.         p = re.compile('<div class="movie-item-info">.*?title="(.*?)".*?class="star">(.*?)</p>.*?class="releasetime">(.*?)</p>',re.S)
    
29.         r_list = p.findall(html)
    
30.         # r_list:[("霸王别姬","张国荣","1993"),(),()]
    
31.         self.writeTomysql(r_list)
    
32.         
    
33.     # 保存数据
    
34.     def writeTomysql(self,r_list):
    
35.         c_db = 'create database if not exists myfilm charset utf8'
    
36.         u_db = 'use myfilm'
    
37.         c_tab = 'create table if not exists top100(\
    
38.                  id int primary key auto_increment,\
    
39.                  name varchar(50),\
    
40.                  star varchar(100),\
    
41.                  time varchar(50)\
    
42.                  )'
    
43.         ins = 'insert into top100(name,star,time) \
    
44.                values(%s,%s,%s)'
    
45.         # 过滤警告
    
46.         warnings.filterwarnings("ignore")
    
47.         try:
    
48.             self.cursor.execute(c_db)
    
49.             self.cursor.execute(u_db)
    
50.             self.cursor.execute(c_tab)
    
51.         except:
    
52.             pass
    
53. 
    
54.         # 插入记录
    
55.         for r_tuple in r_list:
    
56.             L = [r_tuple[0].strip(),r_tuple[1].strip(),r_tuple[2].strip()]
    
57.             # execute(ins,[列表])
    
58.             self.cursor.execute(ins,L)
    
59.             self.db.commit()
    
60.             print("存入数据库成功")
    
61. 
    
62.     # 主函数
    
63.     def workOn(self):
    
64.         while True:
    
65.             c = input("爬按y,退出按q:")
    
66.             if c.strip().lower() == "y":  
    
67.                 url = self.baseurl + str(self.offset)
    
68.                 self.getPage(url)
    
69.                 self.page += 1
    
70.                 self.offset = (self.page - 1)*10
    
71.             else:
    
72.                 print("爬取结束")
    
73.                 break
    
74.                
    
75. if __name__ == "__main__":
    
76.     spider = MaoyanSpider()
    
77.     spider.workOn()
    
78.    

复制代码

ximenyan

谢谢分享，有才！

ximenyan

，great！

lishyg

学习一下，:D

lishyg

学习一下

qingfeng12

学习一下