借口
《高清MP4吧》的链接都是磁力链接，要么就是种子，对于python调用迅雷很不友好，于是找到著名的站点《电影天堂》，电影天堂的链接都是FTP格式的而且只能用于迅雷下载，正好符合我用迅雷来下载电影的需求
电影天堂比高清MP4吧多了一个APP，而且APP都是Json格式传输数据的，减少不少的代码量，但是本着学习的态度还是写了两套方案，防止某天接口被封了。抓取页面也用了两种方式，1BeautifulSoup，2正则（写的一手烂正则）能力有限未能破解x-header-request-key 的生成规则
Python
1 | # -*-coding:gb18030-*- |
API
电影列表
URL http://m.dydytt.net:8080/adminapi/api/movieList.json?categoryId=9&page=1&searchContent=
page - 页面
categoryId - 分类
categoryDtoList": [{ "name": "最新电影" }, { "id": 10, "name": "综合电影" }, { "id": 1, "name": "华语电影" }, { "id": 2, "name": "欧美电影" }, { "id": 3, "name": "日韩电影" }, { "id": 4, "name": "华语电视" }, { "id": 5, "name": "欧美电视" }, { "id": 6, "name": "日韩电视" }, { "id": 7, "name": "综艺" }, { "id": 8, "name": "动漫" }]GET /adminapi/api/movieList.json?categoryId=9&page=1&searchContent= HTTP/1.1 x-header-request-timestamp: 1562565140 x-header-request-imei: x-header-request-key: 68134c60606fa1677e43b080aced00c8 Host: m.dydytt.net:8080 Accept-Encoding: gzip User-Agent: okhttp/3.8.0 Connection: keep-alive1
2
请求头1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
返回
```json
{
"total": 3000,
"rows": [{
"id": 24304,
"categoryId": 9,
"name": "2019年科幻战争《狼之歌》BD中英双字幕",
"publishTime": "2019-07-05"
}, {
"id": 24305,
"categoryId": 9,
"name": "2018年高分获奖《大象席地而坐》BD国语中字",
"publishTime": "2019-07-05"
}, {
"id": 24303,
"categoryId": 9,
"name": "2018年高分获奖《恐怖分子的孩子》BD中英双字幕",
"publishTime": "2019-07-04"
}, {
"id": 24302,
"categoryId": 9,
"name": "2019年剧情音乐《少年追梦情》BD中英双字幕",
"publishTime": "2019-07-04"
}, {
"id": 24288,
"categoryId": 9,
"name": "2019年动作《恶人传》BD韩语中字",
"publishTime": "2019-07-02"
}, {
"id": 24287,
"categoryId": 9,
"name": "2019年剧情传记《最佳敌人》BD中英双字幕",
"publishTime": "2019-07-02"
}, {
"id": 24286,
"categoryId": 9,
"name": "2019年战争剧情《余波/敌人妻》BD中英双字幕",
"publishTime": "2019-07-01"
}, {
"id": 24281,
"categoryId": 9,
"name": "2019年科幻动作《阿丽塔：战斗天使》BD中英双字幕",
"publishTime": "2019-06-30"
}, {
"id": 24279,
"categoryId": 9,
"name": "2019年动作《夏福特/杀戮战警2》BD中英双字幕",
"publishTime": "2019-06-29"
}, {
"id": 24278,
"categoryId": 9,
"name": "2019年喜剧动作《如珠如宝的人生》HD国粤双语中字",
"publishTime": "2019-06-29"
}, {
"id": 24276,
"categoryId": 9,
"name": "2019年悬疑动作《反贪风暴4》BD国粤中英双字",
"publishTime": "2019-06-28"
}, {
"id": 24274,
"categoryId": 9,
"name": "2019年奇幻动作《雷霆沙赞！》BD中英双字幕",
"publishTime": "2019-06-27"
}, {
"id": 24273,
"categoryId": 9,
"name": "2019年剧情《野马》BD中英双字幕",
"publishTime": "2019-06-27"
}, {
"id": 24272,
"categoryId": 9,
"name": "2019年剧情爱情《之后》BD中英双字幕",
"publishTime": "2019-06-27"
}, {
"id": 24268,
"categoryId": 9,
"name": "2019年惊悚恐怖《宠物坟场》BD中英双字幕",
"publishTime": "2019-06-26"
}, {
"id": 24271,
"categoryId": 9,
"name": "2017年动作战争《怒战狂心》BD俄语中字",
"publishTime": "2019-06-26"
}, {
"id": 24267,
"categoryId": 9,
"name": "2019年剧情《蜂鸟计划》BD中英双字幕",
"publishTime": "2019-06-24"
}, {
"id": 22870,
"categoryId": 9,
"name": "2017年剧情爱情《昼颜电影版》BD国日双语中字",
"publishTime": "2019-06-24"
}, {
"id": 24262,
"categoryId": 9,
"name": "2018年悬疑剧情《一个母亲的复仇》BD中字",
"publishTime": "2019-06-22"
}, {
"id": 24261,
"categoryId": 9,
"name": "2018年悬疑剧情《完美的他人》BD韩语中字",
"publishTime": "2019-06-22"
}, {
"id": 24256,
"categoryId": 9,
"name": "2019年惊悚《极端邪恶/极恶人魔》BD中英双字幕",
"publishTime": "2019-06-21"
}, {
"id": 24252,
"categoryId": 9,
"name": "2019年奇幻冒险《小飞象》BD中英双字幕",
"publishTime": "2019-06-20"
}, {
"id": 24246,
"categoryId": 9,
"name": "2019年动作喜剧《谋杀疑云》BD中英双字幕",
"publishTime": "2019-06-17"
}, {
"id": 24238,
"categoryId": 9,
"name": "2018年剧情冒险《米娅和白狮》BD中英双字幕",
"publishTime": "2019-06-16"
}, {
"id": 24237,
"categoryId": 9,
"name": "2019年科幻惊悚《惊天复制》BD中英双字幕",
"publishTime": "2019-06-16"
}, {
"id": 24234,
"categoryId": 9,
"name": "2019年悬疑惊悚《教授与疯子》BD中英双字幕",
"publishTime": "2019-06-15"
}, {
"id": 24233,
"categoryId": 9,
"name": "2018年奇幻喜剧《这个男人来自疯狂世界》BD中英双字幕",
"publishTime": "2019-06-15"
}, {
"id": 24231,
"categoryId": 9,
"name": "2019年悬疑动作《雪暴》HD国语中英双字",
"publishTime": "2019-06-14"
}, {
"id": 24230,
"categoryId": 9,
"name": "2018年获奖剧情《逆流大叔》BD国粤双语中字",
"publishTime": "2019-06-14"
}, {
"id": 24226,
"categoryId": 9,
"name": "2019年高分剧情爱情《五尺天涯》BD中英双字幕",
"publishTime": "2019-06-12"
}]
}
电影信息
URL http://m.dydytt.net:8080/adminapi/api/movieDetail.json?categoryId=9&movieDetailId=24304
- categoryId - 分类
- movieDetailId - 电影ID
请求头
1 | GET /adminapi/api/movieDetail.json?categoryId=9&movieDetailId=24304 HTTP/1.1 |
返回
1 | { |
运行结果
1 | 2019年动作《恶人传》BD韩语中字 |
问题
- urlopen在获取页面的时候发现只能获取部分的html源码，暂不知是什么问题，换成requests解决问题
- 乱码，用了requests后发现乱码，用requests.encoding指定编码解决问题
- 正则本地测试没有问题，网页获取后就变成这样，暂时不会解（正则没有写好的原因）
ftp://ygdy8:ygdy8@yg45.dydytt.net:8469/阳光电影www.ygdy8.com.恶人传.BD.720p.韩语中字.mkv">ftp://ygdy8:ygdy8@yg45.dydytt.net:8469/阳光电影www.ygdy8.com.恶人传.BD.720p.韩语中字.mkv