目录:

  • Python网络爬虫(一)- 入门基础
  • Python网络爬虫(二)- urllib爬虫案例
  • Python网络爬虫(三)- 爬虫进阶
  • Python网络爬虫(四)- XPath
  • Python网络爬虫(五)- Requests和Beautiful Soup
  • Python网络爬虫(六)- Scrapy框架
  • Python网络爬虫(七)- 深度爬虫CrawlSpider
  • Python网络爬虫(八) – 利用有道词典实现一个简单翻译程序

1.爬虫前的分析

因为要实现有道翻译的翻译功能,就需要找到它的接口,打开审查元素,来到网络监听窗口(Network),查看API接口。

我们可以找到有道翻译的API接口,同时是以Post方式提交
Data的内容
Form Data
i:你好     
from:AUTO
to:AUTO
smartresult:dict
client:fanyideskweb
salt:1503049820576
sign:f21c50e08db736608d3ec3899678a725
doctype:json
version:2.1
keyfrom:fanyi.web
action:FY_BY_CLICKBUTTION
typoResult:true
通过翻译’你好’和’hellow’的对比查看不同的地方
  • i:需要进行翻译的字符串,这个地方我们输入的是‘’你好‘’。
  • salt:当前的时间戳
  • action: 判断你是按回车提交或者点击按钮提交的方式

通过查看网页源代码的方式查看有道翻译的js文件,来查看salt和sign是怎么生成的。

  • 查看网页源代码找到js文件
找到js文件,然后点击这个文件,跳转到这个源文件中,然后全选所有的代码,复制下来
  • 打开站长工具,把代码格式化
  • 把格式化后的代码,复制下来,用sublime或者pycharm打开都可以,然后搜索salt,找到相关的代码

2.Python使用MD5加密字符串

1. 介于有道翻译使用了MD5加密,就对MD5加密进行了学习

#导入md5加密所需模块
import hashlib

#创建md5对象
m = hashlib.md5()

#生成加密串,其中 password 是要加密的字符串
m.update('password')

#获取加密串
pw = m.hexdigest()
print(pw)
#打印结果
5f4dcc3b5aa765d61d8327deb882cf99

2 . 我们可以写成函数,直接传入要加密的字符串调用即可,由于传入的参数不是字符串会报错,所以应先对参数进行判断

import hashlib
import types

def md5(str):
    if type(str) is types.StringType:
        m = hashlib.md5()   
        m.update(str)
        return m.hexdigest()
    else:
        print(‘您传入的参数不是字符串’)

3.代码操作基于python3.5

# -*- coding:utf-8 -*-

import urllib.request
import urllib.parse
import json
import time
import requests
import hashlib

class YoudaoFanyi:
    def translate(self,key):
        d = key
        m = hashlib.md5()
        u = 'fanyideskweb'  #判断是网页还是客户端
        # 由于网页是用的js的时间戳(毫秒)跟python(秒)的时间戳不在一个级别,所以需要*1000
        f = str(int(time.time()*1000))
        c = "rY0D^0'nM0}g5Mm1z%1G4"
        #根据md5的方式:md5(u + d + f + c),拼接字符串生成sign参数。
        m.update((u + d + f + c).encode('utf-8'))   #生成加密串
        data= {
            'i':d,
            'from':'AUTO',
            'to':'AUTO',            #判断是自动翻译还是人工翻译
            'smartresult':'dict',
            'client':u,
            'salt':f,               #当前时间戳
            'sign':m.hexdigest(),   #获取加密串
            'doctype':'json',
            'version':'2.1',
            'keyfrom':'fanyi.web',
            'action':'FY_BY_CLICKBUTTION', #判断按回车提交或者点击按钮提交的方式
            'typoResult':'true'
        }

        headers = {
            'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36',
            'Origin':'http://fanyi.youdao.com/',  #请求头最初是从youdao发起的,Origin只用于post请求
            'Referer':'http://fanyi.youdao.com/', #Referer则用于所有类型的请求
        }
        #print(data)
        #接口
        post = 'http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule&sessionFrom=null'
        youdaojson = requests.post(post,headers = headers,data=data).json()

        #print(youdaojson)

        print('翻译的结果是:%s'%(youdaojson['translateResult'][0][0]['tgt']))
        time.sleep(2)

if __name__== "__main__":
    youdao = YoudaoFanyi()
    while True:
        key =input("请输入你要翻译的文字('quit':退出): ").strip()
        if key=='quit':
            break
        youdao.translate(key)
实现翻译功能

文章来源于互联网:Python网络爬虫(八) – 利用有道词典实现一个简单翻译程序

发表评论