CHANGELOG.md

parser_engine changelog

v0.1.6

Data: 2019-05-17 DONE

• ItemClassLoader的settings使用普通get方法获取具体配置项，以支持dict类型的settings参数

v0.1.5

Date: 2019-05-09

DONE:

• 新增extract_all_keys参数，为真值时可直接提取JSON响应的所有字段（可以理解为，extract_keys=*）
• 修复PEParser._parse_textbug：在没有parent参数且响应的json不是JSONArray状况下，支持的解析参数与API标准不一致
• 修复context参数为空时crawled_time字段缺失
• _parse_start_url调用时传入不存在的tpl_index_or_id时抛出异常，而非静默返回None

v0.1.4

Date: 2019-04-16

DONE:

• ItemClassloader的相关优化：
  • 增加load方法，支持绝对路径的类加载
  • PEParser实例化的时候即加载itemname参数对应的类
• TaskRequest增加了url有效性检查。
• utils增加了以下方法：
  • is_url(url)
  • item2dict(item)

< v0.1.4

抱歉，以前忘记写了。