前言：为什么需要第三方电商爬虫 API？

一、前置准备（3 分钟）

1. 环境与工具

2. API 资源获取

二、核心步骤：15 分钟完成对接与落地（分语言实现）

Step 1：接口鉴权（2 分钟）

Python 示例：

import requestsimport hashlibimport time# 基础配置appKey = "你的appKey"appSecret = "你的appSecret"url = "https://api.xxx.com/ecommerce/item/detail"  # 商品详情接口# 签名生成函数def generate_sign(params):# 1. 参数按key升序排序sorted_params = sorted(params.items(), key=lambda x: x[0])# 2. 拼接参数字符串+appSecretsign_str = appKey + "".join([f"{k}{v}" for k, v in sorted_params]) + appSecret# 3. MD5加密（小写）return hashlib.md5(sign_str.encode()).hexdigest().lower()# 请求参数（根据接口文档填写）params = {"itemId": "123456789",  # 商品ID"timestamp": int(time.time() * 1000),  # 时间戳（毫秒级）"format": "json"}# 生成签名params["sign"] = generate_sign(params)params["appKey"] = appKey

Java 示例：

import okhttp3.OkHttpClient;import okhttp3.Request;import okhttp3.Response;import java.util.TreeMap;import java.security.MessageDigest;public class EcommerceApiDemo {private static final String appKey = "你的appKey";private static final String appSecret = "你的appSecret";private static final String url = "https://api.xxx.com/ecommerce/item/detail";// 签名生成public static String generateSign(TreeMap<String, String> params) {StringBuilder signStr = new StringBuilder(appKey);// TreeMap自动按key升序排序for (String key : params.keySet()) {signStr.append(key).append(params.get(key));}signStr.append(appSecret);return md5(signStr.toString()).toLowerCase();}// MD5加密工具private static String md5(String str) {try {MessageDigest md = MessageDigest.getInstance("MD5");byte[] bytes = md.digest(str.getBytes());StringBuilder sb = new StringBuilder();for (byte b : bytes) {sb.append(String.format("%02x", b));}return sb.toString();} catch (Exception e) {return "";}}public static void main(String[] args) {TreeMap<String, String> params = new TreeMap<>();params.put("itemId", "123456789");params.put("timestamp", String.valueOf(System.currentTimeMillis()));params.put("format", "json");String sign = generateSign(params);params.put("sign", sign);params.put("appKey", appKey);// 后续发起请求...}}

Step 2：发起接口请求与响应解析（5 分钟）

Python 示例（续上）：

# 发起GET请求（部分API为POST，需调整为requests.post）response = requests.get(url, params=params, timeout=10)# 解析响应if response.status_code == 200:result = response.json()if result.get("code") == 0:  # 接口返回成功（按文档约定判断）# 提取核心数据item_data = {"商品ID": result["data"]["itemId"],"标题": result["data"]["title"],"售价": result["data"]["price"],"销量": result["data"]["salesCount"],"店铺名称": result["data"]["shopName"]}print("接口返回数据：", item_data)else:print(f"接口报错：{result['msg']}（错误码：{result['code']}）")else:print(f"请求失败：状态码{response.status_code}")

Java 示例（续上）：

// 构建请求URL（拼接参数）StringBuilder urlBuilder = new StringBuilder(url).append("?");for (String key : params.keySet()) {urlBuilder.append(key).append("=").append(params.get(key)).append("&");}String finalUrl = urlBuilder.substring(0, urlBuilder.length() - 1);// 发起请求OkHttpClient client = new OkHttpClient();Request request = new Request.Builder().url(finalUrl).build();try (Response response = client.newCall(request).execute()) {if (response.isSuccessful()) {String responseBody = response.body().string();// 解析JSON（需导入fastjson依赖）JSONObject json = JSONObject.parseObject(responseBody);if (json.getInteger("code") == 0) {JSONObject data = json.getJSONObject("data");// 提取核心数据String itemId = data.getString("itemId");String title = data.getString("title");BigDecimal price = data.getBigDecimal("price");int salesCount = data.getIntValue("salesCount");System.out.println("商品标题：" + title + "，售价：" + price);} else {System.out.println("接口报错：" + json.getString("msg"));}}} catch (Exception e) {e.printStackTrace();}

Step 3：数据落地（5 分钟）

方案 1：Python 存储为 CSV（快速落地）

import pandas as pd# 假设已获取多个商品数据（存放在列表中）item_list = [item_data]  # 可循环调用接口批量采集df = pd.DataFrame(item_list)# 存储为CSV文件df.to_csv("电商商品数据.csv", index=False, encoding="utf-8-sig")print("数据已保存到CSV文件")

方案 2：Python 存储到 MySQL（持久化）

import pymysql# 连接MySQL数据库（需提前创建表）db = pymysql.connect(host="localhost",user="root",password="你的密码",database="ecommerce_db")cursor = db.cursor()# 插入数据SQLsql = """INSERT INTO item_info (item_id, title, price, sales_count, shop_name)VALUES (%s, %s, %s, %s, %s)"""values = (item_data["商品ID"], item_data["标题"], item_data["售价"],item_data["销量"], item_data["店铺名称"])try:cursor.execute(sql, values)db.commit()print("数据已插入MySQL")except Exception as e:db.rollback()print(f"插入失败：{e}")finally:db.close()

Step 4：调试与验证（3 分钟）

三、关键优化技巧（开发者必备）

四、常见问题排查

总结