Merge branch 'dfs' of wangfan/adweb3-server into master

jeecg-module-system/jeecg-system-biz/src/main/java/org/jeecg/modules/adweb/common/util/AdwebRedisUtil.java

@@ -3,7 +3,9 @@ package org.jeecg.modules.adweb.common.util;
 import com.fasterxml.jackson.annotation.JsonAutoDetect;
 import com.fasterxml.jackson.annotation.PropertyAccessor;
 import com.fasterxml.jackson.databind.ObjectMapper;
+
 import lombok.extern.slf4j.Slf4j;
+
 import org.springframework.beans.factory.annotation.Autowired;
 import org.springframework.data.redis.core.RedisCallback;
 import org.springframework.data.redis.core.RedisTemplate;
@@ -19,14 +21,13 @@ import java.util.concurrent.TimeUnit;
 /**
  * redis 工具类
  *
- * @Author Scott
+ * @author Scott
  */
 @Component
 @Slf4j
 public class AdwebRedisUtil {
 
-    @Autowired
-    private RedisTemplate<String, Object> redisTemplate;
+    @Autowired private RedisTemplate<String, Object> redisTemplate;
 
     @Autowired(required = false)
     public void setRedisTemplate(RedisTemplate redisTemplate) {
@@ -41,7 +42,8 @@ public class AdwebRedisUtil {
 
     private Jackson2JsonRedisSerializer jacksonSerializer() {
         ObjectMapper objectMapper = new ObjectMapper();
-        Jackson2JsonRedisSerializer jackson2JsonRedisSerializer = new Jackson2JsonRedisSerializer(objectMapper, Object.class);
+        Jackson2JsonRedisSerializer jackson2JsonRedisSerializer =
+                new Jackson2JsonRedisSerializer(objectMapper, Object.class);
         objectMapper.setVisibility(PropertyAccessor.ALL, JsonAutoDetect.Visibility.ANY);
         objectMapper.enableDefaultTyping(ObjectMapper.DefaultTyping.NON_FINAL);
 
@@ -51,7 +53,7 @@ public class AdwebRedisUtil {
     /**
      * 指定缓存失效时间
      *
-     * @param key  键
+     * @param key 键
      * @param time 时间(秒)
      * @return
      */
@@ -108,6 +110,16 @@ public class AdwebRedisUtil {
         }
     }
 
+    /**
+     * 根据pattern查询所有keys
+     *
+     * @param pattern 如key_prefix.*
+     * @return
+     */
+    public Set<String> keys(String pattern) {
+        return redisTemplate.keys(pattern);
+    }
+
     // ============================String=============================
 
     /**
@@ -134,7 +146,7 @@ public class AdwebRedisUtil {
     /**
      * 普通缓存放入
      *
-     * @param key   键
+     * @param key 键
      * @param value 值
      * @return true成功 false失败
      */
@@ -146,15 +158,14 @@ public class AdwebRedisUtil {
             e.printStackTrace();
             return false;
         }
-
     }
 
     /**
      * 普通缓存放入并设置时间
      *
-     * @param key   键
+     * @param key 键
      * @param value 值
-     * @param time  时间(秒) time要大于0 如果time小于等于0 将设置无限期
+     * @param time 时间(秒) time要大于0 如果time小于等于0 将设置无限期
      * @return true成功 false 失败
      */
     public boolean set(String key, Object value, long time) {
@@ -175,7 +186,7 @@ public class AdwebRedisUtil {
      * 递增
      *
      * @param key 键
-     * @param by  要增加几(大于0)
+     * @param delta 要增加几(大于0)
      * @return
      */
     public long incr(String key, long delta) {
@@ -189,7 +200,7 @@ public class AdwebRedisUtil {
      * 递减
      *
      * @param key 键
-     * @param by  要减少几(小于0)
+     * @param delta 要减少几(小于0)
      * @return
      */
     public long decr(String key, long delta) {
@@ -204,7 +215,7 @@ public class AdwebRedisUtil {
     /**
      * HashGet
      *
-     * @param key  键 不能为null
+     * @param key 键 不能为null
      * @param item 项 不能为null
      * @return 值
      */
@@ -242,8 +253,8 @@ public class AdwebRedisUtil {
     /**
      * HashSet 并设置时间
      *
-     * @param key  键
-     * @param map  对应多个键值
+     * @param key 键
+     * @param map 对应多个键值
      * @param time 时间(秒)
      * @return true成功 false失败
      */
@@ -263,8 +274,8 @@ public class AdwebRedisUtil {
     /**
      * 向一张hash表中放入数据,如果不存在将创建
      *
-     * @param key   键
-     * @param item  项
+     * @param key 键
+     * @param item 项
      * @param value 值
      * @return true 成功 false失败
      */
@@ -281,10 +292,10 @@ public class AdwebRedisUtil {
     /**
      * 向一张hash表中放入数据,如果不存在将创建
      *
-     * @param key   键
-     * @param item  项
+     * @param key 键
+     * @param item 项
      * @param value 值
-     * @param time  时间(秒) 注意:如果已存在的hash表有时间,这里将会替换原有的时间
+     * @param time 时间(秒) 注意:如果已存在的hash表有时间,这里将会替换原有的时间
      * @return true 成功 false失败
      */
     public boolean hset(String key, String item, Object value, long time) {
@@ -303,7 +314,7 @@ public class AdwebRedisUtil {
     /**
      * 删除hash表中的值
      *
-     * @param key  键 不能为null
+     * @param key 键 不能为null
      * @param item 项 可以使多个 不能为null
      */
     public void hdel(String key, Object... item) {
@@ -313,7 +324,7 @@ public class AdwebRedisUtil {
     /**
      * 判断hash表中是否有该项的值
      *
-     * @param key  键 不能为null
+     * @param key 键 不能为null
      * @param item 项 不能为null
      * @return true 存在 false不存在
      */
@@ -324,9 +335,9 @@ public class AdwebRedisUtil {
     /**
      * hash递增 如果不存在,就会创建一个 并把新增后的值返回
      *
-     * @param key  键
+     * @param key 键
      * @param item 项
-     * @param by   要增加几(大于0)
+     * @param by 要增加几(大于0)
      * @return
      */
     public double hincr(String key, String item, double by) {
@@ -336,9 +347,9 @@ public class AdwebRedisUtil {
     /**
      * hash递减
      *
-     * @param key  键
+     * @param key 键
      * @param item 项
-     * @param by   要减少记(小于0)
+     * @param by 要减少记(小于0)
      * @return
      */
     public double hdecr(String key, String item, double by) {
@@ -365,7 +376,7 @@ public class AdwebRedisUtil {
     /**
      * 根据value从一个set中查询,是否存在
      *
-     * @param key   键
+     * @param key 键
      * @param value 值
      * @return true 存在 false不存在
      */
@@ -381,7 +392,7 @@ public class AdwebRedisUtil {
     /**
      * 将数据放入set缓存
      *
-     * @param key    键
+     * @param key 键
      * @param values 值 可以是多个
      * @return 成功个数
      */
@@ -397,8 +408,8 @@ public class AdwebRedisUtil {
     /**
      * 将set数据放入缓存
      *
-     * @param key    键
-     * @param time   时间(秒)
+     * @param key 键
+     * @param time 时间(秒)
      * @param values 值 可以是多个
      * @return 成功个数
      */
@@ -433,7 +444,7 @@ public class AdwebRedisUtil {
     /**
      * 移除值为value的
      *
-     * @param key    键
+     * @param key 键
      * @param values 值 可以是多个
      * @return 移除的个数
      */
@@ -446,14 +457,15 @@ public class AdwebRedisUtil {
             return 0;
         }
     }
+
     // ===============================list=================================
 
     /**
      * 获取list缓存的内容
      *
-     * @param key   键
+     * @param key 键
      * @param start 开始
-     * @param end   结束 0 到 -1代表所有值
+     * @param end 结束 0 到 -1代表所有值
      * @return
      */
     public List<Object> lGet(String key, long start, long end) {
@@ -483,7 +495,7 @@ public class AdwebRedisUtil {
     /**
      * 通过索引 获取list中的值
      *
-     * @param key   键
+     * @param key 键
      * @param index 索引 index>=0时， 0 表头，1 第二个元素，依次类推；index<0时，-1，表尾，-2倒数第二个元素，依次类推
      * @return
      */
@@ -499,9 +511,8 @@ public class AdwebRedisUtil {
     /**
      * 将list放入缓存
      *
-     * @param key   键
+     * @param key 键
      * @param value 值
-     * @param time  时间(秒)
      * @return
      */
     public boolean lSet(String key, Object value) {
@@ -517,9 +528,9 @@ public class AdwebRedisUtil {
     /**
      * 将list放入缓存
      *
-     * @param key   键
+     * @param key 键
      * @param value 值
-     * @param time  时间(秒)
+     * @param time 时间(秒)
      * @return
      */
     public boolean lSet(String key, Object value, long time) {
@@ -538,9 +549,8 @@ public class AdwebRedisUtil {
     /**
      * 将list放入缓存
      *
-     * @param key   键
+     * @param key 键
      * @param value 值
-     * @param time  时间(秒)
      * @return
      */
     public boolean lSet(String key, List<Object> value) {
@@ -556,9 +566,9 @@ public class AdwebRedisUtil {
     /**
      * 将list放入缓存
      *
-     * @param key   键
+     * @param key 键
      * @param value 值
-     * @param time  时间(秒)
+     * @param time 时间(秒)
      * @return
      */
     public boolean lSet(String key, List<Object> value, long time) {
@@ -577,7 +587,7 @@ public class AdwebRedisUtil {
     /**
      * 根据索引修改list中的某条数据
      *
-     * @param key   键
+     * @param key 键
      * @param index 索引
      * @param value 值
      * @return
@@ -595,7 +605,7 @@ public class AdwebRedisUtil {
     /**
      * 移除N个值为value
      *
-     * @param key   键
+     * @param key 键
      * @param count 移除多少个
      * @param value 值
      * @return 移除的个数
@@ -610,34 +620,50 @@ public class AdwebRedisUtil {
         }
     }
 
-
     /**
      * 获取锁
      *
-     * @param lockKey        锁的键
+     * @param lockKey 锁的键
      * @param lockExpireMils 获取锁的时间
      * @return 是否获取到锁
      */
     public boolean lock(String lockKey, long lockExpireMils) {
-        return (Boolean) redisTemplate.execute((RedisCallback) connection -> {
-            long nowTime = System.currentTimeMillis();
-            Boolean acquire = connection.setNX(lockKey.getBytes(), String.valueOf(nowTime + lockExpireMils + 1).getBytes());
-            if (acquire) {
-                return Boolean.TRUE;
-            } else {
-                byte[] value = connection.get(lockKey.getBytes());
-                if (Objects.nonNull(value) && value.length > 0) {
-                    long oldTime = Long.parseLong(new String(value));
-                    if (oldTime < nowTime) {
-                        //connection.getSet：返回这个key的旧值并设置新值。
-                        byte[] oldValue = connection.getSet(lockKey.getBytes(), String.valueOf(nowTime + lockExpireMils + 1).getBytes());
-                        //当key不存时会返回空，表示key不存在或者已在管道中使用
-                        return oldValue == null ? false : Long.parseLong(new String(oldValue)) < nowTime;
-                    }
-                }
-            }
-            return Boolean.FALSE;
-        });
+        return (Boolean)
+                redisTemplate.execute(
+                        (RedisCallback)
+                                connection -> {
+                                    long nowTime = System.currentTimeMillis();
+                                    Boolean acquire =
+                                            connection.setNX(
+                                                    lockKey.getBytes(),
+                                                    String.valueOf(nowTime + lockExpireMils + 1)
+                                                            .getBytes());
+                                    if (acquire) {
+                                        return Boolean.TRUE;
+                                    } else {
+                                        byte[] value = connection.get(lockKey.getBytes());
+                                        if (Objects.nonNull(value) && value.length > 0) {
+                                            long oldTime = Long.parseLong(new String(value));
+                                            if (oldTime < nowTime) {
+                                                // connection.getSet：返回这个key的旧值并设置新值。
+                                                byte[] oldValue =
+                                                        connection.getSet(
+                                                                lockKey.getBytes(),
+                                                                String.valueOf(
+                                                                                nowTime
+                                                                                        + lockExpireMils
+                                                                                        + 1)
+                                                                        .getBytes());
+                                                // 当key不存时会返回空，表示key不存在或者已在管道中使用
+                                                return oldValue == null
+                                                        ? false
+                                                        : Long.parseLong(new String(oldValue))
+                                                                < nowTime;
+                                            }
+                                        }
+                                    }
+                                    return Boolean.FALSE;
+                                });
     }
 
     /**
@@ -650,6 +676,4 @@ public class AdwebRedisUtil {
             this.del(lockKey);
         }
     }
-
-
 }

jeecg-module-system/jeecg-system-biz/src/main/java/org/jeecg/modules/adweb/seo/mapper/SeoKeywordsMapper.java

@@ -60,7 +60,7 @@ public interface SeoKeywordsMapper extends BaseMapper<SeoKeywords> {
                                       String buttonSort);
 
     /**
-     * 获取当日需要DateForSEO serp查询的关键词列表
+     * 获取当日需要DateForSEO Serp查询的关键词列表
      *
      * @return 关键词列表
      */

jeecg-module-system/jeecg-system-biz/src/main/java/org/jeecg/modules/adweb/seo/service/dataforseo/DataForSEOService.java

@@ -18,7 +18,7 @@ import jakarta.annotation.PostConstruct;
 import lombok.extern.slf4j.Slf4j;
 
 import org.apache.commons.lang3.StringUtils;
-import org.jeecg.common.util.RedisUtil;
+import org.jeecg.modules.adweb.common.util.AdwebRedisUtil;
 import org.jeecg.modules.adweb.common.util.CommonUtil;
 import org.jeecg.modules.adweb.common.util.DateUtil;
 import org.jeecg.modules.adweb.common.util.ListUtil;
@@ -29,15 +29,16 @@ import org.jeecg.modules.adweb.seo.service.ISeoKeywordsSerpService;
 import org.jeecg.modules.adweb.seo.service.ISeoKeywordsService;
 import org.springframework.beans.factory.annotation.Autowired;
 import org.springframework.beans.factory.annotation.Value;
-import org.springframework.data.redis.core.RedisTemplate;
 import org.springframework.stereotype.Service;
 
 import java.util.*;
 
 /**
- * DataForSEO Serp查询 - 基于Redis同步
+ * DataForSEO Serp查询 - 基于Redis定时同步
  *
- * <p>暂不使用DataForSEO callback实时更新方式，考虑稳定性
+ * <p>1. 暂不使用DataForSEO callback实时更新方式，考虑AdWeb API稳定性
+ *
+ * <p>2. 暂不使用DataForSEO serp/google/organic/tasks_ready API - 每次仅返回一个task，与文档不符
  *
  * @author wfansh
  */
@@ -66,9 +67,7 @@ public class DataForSEOService {
 
     @Autowired private ISeoKeywordsSerpService seoKeywordsSerpService;
 
-    @Autowired private RedisUtil redisUtil;
-
-    @Autowired private RedisTemplate<String, Object> redisTemplate;
+    @Autowired private AdwebRedisUtil redisUtil;
 
     private SerpApi serpApi;
 
@@ -88,7 +87,7 @@ public class DataForSEOService {
     }
 
     /**
-     * 全局查询更新DataForSEO keywords Serp数据
+     * 全局查询更新DataForSEO keywords Serp数据 - 启动Serp任务并保存到Redis
      *
      * @param keywordType 1 - 指定词; 2 - 长尾词
      * @param limit 最大查询条数
@@ -100,14 +99,14 @@ public class DataForSEOService {
             log.info("暂无需要Serp查询的关键词");
         } else {
             // DataForSEO - each POST call containing no more than 100 tasks
-            // https://docs.dataforseo.com/v3/serp/google/organic/task_post/?bash
+            // https://docs.dataforseo.com/v3/serp/google/organic/task_post
             Lists.partition(seoKeywords, MAX_TASKS_PER_SERP_REQUEST).forEach(this::sendSerpRequest);
         }
     }
 
     /** 同步DataForSEO Serp结果 - 从Redis中获取正在运行的任务 */
     public void syncKeywordsSerpResults() {
-        Set<String> serpTaskRedisKeys = redisTemplate.keys(this.getSerpTaskRedisKey("*"));
+        Set<String> serpTaskRedisKeys = redisUtil.keys(this.getSerpTaskRedisKey("*"));
 
         if (CollectionUtil.isEmpty(serpTaskRedisKeys)) {
             log.info("Redis中暂无需要同步的Serp关键词");
@@ -144,25 +143,23 @@ public class DataForSEOService {
                 serpTaskRequestInfoList.add(serpTaskRequestInfo);
             }
 
-            // 2. 发送DataForSEO Serp查询请求，验证并打印响应结果
+            // 2. 发送DataForSEO Serp查询请求，验证并记录响应结果
             SerpGoogleOrganicTaskPostResponseInfo serpTaskPostResponseInfo =
                     serpApi.googleOrganicTaskPost(serpTaskRequestInfoList);
             log.info(
                     "创建DataForSEO Serp任务，response = {}",
                     JSONUtil.toJsonStr(serpTaskPostResponseInfo));
             if (serpTaskPostResponseInfo.getStatusCode() != SERP_STATUS_CODE_SUCCESS) {
-                log.error(serpTaskPostResponseInfo.getStatusMessage());
                 throw new ApiException(serpTaskPostResponseInfo.getStatusMessage());
             }
 
-            // 3. 过滤状态为成功的Serp task
+            // 3. 过滤创建成功的Serp tasks，保存到Redis
             List<SerpGoogleOrganicTaskPostTaskInfo> serpingTasks =
                     serpTaskPostResponseInfo.getTasks().stream()
                             .filter(task -> task.getStatusCode() == SERP_STATUS_CODE_TASK_CREATED)
                             .toList();
             List<Integer> serpingKeywordIds = Lists.newArrayList();
 
-            // 4. 将正在查询的Serp task放进Redis
             for (SerpGoogleOrganicTaskPostTaskInfo serpingTask : serpingTasks) {
                 Map<String, String> data = (Map<String, String>) serpingTask.getData();
                 String keywordId = data.get("tag");
@@ -171,26 +168,24 @@ public class DataForSEOService {
                 serpingKeywordIds.add(Integer.parseInt(keywordId));
             }
 
-            // 5. 更新SeoKeywords表
+            // 4. 更新seo_keywords表
             List<SeoKeywords> serpingKeywords =
                     seoKeywords.stream()
                             .filter(keyword -> serpingKeywordIds.contains(keyword.getId()))
                             .toList();
             serpingKeywords.forEach(
                     seoKeyword -> {
-                        // TODO: Why
-                        seoKeyword.setTimerLastSearchTime(DateUtil.getTodayZeroTime(now));
-                        // 状态 -> 正在查询
-                        seoKeyword.setSearchStatus(1);
+                        seoKeyword.setTimerLastSearchTime(now); // 定时器执行时间
+                        seoKeyword.setSearchStatus(1); // 状态 -> 正在查询
                     });
             seoKeywordsService.updateBatchById(serpingKeywords);
 
             log.info(
-                    "{}个关键词Serp查询任务创建完成 {}",
+                    "{}个关键词Serp查询任务创建完成 - {}",
                     serpingKeywords.size(),
                     serpingKeywords.stream().map(SeoKeywords::getId).toList());
         } catch (ApiException e) {
-            log.error(e.getMessage(), e);
+            log.error("创建DataForSEO Serp任务失败", e);
         }
     }
 
@@ -206,17 +201,21 @@ public class DataForSEOService {
     private boolean onSerpResult(String serpTaskRedisKey) {
         try {
             // 1. 查询Serp task
-            String taskId = redisUtil.get(serpTaskRedisKey).toString();
+            String taskId = redisUtil.getString(serpTaskRedisKey);
             SerpGoogleOrganicTaskGetRegularTaskInfo serpTask =
                     serpApi.googleOrganicTaskGetRegular(taskId).getTasks().get(0);
             log.info("获取DataForSEO Serp任务，response = {}", JSONUtil.toJsonStr(serpTask));
             if (serpTask.getStatusCode() != SERP_STATUS_CODE_SUCCESS) {
-                log.error(serpTask.getStatusMessage());
+                log.warn(
+                        "DataForSEO Serp任务 {} 状态为 {} {}",
+                        taskId,
+                        serpTask.getStatusCode(),
+                        serpTask.getStatusMessage());
                 throw new ApiException(serpTask.getStatusMessage());
             }
             SerpGoogleOrganicTaskGetRegularResultInfo serpResult = serpTask.getResult().get(0);
 
-            // 2. 查询SeoKeywords表，并根据域名过滤Serp result items
+            // 2. 查询seo_keywords表，根据域名过滤Serp result items
             int keywordId = Integer.parseInt(this.getKeywordIdFromRedisKey(serpTaskRedisKey));
             SeoKeywords seoKeyword = seoKeywordsService.getById(keywordId);
             if (Objects.isNull(seoKeyword)) {
@@ -232,34 +231,31 @@ public class DataForSEOService {
                     serpResult.getItems().stream()
                             .map(item -> (OrganicSerpElementItem) item)
                             .filter(item -> item.getType().equalsIgnoreCase("organic"))
-                            // 根据域名匹配
-                            .filter(item -> item.getDomain().contains(topPrivateDomain))
+                            .filter(item -> item.getDomain().contains(topPrivateDomain)) // 根据域名匹配
                             .findAny()
                             .orElse(null);
 
-            String seDomain = serpResult.getSeDomain();
-            String checkUrl = serpResult.getCheckUrl();
-            String languageCode = serpResult.getLanguageCode();
+            // 读取Serp相关数据
             Date seDatetime =
                     DateUtil.parseDate(serpResult.getDatetime(), DateUtil.ZONED_DATE_TIME_PATTERN);
             String positionUrl =
-                    Objects.nonNull(serpItem) ? StringUtils.remove(serpItem.getUrl(), "/") : null;
+                    Objects.nonNull(serpItem)
+                            ? StringUtils.removeEnd(serpItem.getUrl(), "/")
+                            : null;
             int rankGroup = Objects.nonNull(serpItem) ? serpItem.getRankGroup() : 0;
             int rankAbsolute = Objects.nonNull(serpItem) ? serpItem.getRankAbsolute() : 0;
 
-            // 3.更新SeoKeywords表
+            // 3.更新seo_keywords表
             UpdateWrapper<SeoKeywords> seoKeywordsUpdateWrapper = new UpdateWrapper<>();
             seoKeywordsUpdateWrapper.eq("id", keywordId);
-            // TODO: Why
             seoKeywordsUpdateWrapper.set("last_search_time", seDatetime);
             seoKeywordsUpdateWrapper.set("position_url", positionUrl);
             seoKeywordsUpdateWrapper.set("last_rank", rankGroup);
-            // 状态 -> 查询结束
-            seoKeywordsUpdateWrapper.set("search_status", 0);
+            seoKeywordsUpdateWrapper.set("search_status", 0); // 状态 -> 查询结束
             seoKeywordsService.update(seoKeywordsUpdateWrapper);
 
-            // 4. 更新SeoKeywordsSerp表
-            // 4.1 填充与上次更新时间之间的数据
+            // 4. 更新seo_keywords_serp表
+            // 4.1 填充与上次更新时间之间的数据, 截止到seDatetime的前一天
             seoKeywordsSerpService.fillKeywordsSerpHistory(keywordId, seDatetime);
             // 4.2 更新Serp表
             SeoKeywordsSerp keywordSerp =
@@ -277,9 +273,9 @@ public class DataForSEOService {
                             .orElse(new SeoKeywordsSerp());
 
             keywordSerp.setKeywordsId(keywordId);
-            keywordSerp.setSearchUrl(checkUrl);
-            keywordSerp.setSeDomain(seDomain);
-            keywordSerp.setLanguageCode(languageCode);
+            keywordSerp.setSearchUrl(serpResult.getCheckUrl());
+            keywordSerp.setSeDomain(serpResult.getSeDomain());
+            keywordSerp.setLanguageCode(serpResult.getLanguageCode());
             keywordSerp.setType("organic_results");
             keywordSerp.setPageNumber(rankGroup > 0 ? rankGroup / GOOGLE_SEARCH_PAGE_SIZE + 1 : 0);
             keywordSerp.setRankGroup(rankGroup);
@@ -291,7 +287,7 @@ public class DataForSEOService {
             redisUtil.del(serpTaskRedisKey);
             return true;
         } catch (ApiException e) {
-            log.error(e.getMessage(), e);
+            log.error("同步DataForSEO Serp任务失败", e);
             return false;
         }
     }

jeecg-module-system/jeecg-system-biz/src/main/java/org/jeecg/modules/adweb/seo/service/impl/SeoKeywordsSerpServiceImpl.java

@@ -29,7 +29,7 @@ public class SeoKeywordsSerpServiceImpl extends ServiceImpl<SeoKeywordsSerpMappe
     @Autowired private SeoKeywordsSerpMapper seoKeywordsSerpMapper;
 
     /**
-     * 向seo_keywords_serp表中补充数据，截止到seDate指定的日期之前一天
+     * 向seo_keywords_serp表中补充数据，截止到seDatetime的前一天
      *
      * @param keywordId 关键词ID
      * @param seDatetime serp返回时间，此日期不需要填充
@@ -41,7 +41,7 @@ public class SeoKeywordsSerpServiceImpl extends ServiceImpl<SeoKeywordsSerpMappe
             return false;
         }
 
-        // Serp最后一次更新时间 + 一天
+        // Serp最后更新时间 + 一天
         Date startDate =
                 DateUtil.getTmrZeroTime(
                         DateUtil.parseDate(latestSerp.getSeDate(), DateUtil.DATE_PATTERN));
@@ -58,15 +58,13 @@ public class SeoKeywordsSerpServiceImpl extends ServiceImpl<SeoKeywordsSerpMappe
             serp.setSearchUrl(latestSerp.getSearchUrl());
             serp.setSeDomain(latestSerp.getSeDomain());
             serp.setLanguageCode(latestSerp.getLanguageCode());
-            // 标识出是复制的Serp值
-            serp.setType(StringUtils.appendIfMissing(latestSerp.getType(), "_copy"));
+            serp.setType(
+                    StringUtils.appendIfMissing(latestSerp.getType(), "_copy")); // 标识出是复制的Serp值
             serp.setPageNumber(latestSerp.getPageNumber());
             serp.setRankGroup(latestSerp.getRankGroup());
             serp.setRankAbsolute(latestSerp.getRankAbsolute());
-            // 排名针对的日期
-            serp.setSeDate(DateUtil.formatDate(currentDate, DateUtil.DATE_PATTERN));
-            // 真实serp返回的时间
-            serp.setSeDatetime(latestSerp.getSeDatetime());
+            serp.setSeDate(DateUtil.formatDate(currentDate, DateUtil.DATE_PATTERN)); // 复制Serp值的目标日期
+            serp.setSeDatetime(latestSerp.getSeDatetime()); // 真实Serp返回的SearchingEngine时间
             serpsToFill.add(serp);
         }
 

jeecg-module-system/jeecg-system-biz/src/main/java/org/jeecg/modules/xxl/DataForSEOJob.java

@@ -0,0 +1,45 @@
+package org.jeecg.modules.xxl;
+
+import com.xxl.job.core.handler.annotation.XxlJob;
+
+import lombok.extern.slf4j.Slf4j;
+
+import org.jeecg.modules.adweb.common.constant.AdwebConstant;
+import org.jeecg.modules.adweb.seo.service.dataforseo.DataForSEOService;
+import org.springframework.beans.factory.annotation.Autowired;
+import org.springframework.stereotype.Component;
+
+/**
+ * DataForSEO Serp查询及同步任务，{@link DataForSEOService}
+ *
+ * @author wfansh
+ */
+@Slf4j
+@Component
+public class DataForSEOJob {
+
+    @Autowired private DataForSEOService dataForSEOService;
+
+    @XxlJob("runLongTailKeywordsSerpTasksHandler")
+    public void runLongTailKeywordsSerpTasksHandler() {
+        log.info("执行长尾词Serp查询...");
+        dataForSEOService.runKeywordsSerpTasks(
+                AdwebConstant.KEYWORD_TYPE_LONG_TAIL, Integer.MAX_VALUE);
+        log.info("执行长尾词Serp查询结束");
+    }
+
+    @XxlJob("runAppointKeywordsSerpTasksHandler")
+    public void runAppointKeywordsSerpTasksHandler() {
+        log.info("执行指定词Serp查询...");
+        dataForSEOService.runKeywordsSerpTasks(
+                AdwebConstant.KEYWORD_TYPE_APPOINT, Integer.MAX_VALUE);
+        log.info("执行指定词Serp查询结束");
+    }
+
+    @XxlJob("syncKeywordsSerpResultsHandler")
+    public void syncKeywordsSerpResultsHandler() {
+        log.info("同步关键词Serp查询结果...");
+        dataForSEOService.syncKeywordsSerpResults();
+        log.info("同步关键词Serp查询结果结束");
+    }
+}