使用scrapy采集社交媒体的公开信息
yellowDog
2024-09-09 8a1a578694dc8bf6244c969fe9759a21e810c77f
fix:修复关键词分割bug
1 files modified
1 ■■■■ changed files
aijuke_spider/spiders/douyin/douyin_search_spider.py 1 ●●●● patch | view | raw | blame | history
aijuke_spider/spiders/douyin/douyin_search_spider.py
@@ -62,6 +62,7 @@
        self.logger.info(task.to_dict())
        self.logger.info(demand.to_dict())
        params: dict = self.params.copy()
        demand.content= demand.content.replace('\n', '').replace('\r', '').replace('\t', '').replace(' ', '').replace(',', ',')
        for content in demand.content.split(','):
            params.update({'keyword': content})
            headers = self.headers.copy()