Spring Batch 学习(6) ItemWriter 发表于 2018-12-03 | 分类于 spring-batch | 字数统计: 1.1k 字 | 阅读时长 ≈ 5 分钟ItemWriterItemWriter:批处理之后的数据需要做怎样的写操作(写入文件、数据库、mongodb等)常用的几个 ItemWriterJdbcItemWriter:使用 jdbc 写入数据库 阅读全文 »
Spring Batch 学习(5) ItemReader 发表于 2018-11-30 | 分类于 spring-batch | 字数统计: 1.8k 字 | 阅读时长 ≈ 8 分钟ItemReaderItemReader 可以理解为:在批处理中,需要处理的数据。这些数据通常是在 文本文件, xml 文件, 数据库 中存储。在进行批处理的时候,需要从文件中获取数据。可以说,ItemReader 是整个批处理的入口。 阅读全文 »
Spring Batch 学习(4) Step 的另一种方式、Listener 发表于 2018-11-29 | 分类于 spring-batch | 字数统计: 1.3k 字 | 阅读时长 ≈ 5 分钟创建步骤的另外一种方式ItemReader 可以理解为:数据获取。在 Step 中除了可以使用 Tasklet 创建简单的步骤,也可以使用 chunk + itemReader + itemWriter 创建一个复杂的步骤。其中:chunk 表示每几条数据进行一次批量处理itemReader 表示批量获取的数据怎么获取itemWriter 表示 chunk 中的数据进行怎样的输出(到文件、数据库或其他) 阅读全文 »
Spring Batch 学习(3) 决策器、JobParameters、Step 监听器 发表于 2018-11-29 | 分类于 spring-batch | 字数统计: 1.3k 字 | 阅读时长 ≈ 5 分钟决策器一些业务比较复杂的批处理操作中,可能会存在如下的需求:如在 微博抽奖 中,进行批量处理挑选中间人的时候,需要根据 活跃度,发帖量,粉丝数 的不同,进行不同筛选操作。这时就需要一个 决策器 ,决策器的作用:根据不同的条件,返回不同的状态码(自定义状态码),根据状态码的不同,选择不同的步骤进行批量处理操作。 阅读全文 »
Spring Batch 学习(2) 多步骤、步骤嵌套、跳步 发表于 2018-11-29 | 分类于 spring-batch | 字数统计: 1.3k 字 | 阅读时长 ≈ 6 分钟SpringBatch 一个任务包含 N 个步骤在前一篇博客这种,学习到了 SpringBatch 的一个简单的小示例,这个小示例中只包含了一个 Job 任务,这个 Job 也只包含了一个 Step 步骤。但是有些时候我们需要在一个 Job 中分步骤的处理一些事务,比如:在第一个步骤中需要 计算所有用户的总资产,第二个步骤中需要 计算用户的平均余额,第三个步骤需要 筛选男性用户,第四个步骤…. 这时,就需要在一个 统计任务 中分步骤的获取信息。 阅读全文 »
Spring Batch 学习(1) 简单示例 发表于 2018-11-27 | 分类于 spring-batch | 字数统计: 1.8k 字 | 阅读时长 ≈ 7 分钟Spring Batch – 一个基于 Spring 架构的批处理框架什么是批处理在现代企业应用当中,面对复杂的业务以及海量的数据,除了通过庞杂的人机交互界面进行各种处理外,还有一类工作,不需要人工干预,只需要定期读入大批量数据,然后完成相应业务处理并进行归档。这类工作即为“批处理”。 阅读全文 »
使用 Python Requests 爬取并下载小说 以 耳根 的小说 《一念永恒》 为例 发表于 2018-11-22 | 分类于 Python | 字数统计: 833 字 | 阅读时长 ≈ 3 分钟使用 Python Requests 爬取 笔趣看 小说网站 阅读全文 »
常用 IDEA 插件 发表于 2018-11-21 | 分类于 Java | 字数统计: 233 字 | 阅读时长 ≈ 1 分钟RestfulToolkit在之前定位方法、Controoler 时,使用 Ctrl + Shift + F 查找只能输入方法上面的 @RequestMapping 的 value 路径,而且如果有多个相同的方法时,或者代码里面有对应的单词时,会全部匹配出来。如:查找 UserController 的 add 方法,如果在搜索框输入 add 查找的话,可能会查找出很多信息,不便于定位。 阅读全文 »