1、目前想到的方式,使用flink里的窗口函数,定时去拉取一下接口数据,并解析,然后上传到hdfs,感觉这样方式好被动,但是第三方只提供公共api接口,无法做到binlog采集或者增量标志位jdbc之类的, 2、想要一个插件,代替我写的程序,并能根据自定义规则解析并定时调度
package test;
import java.io.BufferedReader; import java.io.IOException; import java.io.InputStream; import java.io.InputStreamReader; import java.io.OutputStream; import java.net.MalformedURLException; import java.net.URL; import java.net.URLConnection;
public class test {
public static void main(String[] args) {
String path="https://api.douban.com/v2/book/isbn/:9787806479223";
try {
//创建一个URL对象
URL url=new URL(path);
//创建一个URLConnection连接对象
URLConnection conn=url.openConnection();
//创建一个输入流来接收网页
InputStream in=conn.getInputStream();
//字节流——>字符流
InputStreamReader isr = new InputStreamReader(in);
//从字符输入流中读取文本,缓冲各个字符,从而实现字符、数组和行的高效读取。
BufferedReader br = new BufferedReader(isr);
String line = null;
StringBuffer sb=new StringBuffer();
while ((line=br.readLine())!=null) {
sb.append(line);
}
System.out.println(sb);
} catch (MalformedURLException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
}
}
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。