阿里云hbase solr 全文搜索引擎使用篇

hbase 对应 solr 索引创建

阿里云索引创建链接
这里只是我使用时的例子

hbase创建一个表

先进入hbase shell
例如:创建一个t_order表,列族(cf)为b

create  't_order',{NAME=>'b',  REPLICATION_SCOPE=> '1'}

// REPLICATION_SCOPE=>'1',代表这个表插入数据时,hbase会通过索引订阅配置文件
// 往solr插入对应索引字段的数据

t_order 拥有字段

orderId 订单号(注意这个字段不能为id,id这个字段为hbase的rowkey)
customerId 用户id
customerMobile 用户手机
payTotalPrice 实际支付金额

solr 环境准备

下载阿里云的solr包版本

wget http://public-hbase.oss-cn-hangzhou.aliyuncs.com/installpackage/solr-7.3.1-ali-1.0.tgz

tar -zxvf solr-7.3.1-ali-1.0.tgz

Solr的zk地址见Solr服务开通控制台界面。
修改solr-7.3.1-ali-1.0/bin/solr.in.sh文件,去掉ZK_HOST前面注释“#”,并修改如下:

ZK_HOST=zk1:2181,zk2:2181,zk3:2181/solr

solr 创建索引的schema

下载solr-7.3.1-ali-1.0.tgz解压后

cd solr-7.3.1-ali-1.0/server/solr/configsets/_democonfig

修改 solr managed-schema文件,设置对应t_order_collection字段、类型、是否排序、是否多个值、是否必须

vim conf/managed-schema 

- 下面是添加主要的几个字段
    <field name="id" type="string" indexed="true" stored="true" required="true" multiValued="false" />
    <field name="orderId" type="plong" indexed="true" stored="true" required="true" multiValued="false" />
    <field name="customerId" type="plong" indexed="true" stored="true" required="true" multiValued="false" />
    <field name="customerMobile" type="string" indexed="true" stored="true" required="true" multiValued="false" />
    <field name="payTotalPrice" type="pdouble" indexed="true" stored="true" required="true" multiValued="false" />

1. 其中id不能修改,这个为solr索引,并且为hbase 的 rowkey,所以这个主表的id用其他名字代替吧,这里使用orderId
2. 另外的字段才是需要索引的字段
3. 每一个字段必须跟下面索引的字段一致

上传到zookeeper中

cd solr-7.3.1-ali-1.0
./bin/solr zk upconfig -d ./server/solr/configsets/_democonfig -n t_order_schema

操作zookeeper简单用法

Zookeeper operation (one of 'upconfig', 'downconfig', 'rm', 'mv', 'cp', 'ls', 'mkroot') is required!

  Usage: solr zk upconfig|downconfig -d <confdir> -n <configName> [-z zkHost]
         solr zk cp [-r] <src> <dest> [-z zkHost]
         solr zk rm [-r] <path> [-z zkHost]
         solr zk mv <src> <dest> [-z zkHost]
         solr zk ls [-r] <path> [-z zkHost]
         solr zk mkroot <path> [-z zkHost]

solr 创建索引

t_order_collection

// 方法1,可以使用solrUI来创建
// 方法2,调用solr api 创建

solr 创建订阅索引

例如:创建一个t_order_index
配置文件 t_order_index.xml

<?xml version="1.0"?>
<indexer table="t_order">
    <field name="orderId" value="b:id" type="long"/>
    <field name="customerId" value="b:customerId" type="long"/>
    <field name="customerMobile" value="b:customerMobile" type="string"/>
    <field name="payTotalPrice" value="b:payTotalPrice" type="double"/>
    <param name="update_version_l" value="true"/>
</indexer>

创建索引

./bin/solr-indexer add  -n t_order_index  -f ./collection/t_order_conf.xml  -c t_order_collection

./bin/solr-indexer update  -n t_order_index  -f ./collection/t_order_conf.xml  -c t_order_collection

操作数据

操作hbase往t_order表中插入数据,solr的数据就会自动插入。更新数据同样会触发更新

相关问题

重新创建索引

删除了一个索引后,需要同时删除hbase中的indexer元信息

查询indexer元信息

hbase(main):005:0* list_peers
 PEER_ID CLUSTER_KEY ENDPOINT_CLASSNAME STATE REPLICATE_ALL NAMESPACES TABLE_CFS BANDWIDTH
 Indexer_t_order_index master1-1,master2-1,master3-1:2181:/ali-indexer/sep/hbase-slave/Indexer_t_order_index  ENABLED true   0
1 row(s)
Took 0.3851 seconds
=> #<Java::JavaUtil::ArrayList:0xda22aa>

删除indexer元信息

如果当indexer元信息不删除,会对应不上新创建的索引订阅

remove_peer 'Indexer_t_order_index'

然后重新按第一步重来一次就行了

其他操作

修改solr字段信息

curl -X POST -H 'Content-type:application/json' --data-binary '{
  "replace-field":{
     "name":"customerMobile",
     "type":"string",
     "indexed":true
     "stored":false,
     "required":false,
     "multiValued":false}
}' http://node1:8983/solr/t_order_collection/schema

添加字段信息

curl -X POST -H 'Content-type:application/json' --data-binary '{
  "add-field":{
     "name":"_id",
     "type":"plong",
     "indexed":true
     "stored":true,
     "required":true,
     "multiValued":false}
}' http://node1:8983/solr/t_order_collection/schema

删除字段信息

curl -X POST -H 'Content-type:application/json' --data-binary '{
  "delete-field" : { "name":"_id" }
}' http://node1:8983/solr/t_order_collection/schema

求y=√[[(x-1)(x-2)]/[(x-3)(x-4)]]的导数

oyhk 学习笔记

例6:求 y = \sqrt{\dfrac{(x-1)(x-2)}{(x-3)(x-4)}}的导数。

解:先在等式两边取对数(假定 x > 4),得
y=\left[ \dfrac{(x-1)(x-2)}{(x-3)(x-4)} \right]^\dfrac{1}{2}
\ln y = \ln \left[ \dfrac{(x-1)(x-2)}{(x-3)(x-4)} \right]^\dfrac{1}{2}

\ln y = \dfrac{1}{2} \left[\ln \dfrac{(x-1)(x-2)}{(x-3)(x-4)} \right]

\ln y = \dfrac{1}{2} \left[ \ln(x-1)+ln(x-2)-ln(x-3)-ln(x-4)\right]

上式两边对x求导,注意到y=y(x),得

\left(\ln y\right)^\prime = \left[\dfrac{1}{2} \left[ \ln(x-1)+ln(x-2)-ln(x-3)-ln(x-4)\right] \right]^\prime

\dfrac{1}{y}y^\prime = \dfrac{1}{2}\left[\dfrac{1}{x-1}+\dfrac{1}{x-2}-\dfrac{1}{x-3}-\dfrac{1}{x-4}\right]

于是

y^\prime=\dfrac{y}{2}\left[\dfrac{1}{x-1}+\dfrac{1}{x-2}-\dfrac{1}{x-3}-\dfrac{1}{x-4}\right]

同理求出:

当 x < 1 时,y = \sqrt{\dfrac{(x-1)(x-2)}{(x-3)(x-4)}}
当 2 < x < 3 时,y = \sqrt{\dfrac{(x-1)(x-2)}{(x-3)(x-4)}}

这里要记得对数函数的运算公式:

\log_ab + \log_ac = \log_abc

\log_ab – \log_ac = \log_a\dfrac{b}{c}

spring data redis setnx 分布式锁

oyhk 学习笔记


spring data redis + redis 实现程序的分布式锁,众所周知 redis 是单进程,redis 操作都是原子性,redis 是天生的线程安全。
下面来基于spring boot2 中 spring data redis 实现分布式锁。

redis setnx 命令

SETNX key value
将 key 的值设为 value ,当且仅当 key 不存在。
若给定的 key 已经存在,则 SETNX 不做任何动作。
SETNX 是『SET if Not eXists』(如果不存在,则 SET)的简写。
可用版本:
>= 1.0.0
时间复杂度:
O(1)
返回值:
设置成功,返回 1 。
设置失败,返回 0 。

spring data redis 实现分布式锁

pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>groupId</groupId>
    <artifactId>spring-data-redis</artifactId>
    <version>1.0-SNAPSHOT</version>

    <!-- spring boot 2 -->
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.0.3.RELEASE</version>
    </parent>

    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-redis</artifactId>
        </dependency>
    </dependencies>
</project>

BootstrapSpringDataRedis.java

package com.mkfree.sample.springdataredis;

import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.context.ConfigurableApplicationContext;

@SpringBootApplication
public class BootstrapSpringDataRedis {

    private static Logger log = LoggerFactory.getLogger(BootstrapSpringDataRedis.class);

    public static void main(String[] args) {
        ConfigurableApplicationContext configurableApplicationContext = SpringApplication.run(BootstrapSpringDataRedis.class, args);
        String[] strings = configurableApplicationContext.getBeanDefinitionNames();
    }

}

RedisLock.java

package com.mkfree.sample.springdataredis;

import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.redis.core.StringRedisTemplate;
import org.springframework.stereotype.Component;

import java.util.concurrent.TimeUnit;

@Component
public class RedisLock {

    private static final String LOCK_SUFFIX = "_lock";

    private Logger log = LoggerFactory.getLogger(this.getClass());

    @Autowired
    private StringRedisTemplate stringRedisTemplate;

    /**
     * 分布式锁
     *
     * @param key
     * @return
     */
    public void lock(String key) {
        boolean lock;
        while (true) {
            lock = stringRedisTemplate.opsForValue().setIfAbsent(key + LOCK_SUFFIX, "");
            if (lock) {
                // 设置分布式锁最长时间为5秒,超时自动去除,防止死锁的情况发生
                stringRedisTemplate.expire(key + LOCK_SUFFIX, 10, TimeUnit.SECONDS);
                log.info("setting expire 10 seconds");
                break;
            }
        }
    }

    /**
     * 解除分布式锁
     *
     * @param key
     */
    public void unLock(String key) {
        stringRedisTemplate.delete(key + LOCK_SUFFIX);
    }
}

RedisController.java

package com.mkfree.sample.springdataredis;

import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.redis.core.StringRedisTemplate;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;

import java.util.concurrent.TimeUnit;

@RestController
public class RedisLockController {

    private Logger logger = LoggerFactory.getLogger(this.getClass());

    @Autowired
    private RedisLock redisLock;


    @GetMapping("/test1")
    public String test1() throws InterruptedException {
        try {
            // 获取当前 key 分布式锁,获取成功可以继续往下执行
            redisLock.lock("DistributedLock");

            logger.info("具体的业务代码");
            // 运行业务代码模式时间,10秒
            Thread.sleep(10000);

            return "test1";
        } finally {
            // 解锁
            redisLock.unLock("DistributedLock");
        }
    }

    @GetMapping("/test2")
    public String test2() {
        try {
            redisLock.lock("DistributedLock");
            logger.info("test2222222");
            return "test2";
        } finally {
            redisLock.unLock("DistributedLock");
        }
    }
}

验证

启动程序
1. 首先调用

mac watch命令

oyhk 学习笔记


突然就忘记这个命令了,查看TCP连接变化之前经常使用,再次怕忘记记录一下。

输入help命令

watch -h


如果命令不存在那么安装一下吧。

brew install watch

命令格式

watch [参数] 命令

命令功能

可以将命令的输出结果输出到标准输出设备,多用于周期性执行命令/定时执行命令

命令参数

-n或–interval watch缺省每2秒运行一下程序,可以用-n或-interval来指定间隔的时间。

-d或–differences 用-d或–differences 选项watch 会高亮显示变化的区域。 而-d=cumulative选项会把变动过的地方(不管最近的那次有没有变动)都高亮显示出来。

-t 或-no-title 会关闭watch命令在顶部的时间间隔,命令,当前时间的输出。

-h, –help 查看帮助文档

其他说明

切换终端: Ctrl+x
退出watch:Ctrl+g

例子

# 实例1:每隔一秒高亮显示网络链接数的变化情况
watch -n 1 -d netstat -ant

# 实例2:每隔一秒高亮显示http链接数的变化情况
命令:
watch -n 1 -d 'pstree|grep http'
#说明:每隔一秒高亮显示http链接数的变化情况。 后面接的命令若带有管道符,需要加''将命令区域归整。

# 实例3:实时查看模拟攻击客户机建立起来的连接数
watch 'netstat -an | grep:21 | \ grep<模拟攻击客户机的IP>| wc -l' 

# 实例4:监测当前目录中 scf' 的文件的变化
watch -d 'ls -l|grep scf' 

# 实例5:10秒一次输出系统的平均负载
watch -n 10 'cat /proc/loadavg'

java Socket实现HTTP服务器(三)封装Response

oyhk 学习笔记


这篇文章基于java Socket实现HTTP服务器,本次如何封装Response。

具体代码
HttpServer.java

package com.mkfree.sample.httpserver3;

import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import java.io.*;
import java.net.InetAddress;
import java.net.ServerSocket;
import java.net.Socket;


public class HttpServer {

    private static Logger log = LoggerFactory.getLogger(HttpServer.class);

    public static final int SERVER_PORT = 8080;

    public static void main(String[] args) throws IOException {
        ServerSocket serverSocket = new ServerSocket(8080, 1, InetAddress.getByName("127.0.0.1"));
        log.info("HttpStatus server start port {} ...", SERVER_PORT);
        while (true) {
            Socket socket = serverSocket.accept();

            InputStream inputStream = socket.getInputStream();
            Request request = new Request(inputStream);

            log.info("{} {} {} {}", request.getMethod(), request.getUrl(), request.getProtocol(), request.getUri());
            request.getHeaders().forEach((s, s2) -> log.info("{} : {}", s, s2));
            if (request.getBody() != null) {
                log.info("{}", request.getBody());
            }
            // 返回数据
            String body = "{\"id\":1,\"name\":\"oyhk\"}";
            OutputStream outputStream = socket.getOutputStream();
            Response response = new Response(request, outputStream);
            response.write(body);

            log.info(response.getContent());

            inputStream.close();
            outputStream.flush();
            outputStream.close();
        }
    }

}

HttpMethod.java

package com.mkfree.sample.httpserver3;

public enum HttpMethod {
    POST, GET;
}

HttpStatus.java

package com.mkfree.sample.httpserver3;

public enum HttpStatus {
    OK(200, "OK"), NOT_FOUND(404, "Not Found"), FORBIDDEN(403, "Forbidden"), BAD_GATEWAY(502, "Bad Gateway"), FOUND(302, "Found"),
    ;

    public int code;
    public String desc;

    HttpStatus(int code, String desc) {
        this.code = code;
        this.desc = desc;
    }

}

Request.java

package com.mkfree.sample.httpserver3;

import java.io.IOException;
import java.io.InputStream;
import java.util.Arrays;
import java.util.HashMap;
import java.util.Map;
import java.util.stream.Stream;

/**
 * HTTP 请求信息
 *
 * GET /user/info HTTP/1.1 http://127.0.0.1:8080/user/info
 * Cache-Control : no-cache
 * Accept : **
 * Connection:keep-alive
 * User-Agent:Mozilla/5.0(Macintosh;Intel Mac OS X 10_13_2)AppleWebKit/537.36(KHTML,like Gecko)Chrome/68.0.3440.106Safari/537.36
 * Host:127.0.0.1
 * Postman-Token:e46ac458-4bf7-71ed-3b28-21f5448f3d25
 * Accept-Encoding:gzip,deflate,br
 * Accept-Language:zh-CN,zh;q=0.9,en;q=0.8
 * Content-Type:application/json
 *
 *
 */
public class Request {

    // 请求头 Host 名称
    private static final String HEADER_HOST_NAME = "Host";
    // 请求头 Content-Length 名称
    public static final String HEADER_CONTENT_LENGTH_NAME = "Content-Length";
    // http 请求前缀
    private static final String HTTP_PREFIX = "http://";


    /**
     * 输入流
     */
    private InputStream inputStream;
    /**
     * uri 例如:http://127.0.0.1:8080/user/info
     */
    private String uri;
    /**
     * url 例如: /user/info
     */
    private String url;

    /**
     * http 请求方法
     */
    private HttpMethod method;
    /**
     * 协议
     */
    private String protocol;

    /**
     * 请求头
     */
    private Map<String, String> headers = new HashMap<>();

    /**
     * 请求内容
     */
    private String body;

    /**
     * 创建Request
     *
     * @param inputStream SocketInputStream
     * @throws IOException
     */
    public Request(InputStream inputStream) throws IOException {
        this.inputStream = inputStream;

        // 请求行信息
        String requestLineMessage = this.requestLineMessage();
        String[] requestLines = requestLineMessage.trim().split(" ");
        this.method = HttpMethod.valueOf(requestLines[0]);
        this.url = requestLines[1];
        this.protocol = requestLines[2];

        // 请求头信息
        String requestHeadersMessage = this.requestHeadersMessage();
        String[] requestHeaders = requestHeadersMessage.trim().split("\r\n");
        Stream.of(requestHeaders).map(String::trim).forEach(headerLine -> {
            String[] tempHeader = headerLine.split(":");
            this.headers.put(tempHeader[0].trim(), tempHeader[1].trim());
        });
        // 组合成uri
        this.uri = HTTP_PREFIX + headers.get(HEADER_HOST_NAME) + ":" + HttpServer.SERVER_PORT + this.url;

        // POST PUT PATCH DELETE 需要读取 body 信息
        if (this.method == HttpMethod.POST) {
            this.body = this.requestBody();
        }
    }

    /**
     * 获取头信息
     *
     * @return
     * @throws IOException
     */
    private String requestHeadersMessage() throws IOException {
        byte[] buffer = new byte[1024];
        int input;
        int index = 0;

        // 这段代码是有点恶心了,到时候重构一下
        while ((input = this.inputStream.read()) != -1) {
            buffer[index] = (byte) input;
            index++;
            if (input == 13) {
                int n1 = this.inputStream.read();
                buffer[index] = (byte) n1;
                index++;
                if (n1 == 10) {
                    int r2 = this.inputStream.read();
                    buffer[index] = (byte) r2;
                    index++;
                    if (r2 == 13) {
                        int n2 = this.inputStream.read();
                        buffer[index] = (byte) n2;
                        index++;
                        break;
                    }
                }
            }
        }
        byte[] result = Arrays.copyOf(buffer, index);
        return new String(result);
    }

    /**
     *
     * 获取请求行信息
     *
     * @return
     * @throws IOException
     */
    private String requestLineMessage() throws IOException {
        byte[] buffer = new byte[1024];
        int input;
        int index = 0;
        while ((input = this.inputStream.read()) != -1) {
            if (input == 13 && this.inputStream.read() == 10) {
                break;
            }
            buffer[index] = (byte) input;
            index++;
        }
        byte[] result = Arrays.copyOf(buffer, index);
        return new String(result);
    }

    /**
     * 获取请求内容
     * @return
     * @throws IOException
     */
    private String requestBody() throws IOException {
        int contentLength = Integer.valueOf(this.headers.get(HEADER_CONTENT_LENGTH_NAME));
        byte[] result = new byte[contentLength];
        inputStream.read(result, 0, contentLength);
        return new String(result);
    }

    public String getUri() {
        return uri;
    }

    public String getUrl() {
        return url;
    }

    public HttpMethod getMethod() {
        return method;
    }

    public String getProtocol() {
        return protocol;
    }

    public Map<String, String> getHeaders() {
        return headers;
    }

    public String getBody() {
        return body;
    }
}

Response.java

package com.mkfree.sample.httpserver3;

import java.io.IOException;
import java.io.OutputStream;
import java.util.HashMap;
import java.util.Map;

/**
 * HTTP 响应信息
 *
 * 例如:
 * HTTP/1.1 200 OK
 * Content-Type:application/json
 * Content-Length:22
 *
 * {"id":1,"name":"oyhk"}
 *
 */
public class Response {

    public static final String LINE_END = "\r\n";

    /**
     * 请求信息
     */
    private Request request;

    /**
     * 输出流
     */
    private OutputStream outputStream;

    /**
     * 响应头
     */
    private Map<String, Object> headers = new HashMap<>();

    /**
     * 响应内容
     */
    private String[] content = new String[1];

    /**
     *
     * @param request
     * @param outputStream SocketOutputStream
     */
    public Response(Request request, OutputStream outputStream) {
        this.request = request;
        this.outputStream = outputStream;
        this.headers.put("Content-Type", "application/json");
    }

    public void write(String body) throws IOException {
        this.headers.put("Content-Length", body.length());

        content[0] = request.getProtocol() + " " + HttpStatus.OK.code + " " + HttpStatus.OK.desc + LINE_END;
        headers.forEach((s, o) -> content[0] += s + ":" + o + LINE_END);
        content[0] += LINE_END + body;
        this.outputStream.write(content[0].getBytes());
    }

    public String getContent() {
        return content[0];
    }
}

java Socket实现HTTP服务器(二)封装Request

oyhk 学习笔记


这篇文章基于java Socket实现HTTP服务器,本次如何封装Request。

具体代码
HttpServer.java

package com.mkfree.sample.httpserver2;

import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import java.io.*;
import java.net.InetAddress;
import java.net.ServerSocket;
import java.net.Socket;


public class HttpServer {

    private static Logger log = LoggerFactory.getLogger(HttpServer.class);

    public static final int SERVER_PORT = 8080;

    public static void main(String[] args) throws IOException {
        ServerSocket serverSocket = new ServerSocket(8080, 1, InetAddress.getByName("127.0.0.1"));
        log.info("http server start port {} ..." ,SERVER_PORT);
        while (true) {
            Socket socket = serverSocket.accept();

            InputStream inputStream = socket.getInputStream();
            Request request = new Request(inputStream);

            log.info("{} {} {} {}", request.getMethod(), request.getUrl(), request.getProtocol(), request.getUri());
            request.getHeaders().forEach((s, s2) -> log.info("{} : {}", s, s2));
            log.info("{}", request.getBody());
            // 返回数据
            String body = "{\"id\":1,\"name\":\"oyhk\"}";
            OutputStream outputStream = socket.getOutputStream();
            String response = "HTTP/1.1 200 OK\r\n" +
                    "Content-Type:application/json\r\n" +
                    "Content-Length:" + body.length() + "\r\n" +
                    "\r\n" + body;

            log.info(response);
            outputStream.write(response.getBytes());

            inputStream.close();
            outputStream.flush();
            outputStream.close();
            socket.close();

        }
    }
}

Request.java

package com.mkfree.sample.httpserver2;

import java.io.IOException;
import java.io.InputStream;
import java.util.Arrays;
import java.util.HashMap;
import java.util.Map;
import java.util.stream.Stream;

/**
 * HTTP 请求信息
 */
public class Request {

    // 请求头 Host 名称
    private static final String HEADER_HOST_NAME = "Host";
    // 请求头 Content-Length 名称
    public static final String HEADER_CONTENT_LENGTH_NAME = "Content-Length";
    // http 请求前缀
    private static final String HTTP_PREFIX = "http://";


    /**
     * 输入流
     */
    private InputStream inputStream;
    /**
     * uri 例如:http://127.0.0.1:8080/user/info
     */
    private String uri;
    /**
     * url 例如: /user/info
     */
    private String url;

    /**
     * http 请求方法
     */
    private HttpMethod method;
    /**
     * 协议
     */
    private String protocol;

    /**
     * 请求头
     */
    private Map<String, String> headers = new HashMap<>();

    /**
     * 请求内容
     */
    private String body;

    /**
     * 创建Request
     *
     * @param inputStream SocketInputStream
     * @throws IOException
     */
    public Request(InputStream inputStream) throws IOException {
        this.inputStream = inputStream;

        // 请求行信息
        String requestLineMessage = this.requestLineMessage();
        String[] requestLines = requestLineMessage.trim().split(" ");
        this.method = HttpMethod.valueOf(requestLines[0]);
        this.url = requestLines[1];
        this.protocol = requestLines[2];

        // 请求头信息
        String requestHeadersMessage = this.requestHeadersMessage();
        String[] requestHeaders = requestHeadersMessage.trim().split("\r\n");
        Stream.of(requestHeaders).map(String::trim).forEach(headerLine -> {
            String[] tempHeader = headerLine.split(":");
            this.headers.put(tempHeader[0].trim(), tempHeader[1].trim());
        });
        // 组合成uri
        this.uri = HTTP_PREFIX + headers.get(HEADER_HOST_NAME) + ":" + HttpServer.SERVER_PORT + this.url;

        // POST PUT PATCH DELETE 需要读取 body 信息
        if (this.method == HttpMethod.POST || this.method == HttpMethod.PUT || this.method == HttpMethod.PATCH || this.method == HttpMethod.DELETE) {
            this.body = this.requestBody();
        }
    }

    /**
     * 获取头信息
     *
     * @return
     * @throws IOException
     */
    private String requestHeadersMessage() throws IOException {
        byte[] buffer = new byte[1024];
        int input;
        int index = 0;

        // 这段代码是有点恶心了,到时候重构一下
        while ((input = this.inputStream.read()) != -1) {
            buffer[index] = (byte) input;
            index++;
            if (input == 13) {
                int n1 = this.inputStream.read();
                buffer[index] = (byte) n1;
                index++;
                if (n1 == 10) {
                    int r2 = this.inputStream.read();
                    buffer[index] = (byte) r2;
                    index++;
                    if (r2 == 13) {
                        int n2 = this.inputStream.read();
                        buffer[index] = (byte) n2;
                        index++;
                        break;
                    }
                }
            }
        }
        byte[] result = Arrays.copyOf(buffer, index);
        return new String(result);
    }

    /**
     *
     * 获取请求行信息
     *
     * @return
     * @throws IOException
     */
    private String requestLineMessage() throws IOException {
        byte[] buffer = new byte[1024];
        int input;
        int index = 0;
        while ((input = this.inputStream.read()) != -1) {
            if (input == 13 && this.inputStream.read() == 10) {
                break;
            }
            buffer[index] = (byte) input;
            index++;
        }
        byte[] result = Arrays.copyOf(buffer, index);
        return new String(result);
    }

    /**
     * 获取请求内容
     * @return
     * @throws IOException
     */
    private String requestBody() throws IOException {
        int contentLength = Integer.valueOf(this.headers.get(HEADER_CONTENT_LENGTH_NAME));
        byte[] result = new byte[contentLength];
        inputStream.read(result, 0, contentLength);
        return new String(result);
    }

    public String getUri() {
        return uri;
    }

    public String getUrl() {
        return url;
    }

    public HttpMethod getMethod() {
        return method;
    }

    public String getProtocol() {
        return protocol;
    }

    public Map<String, String> getHeaders() {
        return headers;
    }

    public String getBody() {
        return body;
    }
}

HttpMethod.java

package com.mkfree.sample.httpserver2;

public enum HttpMethod {
    POST, GET, PUT, PATCH, DELETE/*, HEAD, OPTIONS*/;
}

postman GET请求:http://127.0.0.1:8080/user/info

后台打印:

Http server start port 8080

GET /user/info HTTP/1.1 http://127.0.0.1:8080/user/info
Cache-Control : no-cache
Accept : */*
Connection : keep-alive
User-Agent : Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36
Host : 127.0.0.1
Postman-Token : e46ac458-4bf7-71ed-3b28-21f5448f3d25
Accept-Encoding : gzip, deflate, br
Accept-Language : zh-CN,zh;q=0.9,en;q=0.8
Content-Type : application/json

HTTP/1.1 200 OK
Content-Type:application/json
Content-Length:22
{"id":1,"name":"oyhk"}

postman POST请求:http://127.0.0.1:8080/user/save

后台打印:

POST /user/save HTTP/1.1 http://127.0.0.1:8080/user/info
Origin : chrome-extension
Cache-Control : no-cache
Accept : */*
Connection : keep-alive
User-Agent : Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36
Host : 127.0.0.1
Postman-Token : ffb8f395-66c8-2f66-118b-42ec5e90a660
Accept-Encoding : gzip, deflate, br
Accept-Language : zh-CN,zh;q=0.9,en;q=0.8
Content-Length : 27
Content-Type : application/json

{
    "id":1,
    "name":"oyhk"
}

HTTP/1.1 200 OK
Content-Type:application/json
Content-Length:22
{"id":1,"name":"oyhk"}

java Socket实现HTTP服务器(一)简单例子

oyhk 学习笔记


这篇文章基于java Socket实现HTTP服务器,目前只是一个最为简单的例子。
我们看最简单的HTTPServer代码

HttpServer.java

package com.mkfree.sample.httpserver1;

import java.io.*;
import java.net.InetAddress;
import java.net.ServerSocket;
import java.net.Socket;


public class HttpServer {

    public static void main(String[] args) throws IOException {
        ServerSocket serverSocket = new ServerSocket(8080, 1, InetAddress.getByName("127.0.0.1"));

        while (true) {
            Socket socket = serverSocket.accept();

            InputStream inputStream = socket.getInputStream();
            int input;
            StringBuilder requestMsg = new StringBuilder();
            while ((input = inputStream.read()) != -1) {
                requestMsg.append((char) input);
                // 暂时这样模拟http get 结束
                if (requestMsg.lastIndexOf("\r\n\r\n") != -1) {
                    break;
                }
            }
            System.out.println(requestMsg);


            // 返回数据
            String body = "{\"id\":1,\"name\":\"oyhk\"}";
            OutputStream outputStream = socket.getOutputStream();
            String response = "HTTP/1.1 200 OK\r\n" +
                    "Content-Type:application/json\r\n" +
                    "Content-Length:" + body.length() + "\r\n" +
                    "\r\n" + body;

            System.out.println(response);
            outputStream.write(response.getBytes());

            inputStream.close();
            outputStream.flush();
            outputStream.close();
            socket.close();
        }
    }
}

postman 请求:http://127.0.0.1:8080

HttpServer 打印结果:

GET / HTTP/1.1
Host: 127.0.0.1:8080
Connection: keep-alive
Cache-Control: no-cache
Content-Type: application/json
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36
Postman-Token: 11a34e79-c2b1-459f-13f5-d709bb13ac14
Accept: */*
Accept-Encoding: gzip, deflate, br
Accept-Language: zh-CN,zh;q=0.9,en;q=0.8


HTTP/1.1 200 OK
Content-Type:application/json
Content-Length:22

{"id":1,"name":"oyhk"}

以上就是最简单的Socket模拟HttpServer

HTTP协议详解

oyhk 学习笔记


HTTP 协议

超文本传输协议(HTTP,HyperText Transfer Protocol)是互联网上应用最为广泛的一种网络协议。所有的WWW文件都必须遵守这个标准。设计HTTP最初的目的是为了提供一种发布和接收HTML页面的方法。1960年美国人Ted Nelson构思了一种通过计算机处理文本信息的方法,并称之为超文本(hypertext),这成为了HTTP超文本传输协议标准架构的发展根基。Ted Nelson组织协调万维网协会(World Wide Web Consortium)和互联网工程工作小组(Internet Engineering Task Force )共同合作研究,最终发布了一系列的RFC,其中著名的RFC 2616定义了HTTP 1.1。

HTTP 协议主要特点可概括如下

  • 支持客户/服务器模式。
  • 简单快速:客户向服务器请求服务时,只需传送请求方法和路径。请求方法常用的有GET、HEAD、POST。每种方法规定了客户与服务器联系的类型不同。由于HTTP协议简单,使得HTTP服务器的程序规模小,因而通信速度很快。
  • 灵活:HTTP允许传输任意类型的数据对象。正在传输的类型由Content-Type加以标记。
  • 无连接:无连接的含义是限制每次连接只处理一个请求。服务器处理完客户的请求,并收到客户的应答后,即断开连接。采用这种方式可以节省传输时间。
  • 无状态:HTTP协议是无状态协议。无状态是指协议对于事务处理没有记忆能力。缺少状态意味着如果后续处理需要前面的信息,则它必须重传,这样可能导致每次连接传送的数据量增大。另一方面,在服务器不需要先前信息时它的应答就较快。

HTTP协议对其用户来讲其实是透明的,不同于如SMTP等协议的是,HTTP的报文并非是直接交付给用户去看的,最常见的场合是HTTP协议将超文本交付给浏览器或者其他超文本解析的软件来进行处理,超文本可以使用任意的标签语言如HTML,XSL,XML,XHTML。

  • 静态超文本
    客户端直接通过URL请求到服务端相对应的资源,服务端直接将部署在数据库或者文件系统中的标签语言文件返还给客户端,其中可以包括其他的URL来使得客户端再次和网络中的其他主机发送HTTP请求来递归地完成超文本的解析,如HTML中的img标签。
  • 动态超文本
    动态超文本需要通过软件技术来实现创建和处理动态文本,例如CGI,JavaServlet等技术,将URL中‘?’之后的动态部分做解析并生成动态文档,并且可以嵌入脚本语言交付给浏览器中的解析引擎来提高动态文档的效率,使文档中不必要的重复的部分独立解析完成,甚至可以实现活动文档,直接在文档上运行字节码形式的java程序或者javascript脚本。

HTTP 运行事务

请求报文 分组

请求报文 响应报文
请求行 响应行
请求头 响应头
空行 空行
请求内容 响应内容

请求报文 GET请求(举例)

请求报文 请求报文内容 例子
请求行 method\sURL\sHTTP/1.1\r\n GET /user/info HTTP/1.1
请求头 名称:\s值/r/n Host: 127.0.0.1:8080
请求头 名称:\s值/r/n Connection: keep-alive
请求头 名称:\s值/r/n Cache-Control: no-cache
请求头 名称:\s值/r/n User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36
请求头 名称:\s值/r/n Accept: */*
请求头 名称:\s值/r/n Accept-Encoding: gzip, deflate, br
请求头 名称:\s值/r/n Accept-Language: zh-CN,zh;q=0.9,en;q=0.8
空行 空行 \r\n
请求内容 \r\n \r\n

请求报文 POST请求(举例)

请求报文 请求报文内容 例子
请求行 method\sURL\sHTTP/1.1\r\n POST /user/info HTTP/1.1
请求头 名称:\s值/r/n Host: 127.0.0.1:8080
请求头 名称:\s值/r/n Connection: keep-alive
请求头 名称:\s值/r/n Content-Length: 27
请求头 名称:\s值/r/n Cache-Control: no-cache
请求头 名称:\s值/r/n Content-Type: application/json
请求头 名称:\s值/r/n User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36
请求头 名称:\s值/r/n Accept: */*
请求头 名称:\s值/r/n Accept-Encoding: gzip, deflate, br
请求头 名称:\s值/r/n Accept-Language: zh-CN,zh;q=0.9,en;q=0.8
空行 空行 \r\n
请求内容 \r\n内容 \r\n{“id”:1,”name”:”oyhk”}

请求报文 请求行

  • 请求行–方法
    • GET
    • POST
    • HEAD
    • PUT
    • TRACE
    • CONNECT
    • DELETE
    • OPTIONS
    • PATCH
  • 请求行–URL
    • 例如:/user/info
  • 请求行–版本
    • HTTP/1.1

请求报文 请求头解析(request header)

  • http header 消息通常被分为4个部分:general header, request header, response header, entity header。但是这种分法就理解而言,感觉界限不太明确。根据维基百科对http header内容的组织形式,大体分为Request和Response两部分。
  • 下面简要解析
Header 解释 示例
Accept 指定客户端能够接收的内容类型 Accept: text/plain, text/html
Accept-Charset 浏览器可以接受的字符编码集。 Accept-Charset: iso-8859-5
Accept-Encoding 指定浏览器可以支持的web服务器返回内容压缩编码类型。 Accept-Encoding: compress, gzip
Accept-Language 浏览器可接受的语言 Accept-Language: en,zh
Accept-Ranges 可以请求网页实体的一个或者多个子范围字段 Accept-Ranges: bytes
Authorization HTTP授权的授权证书 Authorization: Basic QWxhZGRpbjpvcGVuIHNlc2FtZQ==
Cache-Control 指定请求和响应遵循的缓存机制 Cache-Control: no-cache
Connection 表示是否需要持久连接。(HTTP 1.1默认进行持久连接) Connection: close
Cookie HTTP请求发送时,会把保存在该请求域名下的所有cookie值一起发送给web服务器。 Cookie: $Version=1; Skin=new;
Content-Length 请求的内容长度 Content-Length: 348
Content-Type 请求的与实体对应的MIME信息 Content-Type: application/x-www-form-urlencoded
Date 请求发送的日期和时间 Date: Tue, 15 Nov 2010 08:12:31 GMT
Expect 请求的特定的服务器行为 Expect: 100-continue
From 发出请求的用户的 Email From: user@email.com
Host 指定请求的服务器的域名和端口号 Host: www.zcmhi.com
If-Match 只有请求内容与实体相匹配才有效 If-Match: “737060cd8c284d8af7ad3082f209582d”
If-Modified-Since 如果请求的部分在指定时间之后被修改则请求成功,未被修改则返回304代码 If-Modified-Since: Sat, 29 Oct 2010 19:43:31 GMT
If-None-Match 如果内容未改变返回304代码,参数为服务器先前发送的Etag,与服务器回应的Etag比较判断是否改变 If-None-Match: “737060cd8c284d8af7ad3082f209582d”
If-Range 如果实体未改变,服务器发送客户端丢失的部分,否则发送整个实体。参数也为Etag If-Range: “737060cd8c284d8af7ad3082f209582d”
If-Unmodified-Since 只在实体在指定时间之后未被修改才请求成功 If-Unmodified-Since: Sat, 29 Oct 2010 19:43:31 GMT
Max-Forwards 限制信息通过代理和网关传送的时间 Max-Forwards: 10
Pragma 用来包含实现特定的指令 Pragma: no-cache
Proxy-Authorization 连接到代理的授权证书 Proxy-Authorization: Basic QWxhZGRpbjpvcGVuIHNlc2FtZQ==
Range 只请求实体的一部分,指定范围 Range: bytes=500-999
Referer 先前网页的地址,当前请求网页紧随其后,即来路 Referer: http://www.zcmhi.com/archives/71.html
TE 客户端愿意接受的传输编码,并通知服务器接受接受尾加头信息 TE: trailers,deflate;q=0.5
Upgrade 向服务器指定某种传输协议以便服务器进行转换(如果支持) Upgrade: HTTP/2.0, SHTTP/1.3, IRC/6.9, RTA/x11
User-Agent User-Agent的内容包含发出请求的用户信息 User-Agent: Mozilla/5.0 (Linux; X11)
Via 通知中间网关或代理服务器地址,通信协议 Via: 1.0 fred, 1.1 nowhere.com (Apache/1.1)
Warning 关于消息实体的警告信息 Warn: 199 Miscellaneous warning

请求报文 空行

最后一个请求头之后是一个空行,发送回车符和换行符,通知服务器以下不再有请求头。

请求报文 请求内容(request body)

请求数据不在GET方法中使用,而是在POST方法中使用。POST方法适用于需要客户填写表单的场合。与请求数据相关的最常使用的请求头是Content-Type和Content-Length。

响应报文

响应报文 响应报文内容 例子
响应行 版本\s状态码\s\短语r\n HTTP/1.1 200 OK
响应头 名称:\s值\r\n Content-Type:application/json
空行 空行 \r\n
响应内容 响应内容 {“id”:1,”name”:”oyhk”}

响应行

  • 响应行–http版本
    • HTTP/1.1
  • 响应行–状态码
    • 200 OK:客户端请求成功。
    • 400 Bad Request:客户端请求有语法错误,不能被服务器所理解。
    • 401 Unauthorized:请求未经授权,这个状态代码必须和WWW-Authenticate报头域一起使用。
    • 403 Forbidden:服务器收到请求,但是拒绝提供服务。
    • 404 Not Found:请求资源不存在,举个例子:输入了错误的URL。
    • 500 Internal Server Error:服务器发生不可预期的错误。
    • 503 Server Unavailable:服务器当前不能处理客户端的请求,一段时间后可能恢复正常,举个例子:HTTP/1.1 200 OK(CRLF)。
  • 响应行–短语
    • 例如:OK

响应报文 响应头

  • 下面解析
Header 解释 示例
Accept-Ranges 表明服务器是否支持指定范围请求及哪种类型的分段请求 Accept-Ranges: bytes
Age 从原始服务器到代理缓存形成的估算时间(以秒计,非负) Age: 12
Allow 对某网络资源的有效的请求行为,不允许则返回405 Allow: GET, HEAD
Cache-Control 告诉所有的缓存机制是否可以缓存及哪种类型 Cache-Control: no-cache
Content-Encoding web服务器支持的返回内容压缩编码类型。 Content-Encoding: gzip
Content-Language 响应体的语言 Content-Language: en,zh
Content-Length 响应体的长度 Content-Length: 348
Content-Location 请求资源可替代的备用的另一地址 Content-Location: /index.htm
Content-MD5 返回资源的MD5校验值 Content-MD5: Q2hlY2sgSW50ZWdyaXR5IQ==
Content-Range 在整个返回体中本部分的字节位置 Content-Range: bytes 21010-47021/47022
Content-Type 返回内容的MIME类型 Content-Type: text/html; charset=utf-8
Date 原始服务器消息发出的时间 Date: Tue, 15 Nov 2010 08:12:31 GMT
ETag 请求变量的实体标签的当前值 ETag: “737060cd8c284d8af7ad3082f209582d”
Expires 响应过期的日期和时间 Expires: Thu, 01 Dec 2010 16:00:00 GMT
Last-Modified 请求资源的最后修改时间 Last-Modified: Tue, 15 Nov 2010 12:45:26 GMT
Location 用来重定向接收方到非请求URL的位置来完成请求或标识新的资源 Location: http://www.zcmhi.com/archives/94.html
Pragma 包括实现特定的指令,它可应用到响应链上的任何接收方 Pragma: no-cache
Proxy-Authenticate 它指出认证方案和可应用到代理的该URL上的参数 Proxy-Authenticate: Basic
refresh 应用于重定向或一个新的资源被创造,在5秒之后重定向(由网景提出,被大部分浏览器支持) Refresh: 5; url=http://www.zcmhi.com/archives/94.html
Retry-After 如果实体暂时不可取,通知客户端在指定时间之后再次尝试 Retry-After: 120
Server web服务器软件名称 Server: Apache/1.3.27 (Unix) (Red-Hat/Linux)
Set-Cookie 设置Http Cookie Set-Cookie: UserID=JohnDoe; Max-Age=3600; Version=1
Trailer 指出头域在分块传输编码的尾部存在 Trailer: Max-Forwards
Transfer-Encoding 文件传输编码 Transfer-Encoding:chunked
Vary 告诉下游代理是使用缓存响应还是从原始服务器请求 Vary: *
Via 告知代理客户端响应是通过哪里发送的 Via: 1.0 fred, 1.1 nowhere.com (Apache/1.1)
Warning 警告实体可能存在的问题 Warning: 199 Miscellaneous warning
WWW-Authenticate 表明客户端请求实体应该使用的授权方案 WWW-Authenticate: Basic

响应报文 空行

用来区分响应头和响应主体

响应报文 内容

{“id”:1,”name”:”oyhk”}

java ServerSocket 和 Socket 通信实例

oyhk 学习笔记


建立服务器端

  • 服务器建立通信ServerSocket
  • 服务器建立Socket接收客户端连接
  • 建立IO输入流读取客户端发送的数据
  • 建立IO输出流向客户端发送数据消息

Server.java

import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.OutputStreamWriter;
import java.net.ServerSocket;
import java.net.Socket;

public class Server {
   public static void main(String[] args) {
      try {
         ServerSocket ss = new ServerSocket(8888);
         System.out.println("启动服务器....");
         Socket s = ss.accept();
         System.out.println("客户端:"+s.getInetAddress().getLocalHost()+"已连接到服务器");
         BufferedReader br = new BufferedReader(new InputStreamReader(s.getInputStream()));
         //读取客户端发送来的消息
         String mess = br.readLine();
         System.out.println("客户端:"+mess);
         BufferedWriter bw = new BufferedWriter(new OutputStreamWriter(s.getOutputStream()));
         bw.write(mess+"\n");
         bw.flush();
      } catch (IOException e) {
         e.printStackTrace();
      }
   }
}

以上代码运行输出结果为:

启动服务器....

建立客户端

  • 创建Socket通信,设置通信服务器的IP和Port
  • 建立IO输出流向服务器发送数据消息
  • 建立IO输入流读取服务器发送来的数据消息
    Client.java
import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.OutputStream;
import java.io.OutputStreamWriter;
import java.net.Socket;
import java.net.UnknownHostException;

public class Client {
   public static void main(String[] args) {
      try {
         Socket s = new Socket("127.0.0.1",8888);

         //构建IO
         InputStream is = s.getInputStream();
         OutputStream os = s.getOutputStream();

         BufferedWriter bw = new BufferedWriter(new OutputStreamWriter(os));
         //向服务器端发送一条消息
         bw.write("测试客户端和服务器通信,服务器接收到消息返回到客户端\n");
         bw.flush();

         //读取服务器返回的消息
         BufferedReader br = new BufferedReader(new InputStreamReader(is));
         String mess = br.readLine();
         System.out.println("服务器:"+mess);
      } catch (UnknownHostException e) {
         e.printStackTrace();
      } catch (IOException e) {
         e.printStackTrace();
      }
   }
}

以上代码运行输出结果为:

服务器:测试客户端和服务器通信,服务器接收到消息返回到客户端

java Socket实现HTTP服务器

oyhk 学习笔记

最近突然有一种想法,使用java写一个http服务器类似tomcat服务器,有这种想法那么付诸行动吧。对于实现一个类似于tomcat的服务器,其实并不简单,需要的知识点太多了,一步步来吧。