新来个技术总监要我做一个 IP 属地功能~
Hollis的新書限時折扣中,一本深入講解Java基礎的干貨筆記!
文章來源:juejin.cn/post/7118954784853327903
目錄
背景
HttpServletRequest 獲取 IP
Ip2region
Ip2region V2.0 特性
ip2region xdb java 查詢客戶端實現
IDEA 中做個測試
背景
細心的朋友應該會發(fā)現,最近,繼新浪微博之后,頭條、騰訊、抖音、知乎、快手、小紅書等各大平臺陸陸續(xù)續(xù)都上線了“網絡用戶 IP 地址顯示功能”,境外用戶顯示的是國家,國內的用戶顯示的省份,而且此項顯示無法關閉,歸屬地強制顯示。
作為技術人,那!這個功能要怎么實現呢?
HttpServletRequest 獲取 IP
下面,我就來講講,Java 中是如何獲取 IP 屬地的,主要分為以下幾步:
通過 HttpServletRequest 對象,獲取用戶的?「IP」?地址
通過 IP 地址,獲取對應的省份、城市
首先需要寫一個 IP 獲取的工具類,因為每一次用戶的 Request 請求,都會攜帶上請求的 IP 地址放到請求頭中。
import?javax.servlet.http.HttpServletRequest; import?java.net.InetAddress; import?java.net.NetworkInterface; import?java.net.UnknownHostException;/***?常用獲取客戶端信息的工具*/ public?class?NetworkUtil?{/***?獲取ip地址*/public?static?String?getIpAddress(HttpServletRequest?request)?{String?ip?=?request.getHeader("x-forwarded-for");if?(ip?==?null?||?ip.length()?==?0?||?"unknown".equalsIgnoreCase(ip))?{ip?=?request.getHeader("Proxy-Client-IP");}if?(ip?==?null?||?ip.length()?==?0?||?"unknown".equalsIgnoreCase(ip))?{ip?=?request.getHeader("WL-Proxy-Client-IP");}if?(ip?==?null?||?ip.length()?==?0?||?"unknown".equalsIgnoreCase(ip))?{ip?=?request.getHeader("HTTP_CLIENT_IP");}if?(ip?==?null?||?ip.length()?==?0?||?"unknown".equalsIgnoreCase(ip))?{ip?=?request.getHeader("HTTP_X_FORWARDED_FOR");}if?(ip?==?null?||?ip.length()?==?0?||?"unknown".equalsIgnoreCase(ip))?{ip?=?request.getRemoteAddr();}//?本機訪問if?("localhost".equalsIgnoreCase(ip)?||?"127.0.0.1".equalsIgnoreCase(ip)?||?"0:0:0:0:0:0:0:1".equalsIgnoreCase(ip)){//?根據網卡取本機配置的IPInetAddress?inet;try?{inet?=?InetAddress.getLocalHost();ip?=?inet.getHostAddress();}?catch?(UnknownHostException?e)?{e.printStackTrace();}}//?對于通過多個代理的情況,第一個IP為客戶端真實IP,多個IP按照','分割if?(null?!=?ip?&&?ip.length()?>?15)?{if?(ip.indexOf(",")?>?15)?{ip?=?ip.substring(0,?ip.indexOf(","));}}return?ip;}/***?獲取mac地址*/public?static?String?getMacAddress()?throws?Exception?{//?取mac地址byte[]?macAddressBytes?=?NetworkInterface.getByInetAddress(InetAddress.getLocalHost()).getHardwareAddress();//?下面代碼是把mac地址拼裝成StringStringBuilder?sb?=?new?StringBuilder();for?(int?i?=?0;?i?<?macAddressBytes.length;?i++)?{if?(i?!=?0)?{sb.append("-");}//?mac[i]?&?0xFF?是為了把byte轉化為正整數String?s?=?Integer.toHexString(macAddressBytes[i]?&?0xFF);sb.append(s.length()?==?1???0?+?s?:?s);}return?sb.toString().trim().toUpperCase();}}通過此方法,從請求 Header 中獲取到用戶的 IP 地址。
之前我在做的項目中,也有獲取 IP 地址歸屬地省份、城市的需求,用的是:淘寶 IP 庫,地址:
https://ip.taobao.com/taobao 的 ip 庫下線了,再見 ip.taobao,全網顯示 IP 歸屬地。ip 歸屬地,原來的請求源碼如下:可以看到日志 log 文件中,大量的 the request over max qps for user 問題。
留下了難過的淚水。Ip2region
下面,給大家介紹下之前在 Github 沖浪時發(fā)現的今天的主角:Ip2region 開源項目。
github 地址:
https://github.com/lionsoul2014/ip2region目前最新已更新到了 v2.0 版本,ip2region v2.0 是一個離線 IP 地址定位庫和 IP 定位數據管理框架,10 微秒級別的查詢效率,準提供了眾多主流編程語言的 xdb 數據生成和查詢客戶端實現。
①99.9% 準確率
數據聚合了一些知名 ip 到地名查詢提供商的數據,這些是他們官方的的準確率,經測試著實比經典的純真 IP 定位準確一些。
ip2region 的數據聚合自以下服務商的開放 API 或者數據(升級程序每秒請求次數 2 到 4 次):
01,>80%,淘寶IP地址庫,http://ip.taobao.com/%5C
02,≈10%,GeoIP,https://geoip.com/%5C
03,≈2%,純真 IP 庫,http://www.cz88.net/%5C
備注:如果上述開放 API 或者數據都不給開放數據時 ip2region 將停止數據的更新服務。
②多查詢客戶端的支持
已經集成的客戶端有:java、C#、php、c、python、nodejs、php擴展(php5 和 php7)、golang、rust、lua、lua_c,nginx。
Ip2region V2.0 特性
①標準化的數據格式
每個 ip 數據段的 region 信息都固定了格式:國家|區(qū)域|省份|城市|ISP,只有中國的數據絕大部分精確到了城市,其他國家部分數據只能定位到國家,后前的選項全部是 0。
②數據去重和壓縮
xdb 格式生成程序會自動去重和壓縮部分數據,默認的全部 IP 數據,生成的 ip2region.xdb 數據庫是 11MiB,隨著數據的詳細度增加數據庫的大小也慢慢增大。
③極速查詢響應
即使是完全基于 xdb 文件的查詢,單次查詢響應時間在十微秒級別。
可通過如下兩種方式開啟內存加速查詢:
vIndex 索引緩存:使用固定的 512KiB 的內存空間緩存 vector index 數據,減少一次 IO 磁盤操作,保持平均查詢效率穩(wěn)定在 10-20 微秒之間。
xdb 整個文件緩存:將整個 xdb 文件全部加載到內存,內存占用等同于 xdb 文件大小,無磁盤 IO 操作,保持微秒級別的查詢效率。
④極速查詢響應
v2.0 格式的 xdb 支持億級別的 IP 數據段行數,region 信息也可以完全自定義,例如:你可以在 region 中追加特定業(yè)務需求的數據,例如:GPS信息/國際統(tǒng)一地域信息編碼/郵編等。也就是你完全可以使用 ip2region 來管理你自己的 IP 定位數據。
ip2region xdb java 查詢客戶端實現
①使用方式
引入 maven 倉庫:
<dependency><groupId>org.lionsoul</groupId><artifactId>ip2region</artifactId><version>2.6.4</version> </dependency>②完全基于文件的查詢
代碼如下:
import?org.lionsoul.ip2region.xdb.Searcher; import?java.io.*; import?java.util.concurrent.TimeUnit;public?class?SearcherTest?{public?static?void?main(String[]?args)?{//?1、創(chuàng)建?searcher?對象String?dbPath?=?"ip2region.xdb?file?path";Searcher?searcher?=?null;try?{searcher?=?Searcher.newWithFileOnly(dbPath);}?catch?(IOException?e)?{System.out.printf("failed?to?create?searcher?with?`%s`:?%s\n",?dbPath,?e);return;}//?2、查詢try?{String?ip?=?"1.2.3.4";long?sTime?=?System.nanoTime();String?region?=?searcher.search(ip);long?cost?=?TimeUnit.NANOSECONDS.toMicros((long)?(System.nanoTime()?-?sTime));System.out.printf("{region:?%s,?ioCount:?%d,?took:?%d?μs}\n",?region,?searcher.getIOCount(),?cost);}?catch?(Exception?e)?{System.out.printf("failed?to?search(%s):?%s\n",?ip,?e);}// 3、備注:并發(fā)使用,每個線程需要創(chuàng)建一個獨立的 searcher 對象單獨使用。} }③緩存 VectorIndex 索引
我們可以提前從 xdb 文件中加載出來 VectorIndex 數據,然后全局緩存,每次創(chuàng)建 Searcher 對象的時候使用全局的 VectorIndex 緩存可以減少一次固定的 IO 操作,從而加速查詢,減少 IO 壓力。
import?org.lionsoul.ip2region.xdb.Searcher; import?java.io.*; import?java.util.concurrent.TimeUnit;public?class?SearcherTest?{public?static?void?main(String[]?args)?{String?dbPath?=?"ip2region.xdb?file?path";// 1、從 dbPath 中預先加載 VectorIndex 緩存,并且把這個得到的數據作為全局變量,后續(xù)反復使用。byte[]?vIndex;try?{vIndex?=?Searcher.loadVectorIndexFromFile(dbPath);}?catch?(Exception?e)?{System.out.printf("failed?to?load?vector?index?from?`%s`:?%s\n",?dbPath,?e);return;}// 2、使用全局的 vIndex 創(chuàng)建帶 VectorIndex 緩存的查詢對象。Searcher?searcher;try?{searcher?=?Searcher.newWithVectorIndex(dbPath,?vIndex);}?catch?(Exception?e)?{System.out.printf("failed?to?create?vectorIndex?cached?searcher?with?`%s`:?%s\n",?dbPath,?e);return;}//?3、查詢try?{String?ip?=?"1.2.3.4";long?sTime?=?System.nanoTime();String?region?=?searcher.search(ip);long?cost?=?TimeUnit.NANOSECONDS.toMicros((long)?(System.nanoTime()?-?sTime));System.out.printf("{region:?%s,?ioCount:?%d,?took:?%d?μs}\n",?region,?searcher.getIOCount(),?cost);}?catch?(Exception?e)?{System.out.printf("failed?to?search(%s):?%s\n",?ip,?e);}//?備注:每個線程需要單獨創(chuàng)建一個獨立的 Searcher 對象,但是都共享全局的制度 vIndex 緩存。} }④緩存整個 xdb 數據
我們也可以預先加載整個 ip2region.xdb 的數據到內存,然后基于這個數據創(chuàng)建查詢對象來實現完全基于文件的查詢,類似之前的 memory search。
import?org.lionsoul.ip2region.xdb.Searcher; import?java.io.*; import?java.util.concurrent.TimeUnit;public?class?SearcherTest?{public?static?void?main(String[]?args)?{String?dbPath?=?"ip2region.xdb?file?path";// 1、從 dbPath 加載整個 xdb 到內存。byte[]?cBuff;try?{cBuff?=?Searcher.loadContentFromFile(dbPath);}?catch?(Exception?e)?{System.out.printf("failed?to?load?content?from?`%s`:?%s\n",?dbPath,?e);return;}// 2、使用上述的 cBuff 創(chuàng)建一個完全基于內存的查詢對象。Searcher?searcher;try?{searcher?=?Searcher.newWithBuffer(cBuff);}?catch?(Exception?e)?{System.out.printf("failed?to?create?content?cached?searcher:?%s\n",?e);return;}//?3、查詢try?{String?ip?=?"1.2.3.4";long?sTime?=?System.nanoTime();String?region?=?searcher.search(ip);long?cost?=?TimeUnit.NANOSECONDS.toMicros((long)?(System.nanoTime()?-?sTime));System.out.printf("{region:?%s,?ioCount:?%d,?took:?%d?μs}\n",?region,?searcher.getIOCount(),?cost);}?catch?(Exception?e)?{System.out.printf("failed?to?search(%s):?%s\n",?ip,?e);}//?備注:并發(fā)使用,用整個 xdb 數據緩存創(chuàng)建的查詢對象可以安全的用于并發(fā),也就是你可以把這個 searcher 對象做成全局對象去跨線程訪問。} }IDEA 中做個測試
①完全基于文件的查詢ip 屬地國內的話,會展示省份,國外的話,只會展示國家。可以通過如下圖這個方法進行進一步封裝,得到獲取 IP 屬地的信息。
下面是官網給出的命令運行 jar 方式給出的測試 demo,可以理解下。②編譯測試程序
通過 maven 來編譯測試程序。
#?cd?到?java?binding?的根目錄 cd?binding/java/ mvn?compile?package然后會在當前目錄的 target 目錄下得到一個 ip2region-{version}.jar 的打包文件。
③查詢測試
可以通過 java -jar ip2region-{version}.jar search 命令來測試查詢:
???java?git:(v2.0_xdb)???java?-jar?target/ip2region-2.6.0.jar?search java?-jar?ip2region-{version}.jar?search?[command?options] options:--db?string??????????????ip2region?binary?xdb?file?path--cache-policy?string????cache?policy:?file/vectorIndex/content例如:使用默認的 data/ip2region.xdb 文件進行查詢測試:
???java?git:(v2.0_xdb)???java?-jar?target/ip2region-2.6.0.jar?search?--db=../../data/ip2region.xdb ip2region?xdb?searcher?test?program,?cachePolicy:?vectorIndex type?'quit'?to?exit ip2region>>?1.2.3.4 {region:?美國|0|華盛頓|0|谷歌,?ioCount:?7,?took:?82?μs} ip2region>>輸入 ip 即可進行查詢測試,也可以分別設置 cache-policy 為 file/vectorIndex/content 來測試三種不同緩存實現的查詢效果。
④bench 測試
可以通過 java -jar ip2region-{version}.jar bench 命令來進行 bench 測試,一方面確保 xdb 文件沒有錯誤,一方面可以評估查詢性能:
???java?git:(v2.0_xdb)???java?-jar?target/ip2region-2.6.0.jar?bench java?-jar?ip2region-{version}.jar?bench?[command?options] options:--db?string??????????????ip2region?binary?xdb?file?path--src?string?????????????source?ip?text?file?path--cache-policy?string????cache?policy:?file/vectorIndex/content例如:通過默認的 data/ip2region.xdb 和 data/ip.merge.txt 文件進行 bench 測試:
???java?git:(v2.0_xdb)???java?-jar?target/ip2region-2.6.0.jar?bench?--db=../../data/ip2region.xdb?--src=../../data/ip.merge.txt Bench?finished,?{cachePolicy:?vectorIndex,?total:?3417955,?took:?8s,?cost:?2?μs/op}可以通過分別設置 cache-policy 為 file/vectorIndex/content 來測試三種不同緩存實現的效果。
@Note:注意 bench 使用的 src 文件要是生成對應 xdb 文件相同的源文件。
“到這里獲取用戶 IP 屬地已經完成啦,這篇文章介紹的 v2.0 版本,有興趣的小伙伴可以登錄上門的 github 地址了解下 v1.0 版本。
完
我的新書《深入理解Java核心技術》已經上市了,上市后一直蟬聯京東暢銷榜中,目前正在6折優(yōu)惠中,想要入手的朋友千萬不要錯過哦~長按二維碼即可購買~
長按掃碼享受6折優(yōu)惠
往期推薦黑吃黑?男子破解賭博網站漏洞,每月“薅羊毛”10多萬元
美團二面: Redis 5 種基礎數據結構?
淦,為什么 "𠮷𠮷𠮷" .length !== 3 ??
如果你喜歡本文,
請長按二維碼,關注?Hollis.
轉發(fā)至朋友圈,是對我最大的支持。
點個?在看?
喜歡是一種感覺
在看是一種支持
↘↘↘
總結
以上是生活随笔為你收集整理的新来个技术总监要我做一个 IP 属地功能~的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 五点三次平滑滤波在消除随机噪声中的应用以
- 下一篇: 苹果CMS内容管理系统 - 苹果CMS官