sqoop导出solr数据_Apache Atlas - 强大的元数据管理工具
構建和安裝Apache Atlas
構建Apache Atlas
下載 Apache Atlas 1.0.0 發行版源碼, apache-atlas-1.0.0-sources.tar.gz, 從 downloads 下載. 然后按照以下說明構建Apache Atlas。
tar xvfz apache-atlas-1.0.0-sources.tar.gz cd apache-atlas-sources-1.0.0/ export MAVEN_OPTS="-Xms2g -Xmx2g" mvn clean -DskipTests installxxxxxxxxxx tar xvfz apache-atlas-1.0.0-sources.tar.gzcd apache-atlas-sources-1.0.0/export MAVEN_OPTS="-Xms2g -Xmx2g"mvn clean -DskipTests installtar xvfz apache-atlas-1.0.0-sources.tar.gzbash打包Apache Atlas
要創建Apache Atlas軟件包以在具有功能的Apache HBase和Apache Solr實例的環境中進行部署，請使用以下命令進行構建：
mvn clean -DskipTests package -Pdist- 注意:
- 刪除選項“ -DskipTests”以運行單元和集成測試
- 要構建沒有縮小的js，css文件的發行版，請使用* skipMinify *配置文件進行構建。 默認情況下，最小化js和css文件。
上面將為具有功能性HBase和Solr實例的環境構建Apache Atlas。需要在以下環境中設置Apache Atlas，才能在此環境中運行:
- 配置atlas.graph.storage.hostname（請參見[配置]（http://atlas.apache.org/1.0.0/Configuration.html）部分中的“圖形持久性引擎-HBase”）
- 配置atlas.graph.index.search.solr.zookeeper-url（請參見[配置]（http://atlas.apache.org/1.0.0/Configuration.html）部分中的“圖形搜索索引-Solr”）。
- 將HBASE_CONF_DIR設置為指向有效的Apache HBase配置目錄（請參見[配置]（http://atlas.apache.org/1.0.0/Configuration.html）部分中的“圖形持久性引擎-HBase”）。
- Create indices in Apache Solr (see "Graph Search Index - Solr" in the Configuration section).
使用嵌入式Apache HBase和Apache Solr打包Apache Atlas
要創建包含Apache HBase和Apache Solr的Apache Atlas軟件包，請使用Embedded-hbase-solr配置文件進行構建，如下所示:
mvn clean -DskipTests package -Pdist,embedded-hbase-solr使用Embedded-hbase-solr配置文件將配置Apache Atlas，以便與Apache Atlas服務器一起啟動和停止Apache HBase實例和Apache Solr實例。
注意：此分發配置文件僅旨在用于單節點開發，而不能用于生產環境。
使用Apache Cassandra和Apache Solr打包Apache Atlas
要創建包含Apache Cassandra和Apache Solr的Apache Atlas軟件包，請使用Embedded-cassandra-solr配置文件進行構建，如下所示：
mvn clean package -Pdist,embedded-cassandra-solr使用Embedded-cassandra-solr配置文件將配置Apache Atlas，以便與Atlas服務器一起啟動和停止Apache Cassandra實例和Apache Solr實例。
注意：此分發配置文件僅旨在用于單節點開發，而不能用于生產環境。
Atlas 打包
Build將創建以下文件，這些文件用于安裝Apache Atlas。
distro/target/apache-atlas-${project.version}-bin.tar.gz distro/target/apache-atlas-${project.version}-hbase-hook.tar.gz distro/target/apache-atlas-${project.version}-hive-hook.gz distro/target/apache-atlas-${project.version}-kafka-hook.gz distro/target/apache-atlas-${project.version}-sources.tar.gz distro/target/apache-atlas-${project.version}-sqoop-hook.tar.gz distro/target/apache-atlas-${project.version}-storm-hook.tar.gz安裝 & 運行 Apache Atlas
安裝 Apache Atlas
從您要安裝Apache Atlas的目錄中，運行以下命令：
tar -xzvf apache-atlas-${project.version}-bin.tar.gz cd atlas-${project.version}使用本地Apache HBase和Apache Solr運行Apache Atlas
使用本地Apache HBase和Apache Solr運行Apache Atlas
export MANAGE_LOCAL_HBASE=true export MANAGE_LOCAL_SOLR=true ? bin/atlas_start.py使用Apache Atlas
- 要驗證Apache Atlas服務器是否已啟動并正在運行，請運行curl命令，如下所示：
- 快速啟動以加載樣本模型和數據
- 使用瀏覽器訪問Apache Atlas UI界面: http://localhost:21000
停止Apache Atlas服務器
要停止Apache Atlas，請運行以下命令:
bin/atlas_stop.py配置Apache Atlas
默認情況下，Apache Atlas使用的配置目錄為* {package dir} / conf *。 要將設置的環境變量ATLAS_CONF覆蓋到conf目錄的路徑。
可以在conf目錄的* atlas-env.sh *文件中設置運行Apache Atlas所需的環境變量。 在執行任何命令之前，此文件將由Apache Atlas腳本獲取。 可以設置以下環境變量。
# The java implementation to use. If JAVA_HOME is not found we expect java and jar to be in path #export JAVA_HOME= ? # any additional java opts you want to set. This will apply to both client and server operations #export ATLAS_OPTS= ? # any additional java opts that you want to set for client only #export ATLAS_CLIENT_OPTS= ? # java heap size we want to set for the client. Default is 1024MB #export ATLAS_CLIENT_HEAP= ? # any additional opts you want to set for atlas service. #export ATLAS_SERVER_OPTS= ? # java heap size we want to set for the atlas server. Default is 1024MB #export ATLAS_SERVER_HEAP= ? # What is is considered as atlas home dir. Default is the base location of the installed software #export ATLAS_HOME_DIR= ? # Where log files are stored. Defatult is logs directory under the base install location #export ATLAS_LOG_DIR= ? # Where pid files are stored. Defatult is logs directory under the base install location #export ATLAS_PID_DIR= ? # Where do you want to expand the war file. By Default it is in /server/webapp dir under the base install dir. #export ATLAS_EXPANDED_WEBAPP_DIR=支持大量元數據對象的設置
如果計劃存儲大量的元數據對象，建議您使用調整后的值以提高JVM的GC性能。
以下值是服務器端的常用選項：
export ATLAS_SERVER_OPTS="-server -XX:SoftRefLRUPolicyMSPerMB=0 -XX:+CMSClassUnloadingEnabled -XX:+UseConcMarkSweepGC -XX:+CMSParallelRemarkEnabled -XX:+PrintTenuringDistribution -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=dumps/atlas_server.hprof -Xloggc:logs/gc-worker.log -verbose:gc -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=10 -XX:GCLogFileSize=1m -XX:+PrintGCDetails -XX:+PrintHeapAtGC -XX:+PrintGCTimeStamps"The -XX:SoftRefLRUPolicyMSPerMB 發現該選項對于調節具有許多并發用戶的繁重工作負載的GC性能特別有用.
對于JDK 8，建議使用以下值：
export ATLAS_SERVER_HEAP="-Xms15360m -Xmx15360m -XX:MaxNewSize=5120m -XX:MetaspaceSize=100M -XX:MaxMetaspaceSize=512m"對于Mac OS用戶請注意 如果您使用的是Mac OS，則需要配置ATLAS_SERVER_OPTS（如上所述）。在* {package dir} /conf/atlas-env.sh*中，取消注釋以下行
#export ATLAS_SERVER_OPTS=并將其更改為如下所示
export ATLAS_SERVER_OPTS="-Djava.awt.headless=true -Djava.security.krb5.realm= -Djava.security.krb5.kdc="將Apache HBase配置為Graph Repository的存儲后端
默認情況下，Apache Atlas使用[JanusGraph]（http://atlas.apache.org/1.0.0/JanusGraph.html）作為圖形存儲庫，并且是當前唯一可用的圖形存儲庫實現。當前支持的Apache HBase版本是1.1.x。有關在Apache HBase上配置Apache Atlas圖持久性的詳細信息，請參閱[配置]（http://atlas.apache.org/1.0.0/Configuration.html）部分中的“圖持久性引擎-HBase”。
可以使用以下配置來設置Apache Atlas使用的Apache HBase表：
atlas.graph.storage.hbase.table=atlas atlas.audit.hbase.tablename=apache_atlas_entity_audit將Apache Solr配置為Graph Repository的索引后端
默認情況下，Apache Atlas使用[JanusGraph]（http://atlas.apache.org/1.0.0/JanusGraph.html）作為圖形存儲庫，并且是當前唯一可用的圖形存儲庫實現。要配置[JanusGraph]（http://atlas.apache.org/1.0.0/JanusGraph.html）以與Apache Solr一起使用，請按照以下說明進行操作
- 如果尚未運行，請安裝Apache Solr。支持的Apache Solr版本是5.5.1。 可以從http://archive.apache.org/dist/lucene/solr/5.5.1/solr-5.5.1.tgz安裝
- 在云模式下啟動Apache Solr。
SolrCloud模式將ZooKeeper服務用作群集管理的高度可用的中央位置。 對于小型集群，可以使用現有的ZooKeeper仲裁運行。 對于較大的群集，您需要運行至少三個服務器的單獨的多個ZooKeeper仲裁。 注意：Apache Atlas當前僅在“云”模式下支持Apache Solr。不支持“ http”模式。 有關更多信息，請參閱Apache Solr文檔-https://cwiki.apache.org/confluence/display/solr/SolrCloud
- 例如，要啟動在機器上端口8983上偵聽的Apache Solr節點，可以使用以下命令：
- 從SOLR_BIN（例如$ SOLR_HOME / bin）目錄運行以下命令，以在Apache Solr中創建與Apache Atlas使用的索引相對應的集合。 如果Apache Atlas和Apache Solr實例位于2個不同的主機上，則首先將所需的配置文件從Apache Atlas實例主機上的ATLAS_HOME / conf / solr復制到Apache Solr實例主機上。 下文提到的命令中的SOLR_CONF指的是Apache Solr主機上已將Apache Solr配置文件復制到的目錄：
注意：如果未指定numShards和ReplicationFactor，則它們的默認值為1，如果您在單個節點實例上嘗試使用ATLAS進行solr，就足夠了。 否則，請根據Solr集群中的主機數量和maxShardsPerNode配置指定numShards。 分片的數量不能超過！SolrCloud群集中Solr節點的總數。
副本數（replicationFactor）可以根據所需的冗余設置。
還要注意，如果設置了SOLR_BIN和SOLR_CONF環境變量并將搜索索引后端設置為'solr5'，則在啟動Apache Atlas服務器時將自動調用Apache Solr創建索引。
- 更改ATLAS配置以指向Apache Solr實例設置。請確保將以下配置設置為
- ATLAS_HOME / conf / atlas-application.properties中的以下值
或有關[JanusGraph]（http://atlas.apache.org/1.0.0/JanusGraph.html）solr配置的更多信息，請參考http://docs.janusgraph.org/0.2.0/solr.html
在云模式下運行Apache Solr的前提條件內存-Apache Solr占用大量內存和CPU。 確保運行Apache Solr的服務器具有足夠的內存，CPU和磁盤。 Apache Solr可以在32GB RAM上很好地工作。 計劃為Apache Solr進程提供盡可能多的內存磁盤-如果需要存儲的實體數量很大，請計劃在Apache Solr用來存儲索引數據的卷中至少有500 GB的可用空間
- SolrCloud支持復制和分片。 強烈建議將SolrCloud與至少兩個在啟用了復制功能的不同服務器上運行的Apache Solr節點一起使用。 如果使用SolrCloud，則還需要安裝ZooKeeper并配置3個或5個ZooKeeper節點
將Elasticsearch配置為圖存儲庫的索引后端（技術預覽）
默認情況下，Apache Atlas使用[JanusGraph]（http://atlas.apache.org/1.0.0/JanusGraph.html）作為圖形存儲庫，并且是當前唯一可用的圖形存儲庫實現。 要配置[JanusGraph]（http://atlas.apache.org/1.0.0/JanusGraph.html）以使用Elasticsearch，請按照以下說明進行操作
- -安裝Elasticsearch集群。 當前支持的版本是5.6.4，可以從以下網站獲取：https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.6.4.tar.gz
- 為了進行簡單測試，可以使用Elasticsearch發行版的bin目錄中的“ elasticsearch”命令啟動單個Elasticsearch節點。
- 更改Apache Atlas配置，以指向Elasticsearch實例設置。 請確保將以下配置設置為ATLAS_HOME / conf / atlas-application.properties中的以下值
有關用于Elasticsearch的[JanusGraph]（http://atlas.apache.org/1.0.0/JanusGraph.html）配置的更多信息，請參閱http://docs.janusgraph.org/0.2.0/elasticsearch.html
配置 Kafka Topics
Apache Atlas使用Apache Kafka在運行時從其他組件獲取元數據。 在[體系結構頁面]（http://atlas.apache.org/1.0.0/Architecture.html）中對此進行了詳細描述。 根據Apache Kafka的配置，有時您可能需要在使用Apache Atlas之前顯式設置主題。 為此，Apache Atlas提供了一個腳本“ bin / atlas_kafka_setup.py”，可以從Apache Atlas服務器運行該腳本。 在某些環境中，在安裝Apache Atlas服務器本身之前，可能首先會開始使用這些掛鉤。 在這種情況下，可以使用類似的腳本“ hook-bin / atlas_kafka_setup_hook.py”在安裝了掛鉤的主機上運行主題。 這兩個都使用atlas-application.properties中的配置來設置主題。 有關這些詳細信息，請參考[配置頁面]（http://atlas.apache.org/1.0.0/Configuration.html）。
Setting up Apache Atlas
有一些步驟可以設置Apache Atlas的依賴性。其中一個示例是在所選的存儲后端中設置[JanusGraph]（http://atlas.apache.org/1.0.0/JanusGraph.html）模式。 在簡單的單服務器設置中，當服務器首次訪問這些依賴項時，將使用默認配置自動設置它們。
但是，在某些情況下，我們可能希望明確地將設置步驟作為一次性操作運行。 例如，在使用[高可用性]（http://atlas.apache.org/1.0.0/HighAvailability.html）的多服務器方案中，最好是第一次從一個服務器實例運行安裝步驟， 然后啟動服務。
要一次運行這些步驟，請從單個Apache Atlas服務器實例執行命令 bin / atlas_start.py -setup
但是，Apache Atlas服務器確實負責設置步驟的并行執行。 同樣，多次運行設置步驟也是冪等的。 因此，如果為了方便起見選擇在服務器啟動過程中運行設置步驟，則他們應通過在配置選項中將其定義為值true來啟用配置選項“ atlas.server.run.setup.on.start”。 atlas-application.properties文件。
示例：調用Apache Atlas REST API
以下是通過curl命令調用Apache Atlas REST API的幾個示例。
- List the types in the repository
- 列出給定類型的實例
- 搜索實體
排除故障
安裝問題
如果Apache Atlas服務的安裝由于任何原因失敗，則進行下一次安裝（通過顯式調用atlas_start.py -setup或啟用配置選項atlas.server.run.setup.on.start ）將失敗，并顯示一條消息，例如“以前的安裝運行可能未完全完成。”。 在這種情況下，您需要手動確保安裝程序可以運行并刪除/ apache_atlas / setup_in_progress`上的Zookeeper節點，然后再嘗試再次運行安裝程序。
如果由于Apache HBase模式設置錯誤而導致安裝失敗，則可能需要修復Apache HBase模式。 如果尚未存儲任何數據，則還可以禁用和刪除Apache Atlas使用的Apache HBase表，然后再次運行安裝程序。
總結
以上是生活随笔為你收集整理的sqoop导出solr数据_Apache Atlas - 强大的元数据管理工具的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： @async 没有异步_扒一扒VueCL
- 下一篇： echarts的tree怎么控制位置_自