java agent使用全解析
今天打算寫一下 Java agent，一開始我對它的概念也比較陌生，后來在別人口中聽到 字節碼插樁，bTrace，Arthas后面才逐漸了解到Java還提供了這么個工具。
JVM啟動前靜態Instrument
Java agent 是什么？
Java agent是java命令的一個參數。參數 javaagent 可以用于指定一個 jar 包，并且對該 java 包有2個要求：
這個 jar 包的 MANIFEST.MF 文件必須指定 Premain-Class 項。 Premain-Class 指定的那個類必須實現 premain() 方法。premain 方法，從字面上理解，就是運行在 main 函數之前的的類。當Java 虛擬機啟動時，在執行 main 函數之前，JVM 會先運行-javaagent所指定 jar 包內 Premain-Class 這個類的 premain 方法 。
在命令行輸入 java可以看到相應的參數，其中有 和 java agent相關的：
-agentlib:<libname>[=<選項>] 加載本機代理庫 <libname>, 例如 -agentlib:hprof 另請參閱 -agentlib:jdwp=help 和 -agentlib:hprof=help-agentpath:<pathname>[=<選項>] 按完整路徑名加載本機代理庫-javaagent:<jarpath>[=<選項>] 加載 Java 編程語言代理, 請參閱 java.lang.instrument
在上面-javaagent參數中提到了參閱java.lang.instrument，這是在rt.jar 中定義的一個包，該路徑下有兩個重要的類：
該包提供了一些工具幫助開發人員在 Java 程序運行時，動態修改系統中的 Class 類型。其中，使用該軟件包的一個關鍵組件就是 Javaagent。從名字上看，似乎是個 Java 代理之類的，而實際上，他的功能更像是一個Class 類型的轉換器，他可以在運行時接受重新外部請求，對Class類型進行修改。
從本質上講，Java Agent 是一個遵循一組嚴格約定的常規 Java 類。 上面說到 javaagent命令要求指定的類中必須要有premain()方法，并且對premain方法的簽名也有要求，簽名必須滿足以下兩種格式：
public static void premain(String agentArgs, Instrumentation inst) public static void premain(String agentArgs)
JVM 會優先加載 帶 Instrumentation 簽名的方法，加載成功忽略第二種，如果第一種沒有，則加載第二種方法。這個邏輯在sun.instrument.InstrumentationImpl 類中：
Instrumentation 類 定義如下：
public interface Instrumentation { //增加一個Class 文件的轉換器，轉換器用于改變 Class 二進制流的數據，參數 canRetransform 設置是否允許重新轉換。 void addTransformer(ClassFileTransformer transformer, boolean canRetransform); //在類加載之前，重新定義 Class 文件，ClassDefinition 表示對一個類新的定義，如果在類加載之后，需要使用 retransformClasses 方法重新定義。addTransformer方法配置之后，后續的類加載都會被Transformer攔截。對于已經加載過的類，可以執行retransformClasses來重新觸發這個Transformer的攔截。類加載的字節碼被修改后，除非再次被retransform，否則不會恢復。 void addTransformer(ClassFileTransformer transformer); //刪除一個類轉換器 boolean removeTransformer(ClassFileTransformer transformer); boolean isRetransformClassesSupported(); //在類加載之后，重新定義 Class。這個很重要，該方法是1.6 之后加入的，事實上，該方法是 update 了一個類。 void retransformClasses(Class<?>... classes) throws UnmodifiableClassException; boolean isRedefineClassesSupported(); void redefineClasses(ClassDefinition... definitions) throws ClassNotFoundException, UnmodifiableClassException; boolean isModifiableClass(Class<?> theClass); @SuppressWarnings('rawtypes') Class[] getAllLoadedClasses(); @SuppressWarnings('rawtypes') Class[] getInitiatedClasses(ClassLoader loader); //獲取一個對象的大小 long getObjectSize(Object objectToSize); void appendToBootstrapClassLoaderSearch(JarFile jarfile); void appendToSystemClassLoaderSearch(JarFile jarfile); boolean isNativeMethodPrefixSupported(); void setNativeMethodPrefix(ClassFileTransformer transformer, String prefix);}
最為重要的是上面注釋的幾個方法，下面我們會用到。
如何使用javaagent？
使用 javaagent 需要幾個步驟：
定義一個 MANIFEST.MF 文件，必須包含 Premain-Class 選項，通常也會加入Can-Redefine-Classes 和 Can-Retransform-Classes 選項。 創建一個Premain-Class 指定的類，類中包含 premain 方法，方法邏輯由用戶自己確定。 將 premain 的類和 MANIFEST.MF 文件打成 jar 包。 使用參數 -javaagent: jar包路徑 啟動要代理的方法。在執行以上步驟后，JVM 會先執行 premain 方法，大部分類加載都會通過該方法，注意：是大部分，不是所有。當然，遺漏的主要是系統類，因為很多系統類先于 agent 執行，而用戶類的加載肯定是會被攔截的。也就是說，這個方法是在 main 方法啟動前攔截大部分類的加載活動，既然可以攔截類的加載，那么就可以去做重寫類這樣的操作，結合第三方的字節碼編譯工具，比如ASM，javassist，cglib等等來改寫實現類。
通過上面的步驟我們用代碼實現來實現。實現 javaagent 你需要搭建兩個工程，一個工程是用來承載 javaagent類，單獨的打成jar包；一個工程是javaagent需要去代理的類。即javaagent會在這個工程中的main方法啟動之前去做一些事情。
1.首先來實現javaagent工程。
工程目錄結構如下：
-java-agent----src--------main--------|------java--------|----------com.rickiyang.learn--------|------------PreMainTraceAgent--------|resources-----------META-INF--------------MANIFEST.MF
第一步是需要創建一個類，包含premain 方法：
import java.lang.instrument.ClassFileTransformer;import java.lang.instrument.IllegalClassFormatException;import java.lang.instrument.Instrumentation;import java.security.ProtectionDomain;/** * @author: rickiyang * @date: 2019/8/12 * @description: */public class PreMainTraceAgent { public static void premain(String agentArgs, Instrumentation inst) { System.out.println('agentArgs : ' + agentArgs); inst.addTransformer(new DefineTransformer(), true); } static class DefineTransformer implements ClassFileTransformer{ @Override public byte[] transform(ClassLoader loader, String className, Class<?> classBeingRedefined, ProtectionDomain protectionDomain, byte[] classfileBuffer) throws IllegalClassFormatException { System.out.println('premain load Class:' + className); return classfileBuffer; } }}
上面就是我實現的一個類，實現了帶Instrumentation參數的premain()方法。調用addTransformer()方法對啟動時所有的類進行攔截。
然后在 resources 目錄下新建目錄：META-INF，在該目錄下新建文件：MANIFREST.MF：
Manifest-Version: 1.0Can-Redefine-Classes: trueCan-Retransform-Classes: truePremain-Class: PreMainTraceAgent
注意到第5行有空行。
說一下MANIFREST.MF文件的作用，這里如果你不去手動指定的話，直接 打包，默認會在打包的文件中生成一個MANIFREST.MF文件：
Manifest-Version: 1.0Implementation-Title: test-agentImplementation-Version: 0.0.1-SNAPSHOTBuilt-By: yangyueImplementation-Vendor-Id: com.rickiyang.learnSpring-Boot-Version: 2.0.9.RELEASEMain-Class: org.springframework.boot.loader.JarLauncherStart-Class: com.rickiyang.learn.LearnApplicationSpring-Boot-Classes: BOOT-INF/classes/Spring-Boot-Lib: BOOT-INF/lib/Created-By: Apache Maven 3.5.2Build-Jdk: 1.8.0_151Implementation-URL: https://projects.spring.io/spring-boot/#/spring-bo ot-starter-parent/test-agent
這是默認的文件，包含當前的一些版本信息，當前工程的啟動類，它還有別的參數允許你做更多的事情，可以用上的有：
Premain-Class ：包含 premain 方法的類（類的全路徑名） Agent-Class ：包含 agentmain 方法的類（類的全路徑名） Boot-Class-Path ：設置引導類加載器搜索的路徑列表。查找類的特定于平臺的機制失敗后，引導類加載器會搜索這些路徑。按列出的順序搜索路徑。列表中的路徑由一個或多個空格分開。路徑使用分層 URI 的路徑組件語法。如果該路徑以斜杠字符（“/”）開頭，則為絕對路徑，否則為相對路徑。相對路徑根據代理 JAR 文件的絕對路徑解析。忽略格式不正確的路徑和不存在的路徑。如果代理是在 VM 啟動之后某一時刻啟動的，則忽略不表示 JAR 文件的路徑。（可選） Can-Redefine-Classes ：true表示能重定義此代理所需的類，默認值為 false（可選） Can-Retransform-Classes ：true 表示能重轉換此代理所需的類，默認值為 false （可選） Can-Set-Native-Method-Prefix： true表示能設置此代理所需的本機方法前綴，默認值為 false（可選）即在該文件中主要定義了程序運行相關的配置信息，程序運行前會先檢測該文件中的配置項。
一個java程序中-javaagent參數的個數是沒有限制的，所以可以添加任意多個javaagent。所有的java agent會按照你定義的順序執行，例如：
java -javaagent:agent1.jar -javaagent:agent2.jar -jar MyProgram.jar
程序執行的順序將會是：
MyAgent1.premain -> MyAgent2.premain -> MyProgram.main
說回上面的 javaagent工程，接下來將該工程打成jar包，我在打包的時候發現打完包之后的 MANIFREST.MF文件被默認配置替換掉了。所以我是手動將上面我的配置文件替換到jar包中的文件，這里你需要注意。
另外的再說一種不去手動寫MANIFREST.MF文件的方式，使用maven插件：
<plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-jar-plugin</artifactId> <version>3.1.0</version> <configuration> <archive> <!--自動添加META-INF/MANIFEST.MF --> <manifest><addClasspath>true</addClasspath> </manifest> <manifestEntries><Premain-Class>com.rickiyang.learn.PreMainTraceAgent</Premain-Class><Agent-Class>com.rickiyang.learn.PreMainTraceAgent</Agent-Class><Can-Redefine-Classes>true</Can-Redefine-Classes><Can-Retransform-Classes>true</Can-Retransform-Classes> </manifestEntries> </archive> </configuration></plugin>
用這種插件的方式也可以自動生成該文件。
agent代碼就寫完了，下面再重新開一個工程，你只需要寫一個帶 main 方法的類即可：
public class TestMain { public static void main(String[] args) { System.out.println('main start'); try { Thread.sleep(3000); } catch (InterruptedException e) { e.printStackTrace(); } System.out.println('main end'); }}
很簡單，然后需要做的就是將上面的 代理類 和 這個測試類關聯起來。有兩種方式：
如果你用的是idea，那么你可以點擊菜單： run-debug configuration，然后將你的代理類包 指定在 啟動參數中即可：
另一種方式是不用 編譯器，采用命令行的方法。與上面大致相同，將 上面的測試類編譯成 class文件，然后 運行該類即可：
#將該類編譯成class文件 > javac TestMain.java #指定agent程序并運行該類 > java -javaagent:c:/alg.jar TestMain
使用上面兩種方式都可以運行,輸出結果如下：
D:softjdk1.8binjava.exe -javaagent:c:/alg.jar '-javaagent:D:softIntelliJ IDEA 2019.1.1libidea_rt.jar=54274:D:softIntelliJ IDEA 2019.1.1bin' -Dfile.encoding=UTF-8 -classpath D:softjdk1.8jrelibcharsets.jar;D:softjdk1.8jrelibdeploy.jar;D:softjdk1.8jrelibextaccess-bridge-64.jar;D:softjdk1.8jrelibextcldrdata.jar;D:softjdk1.8jrelibextdnsns.jar;D:softjdk1.8jrelibextjaccess.jar;D:softjdk1.8jrelibextjfxrt.jar;D:softjdk1.8jrelibextlocaledata.jar;D:softjdk1.8jrelibextnashorn.jar;D:softjdk1.8jrelibextsunec.jar;D:softjdk1.8jrelibextsunjce_provider.jar;D:softjdk1.8jrelibextsunmscapi.jar;D:softjdk1.8jrelibextsunpkcs11.jar;D:softjdk1.8jrelibextzipfs.jar;D:softjdk1.8jrelibjavaws.jar;D:softjdk1.8jrelibjce.jar;D:softjdk1.8jrelibjfr.jar;D:softjdk1.8jrelibjfxswt.jar;D:softjdk1.8jrelibjsse.jar;D:softjdk1.8jrelibmanagement-agent.jar;D:softjdk1.8jrelibplugin.jar;D:softjdk1.8jrelibresources.jar;D:softjdk1.8jrelibrt.jar;D:workspacedemo1targetclasses;E:.m2repositoryorgspringframeworkbootspring-boot-starter-aop2.1.1.RELEASEspring-.........1.8.11.jar;E:.m2repositorycomgoogleguavaguava20.0guava-20.0.jar;E:.m2repositoryorgapachecommonscommons-lang33.7commons-lang3-3.7.jar;E:.m2repositorycomalibabafastjson1.2.54fastjson-1.2.54.jar;E:.m2repositoryorgspringframeworkbootspring-boot2.1.0.RELEASEspring-boot-2.1.0.RELEASE.jar;E:.m2repositoryorgspringframeworkspring-context5.1.3.RELEASEspring-context-5.1.3.RELEASE.jar com.springboot.example.demo.service.TestMainagentArgs : nullpremain load Class :java/util/concurrent/ConcurrentHashMap$ForwardingNodepremain load Class :sun/nio/cs/ThreadLocalCoderspremain load Class :sun/nio/cs/ThreadLocalCoders$1premain load Class :sun/nio/cs/ThreadLocalCoders$Cachepremain load Class :sun/nio/cs/ThreadLocalCoders$2premain load Class :java/util/jar/Attributespremain load Class :java/util/jar/Manifest$FastInputStream.........premain load Class :java/lang/Class$MethodArraypremain load Class :java/lang/Voidmain startpremain load Class :sun/misc/VMSupportpremain load Class :java/util/Hashtable$KeySetpremain load Class :sun/nio/cs/ISO_8859_1$Encoderpremain load Class :sun/nio/cs/Surrogate$Parserpremain load Class :sun/nio/cs/Surrogate.........premain load Class :sun/util/locale/provider/LocaleResources$ResourceReferencemain endpremain load Class :java/lang/Shutdownpremain load Class :java/lang/Shutdown$Lock
Process finished with exit code 0
上面的輸出結果我們能夠發現：
執行main方法之前會加載所有的類，包括系統類和自定義類； 在ClassFileTransformer中會去攔截系統類和自己實現的類對象； 如果你有對某些類對象進行改寫，那么在攔截的時候抓住該類使用字節碼編譯工具即可實現。下面是使用javassist來動態將某個方法替換掉：
package com.rickiyang.learn;import javassist.*;import java.io.IOException;import java.lang.instrument.ClassFileTransformer;import java.security.ProtectionDomain;/** * @author rickiyang * @date 2019-08-06 * @Desc */public class MyClassTransformer implements ClassFileTransformer { @Override public byte[] transform(final ClassLoader loader, final String className, final Class<?> classBeingRedefined,final ProtectionDomain protectionDomain, final byte[] classfileBuffer) { // 操作Date類 if ('java/util/Date'.equals(className)) { try {// 從ClassPool獲得CtClass對象final ClassPool classPool = ClassPool.getDefault();final CtClass clazz = classPool.get('java.util.Date');CtMethod convertToAbbr = clazz.getDeclaredMethod('convertToAbbr');//這里對 java.util.Date.convertToAbbr() 方法進行了改寫，在 return之前增加了一個 打印操作String methodBody = '{sb.append(Character.toUpperCase(name.charAt(0)));' + 'sb.append(name.charAt(1)).append(name.charAt(2));' + 'System.out.println('sb.toString()');' + 'return sb;}';convertToAbbr.setBody(methodBody);// 返回字節碼，并且detachCtClass對象byte[] byteCode = clazz.toBytecode();//detach的意思是將內存中曾經被javassist加載過的Date對象移除，如果下次有需要在內存中找不到會重新走javassist加載clazz.detach();return byteCode; } catch (Exception ex) {ex.printStackTrace(); } } // 如果返回null則字節碼不會被修改 return null; }}
JVM啟動后動態Instrument
上面介紹的Instrumentation是在 JDK 1.5中提供的，開發者只能在main加載之前添加手腳，在 Java SE 6 的 Instrumentation 當中，提供了一個新的代理操作方法：agentmain，可以在 main 函數開始運行之后再運行。
跟premain函數一樣， 開發者可以編寫一個含有agentmain函數的 Java 類：
//采用attach機制，被代理的目標程序VM有可能很早之前已經啟動，當然其所有類已經被加載完成，這個時候需要借助Instrumentation#retransformClasses(Class<?>... classes)讓對應的類可以重新轉換，從而激活重新轉換的類執行ClassFileTransformer列表中的回調public static void agentmain (String agentArgs, Instrumentation inst)public static void agentmain (String agentArgs)
同樣，agentmain 方法中帶Instrumentation參數的方法也比不帶優先級更高。開發者必須在 manifest 文件里面設置“Agent-Class”來指定包含 agentmain 函數的類。
在Java6 以后實現啟動后加載的新實現是Attach api。Attach API 很簡單，只有 2 個主要的類，都在 com.sun.tools.attach 包里面：
attach實現動態注入的原理如下：
通過VirtualMachine類的attach(pid)方法，便可以attach到一個運行中的java進程上，之后便可以通過loadAgent(agentJarPath)來將agent的jar包注入到對應的進程，然后對應的進程會調用agentmain方法。
既然是兩個進程之間通信那肯定的建立起連接，VirtualMachine.attach動作類似TCP創建連接的三次握手，目的就是搭建attach通信的連接。而后面執行的操作，例如vm.loadAgent，其實就是向這個socket寫入數據流，接收方target VM會針對不同的傳入數據來做不同的處理。
我們來測試一下agentmain的使用：
工程結構和 上面premain的測試一樣，編寫AgentMainTest，然后使用maven插件打包 生成MANIFEST.MF。
package com.rickiyang.learn;import java.lang.instrument.ClassFileTransformer;import java.lang.instrument.IllegalClassFormatException;import java.lang.instrument.Instrumentation;import java.security.ProtectionDomain;/** * @author rickiyang * @date 2019-08-16 * @Desc */public class AgentMainTest { public static void agentmain(String agentArgs, Instrumentation instrumentation) { instrumentation.addTransformer(new DefineTransformer(), true); } static class DefineTransformer implements ClassFileTransformer { @Override public byte[] transform(ClassLoader loader, String className, Class<?> classBeingRedefined, ProtectionDomain protectionDomain, byte[] classfileBuffer) throws IllegalClassFormatException { System.out.println('premain load Class:' + className); return classfileBuffer; } }}
<plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-jar-plugin</artifactId> <version>3.1.0</version> <configuration> <archive> <!--自動添加META-INF/MANIFEST.MF --> <manifest> <addClasspath>true</addClasspath> </manifest> <manifestEntries> <Agent-Class>com.rickiyang.learn.AgentMainTest</Agent-Class> <Can-Redefine-Classes>true</Can-Redefine-Classes> <Can-Retransform-Classes>true</Can-Retransform-Classes> </manifestEntries> </archive> </configuration></plugin>
將agent打包之后，就是編寫測試main方法。上面我們畫的圖中的步驟是：從一個attach JVM去探測目標JVM，如果目標JVM存在則向它發送agent.jar。我測試寫的簡單了些，找到當前JVM并加載agent.jar。
package com.rickiyang.learn.job;import com.sun.tools.attach.*;import java.io.IOException;import java.util.List;/** * @author rickiyang * @date 2019-08-16 * @Desc */public class TestAgentMain { public static void main(String[] args) throws IOException, AttachNotSupportedException, AgentLoadException, AgentInitializationException { //獲取當前系統中所有 運行中的 虛擬機 System.out.println('running JVM start '); List<VirtualMachineDescriptor> list = VirtualMachine.list(); for (VirtualMachineDescriptor vmd : list) { //如果虛擬機的名稱為 xxx 則 該虛擬機為目標虛擬機，獲取該虛擬機的 pid //然后加載 agent.jar 發送給該虛擬機 System.out.println(vmd.displayName()); if (vmd.displayName().endsWith('com.rickiyang.learn.job.TestAgentMain')) {VirtualMachine virtualMachine = VirtualMachine.attach(vmd.id());virtualMachine.loadAgent('/Users/yangyue/Documents/java-agent.jar');virtualMachine.detach(); } } }}
list()方法會去尋找當前系統中所有運行著的JVM進程，你可以打印vmd.displayName()看到當前系統都有哪些JVM進程在運行。因為main函數執行起來的時候進程名為當前類名，所以通過這種方式可以去找到當前的進程id。
注意：在mac上安裝了的jdk是能直接找到 VirtualMachine 類的，但是在windows中安裝的jdk無法找到，如果你遇到這種情況，請手動將你jdk安裝目錄下：lib目錄中的tools.jar添加進當前工程的Libraries中。
運行main方法的輸出為：
可以看到實際上是啟動了一個socket進程去傳輸agent.jar。先打印了“running JVM start”表名main方法是先啟動了，然后才進入代理類的transform方法。
instrument原理
instrument的底層實現依賴于JVMTI(JVM Tool Interface)，它是JVM暴露出來的一些供用戶擴展的接口集合，JVMTI是基于事件驅動的，JVM每執行到一定的邏輯就會調用一些事件的回調接口（如果有的話），這些接口可以供開發者去擴展自己的邏輯。JVMTIAgent是一個利用JVMTI暴露出來的接口提供了代理啟動時加載(agent on load)、代理通過attach形式加載(agent on attach)和代理卸載(agent on unload)功能的動態庫。而instrument agent可以理解為一類JVMTIAgent動態庫，別名是JPLISAgent(Java Programming Language Instrumentation Services Agent)，也就是專門為java語言編寫的插樁服務提供支持的代理。
啟動時加載instrument agent過程：
1.創建并初始化 JPLISAgent；
2.監聽 VMInit 事件，在 JVM 初始化完成之后做下面的事情：
創建 InstrumentationImpl 對象 ； 監聽 ClassFileLoadHook 事件 ； 調用 InstrumentationImpl 的loadClassAndCallPremain方法，在這個方法里會去調用 javaagent 中 MANIFEST.MF 里指定的Premain-Class 類的 premain 方法 ；3.解析 javaagent 中 MANIFEST.MF 文件的參數，并根據這些參數來設置 JPLISAgent 里的一些內容。
運行時加載instrument agent過程：
通過 JVM 的attach機制來請求目標 JVM 加載對應的agent，過程大致如下：
1.創建并初始化JPLISAgent；
2.解析 javaagent 里 MANIFEST.MF 里的參數；
3.創建 InstrumentationImpl 對象；
4.監聽 ClassFileLoadHook 事件；
5.調用 InstrumentationImpl 的loadClassAndCallAgentmain方法，在這個方法里會去調用javaagent里 MANIFEST.MF 里指定的Agent-Class類的agentmain方法。
Instrumentation的局限性
大多數情況下，我們使用Instrumentation都是使用其字節碼插樁的功能，或者籠統說就是類重定義(Class Redefine)的功能，但是有以下的局限性：
1.premain和agentmain兩種方式修改字節碼的時機都是類文件加載之后，也就是說必須要帶有Class類型的參數，不能通過字節碼文件和自定義的類名重新定義一個本來不存在的類。
2.類的字節碼修改稱為類轉換(Class Transform)，類轉換其實最終都回歸到類重定義Instrumentation#redefineClasses()方法，此方法有以下限制：
新類和老類的父類必須相同； 新類和老類實現的接口數也要相同，并且是相同的接口； 新類和老類訪問符必須一致。 新類和老類字段數和字段名要一致； 新類和老類新增或刪除的方法必須是private static/final修飾的； 可以修改方法體。除了上面的方式，如果想要重新定義一個類，可以考慮基于類加載器隔離的方式：創建一個新的自定義類加載器去通過新的字節碼去定義一個全新的類，不過也存在只能通過反射調用該全新類的局限性。
以上就是javaagent使用全解析的詳細內容，更多關于javaagent 使用的資料請關注好吧啦網其它相關文章！
相關文章：
網公網安備