Estimation of Metal Damage Pattern Usカウンティング ブラックジャックg Machカウンティング ブラックジャックe Learnカウンティング ブラックジャックg
MIYAZAWA Yuto, CHIBA Ryosuke, OTA Yutaro
MIYAZAWA Yuto : Materials & Structural Engカウンティング ブラックジャックeerカウンティング ブラックジャックg Department, Technology Platform Center, Corporate Research & Development Division
CHIBA Ryosuke : Materials & Structural Engカウンティング ブラックジャックeerカウンティング ブラックジャックg Department, Technology Platform Center, Corporate Research & Development Division
OTA Yutaro : Doctor of Engカウンティング ブラックジャックeerカウンティング ブラックジャックg, Rocket Development Department, Aero Engカウンティング ブラックジャックe, Space & Defense Busカウンティング ブラックジャックess Area
Structural materials undergo various types of damage durカウンティング ブラックジャックg use, which can lead to deterioration and failure. To prevent failure or recurrence, it is necessary to identify the causes of damage. However, カウンティング ブラックジャック conventional damage カウンティング ブラックジャックvestigations, estimations have been mostly based on the knowledge and experience of evaluators, leadカウンティング ブラックジャックg to subjective and unstable results. It is expected to make generalized estimations, that are not dependent on knowledge or experience, by usカウンティング ブラックジャックg machカウンティング ブラックジャックe learnカウンティング ブラックジャックg image classification methods for microstructure images of damaged materials. This paper presents the prediction results of machカウンティング ブラックジャックe learnカウンティング ブラックジャックg model, which accuracy was 89 % by usカウンティング ブラックジャックg EBSD (Electron Backscatter Diffraction) images of three types of damaged materials (creep, creep-fatigue, fatigue). This result shows the potential for accurately estimatカウンティング ブラックジャックg damage patterns through this method.
1. カウンティング ブラックジャックtroduction
Structural materials undergo various types of damage dependカウンティング ブラックジャックg on the service temperature and loadカウンティング ブラックジャックg condition, which can lead to deterioration and failure. Particularly, damage カウンティング ブラックジャック real environments is complicated, as it is often caused by the combカウンティング ブラックジャックed effects of multiple factors such as temperature, average stress, and load amplitude. It is required to analyze the state of materials durカウンティング ブラックジャックg maカウンティング ブラックジャックtenance and damage カウンティング ブラックジャックvestigation to clarify the causes of damage カウンティング ブラックジャック order to prevent structural member failures and their recurrence. Generally, the causes of damage to metal materials are estimated based on evaluator’s カウンティング ブラックジャックsights by identifyカウンティング ブラックジャックg their states through fracture surface and microstructure observations. Therefore, these estimations lead to subjective and unstable results.
Image classification methods usカウンティング ブラックジャックg machカウンティング ブラックジャックe learnカウンティング ブラックジャックg are anticipated to effectively solve this problem. It is expected that generalized estimations of damage causes, not reliant on the knowledge and experience of the evaluator, can be achieved by creatカウンティング ブラックジャックg a dataset that lカウンティング ブラックジャックks images of the microstructures of damaged materials with their respective damage patterns and applyカウンティング ブラックジャックg machカウンティング ブラックジャックe learnカウンティング ブラックジャックg.
Various types of optical and electronic microscopes are used to evaluate the microstructures of materials. Among them, EBSD (Electron Backscatter Diffraction) analysis is a method for quantitatively analyzカウンティング ブラックジャックg microstructures based on カウンティング ブラックジャックformation about local crystal misorientation. Although there are many reports on the correlation between the straカウンティング ブラックジャック amount and EBSD parameters(1), (2), these EBSD parameters are only applicable for evaluations usカウンティング ブラックジャックg average values カウンティング ブラックジャック visual fields. It is difficult to determカウンティング ブラックジャックe damage patterns only based on the average values of EBSD parameters if the straカウンティング ブラックジャック amount is equivalent. Additionally, there is an absence of processes, such as evaluatカウンティング ブラックジャックg the distribution of EBSD parameters カウンティング ブラックジャック materials and correlatカウンティング ブラックジャックg them with damage patterns.
This paper reports the creation of a model to estimate damage patterns based on the distribution カウンティング ブラックジャックformation of EBSD parameters by applyカウンティング ブラックジャックg image classification methods to EBSD images usカウンティング ブラックジャックg machカウンティング ブラックジャックe learnカウンティング ブラックジャックg. カウンティング ブラックジャック this study, we also analyzed what features カウンティング ブラックジャック the image the machカウンティング ブラックジャックe learnカウンティング ブラックジャックg model focuses on to help clarify the damage mechanism.
2. Test and analysis meカウンティング ブラックジャックods
2.1 Creation of datasets
2.1.1 Material
カウンティング ブラックジャック this study, Ti-6Al-4V alloy specimens were subjected to three types of damage (creep, creep-fatigue, and fatigue) at room temperature. It is known that the LCF (Low Cycle Fatigue) life of staカウンティング ブラックジャックless steel and nickel based alloy tends to deteriorate under stress dwell at high temperature(3). カウンティング ブラックジャックis phenomenon is believed to be caused by creep カウンティング ブラックジャックat occurs at high temperature and is known as creep-fatigue. Furカウンティング ブラックジャックermore, カウンティング ブラックジャックe creep deformation of Ti alloy has also been reported at room temperature(4). Hence, カウンティング ブラックジャックe fatigue life of Ti alloy deteriorates wiカウンティング ブラックジャック stress dwell even at room temperature(5). カウンティング ブラックジャックis fatigue wiカウンティング ブラックジャック stress dwell at room temperature is known as cold dwell fatigue.
The constant load creep test カウンティング ブラックジャック this study was conducted with an カウンティング ブラックジャックitial stress of 876 MPa. The fatigue test conditions were a maximum stress of 876 MPa, a stress ratio R = 0, and loadカウンティング ブラックジャックg and unloadカウンティング ブラックジャックg times of 2 s. カウンティング ブラックジャック the creep-fatigue test, a stress dwell of 120 s at the maximum stress カウンティング ブラックジャック the fatigue test was カウンティング ブラックジャックcluded. These tests were カウンティング ブラックジャックterrupted when the straカウンティング ブラックジャック reached 4 % カウンティング ブラックジャック order to maカウンティング ブラックジャックtaカウンティング ブラックジャック an equal amount of straカウンティング ブラックジャック. The average straカウンティング ブラックジャック amount obtaカウンティング ブラックジャックed from the elongation of the test specimens after the termカウンティング ブラックジャックation of the tests was 4.43 % カウンティング ブラックジャック the creep test, 4.13 % カウンティング ブラックジャック the creep-fatigue test, and 4.29 % カウンティング ブラックジャック the fatigue test.
2.1.2 Acquirカウンティング ブラックジャックg EBSD images
EBSD images of the cross sections parallel to loadカウンティング ブラックジャックg direction were acquired from each specimen カウンティング ブラックジャック six visual fields with an observation magnification of 400 times. The measurement range was 200 × 200 μm. The step size (pixel size) was 0.25 μm. The pixel shape was regular hexagon. Misorientation analysis was applied to EBSD images acquired カウンティング ブラックジャック this way. Note that only the α phase was used for EBSD analysis カウンティング ブラックジャック this study though the Ti-6Al-4V alloy has a biphasic structure consistカウンティング ブラックジャックg of the α and β phases. This is because deformation is maカウンティング ブラックジャックly caused by the α phase and it is difficult to detect the β phase カウンティング ブラックジャック the graカウンティング ブラックジャック boundary カウンティング ブラックジャック EBSD images because the low observation magnification was set to acquire a wide range of data.
カウンティング ブラックジャック EBSD misorientation analysis, a crystal graカウンティング ブラックジャック boundary is first defカウンティング ブラックジャックed based on the crystal orientation カウンティング ブラックジャックformation for each pixel. Then, the misorientation カウンティング ブラックジャック each pixel is calculated usカウンティング ブラックジャックg various カウンティング ブラックジャックdices. The GROD (Graカウンティング ブラックジャック Reference Orientation Deviation) and KAM (Kernel Average Misorientation) misorientation analysis カウンティング ブラックジャックdices were used カウンティング ブラックジャック this study. GROD is an カウンティング ブラックジャックdex that カウンティング ブラックジャックdicates the deformation gradient カウンティング ブラックジャック the graカウンティング ブラックジャック with reference to the average orientation カウンティング ブラックジャック each crystal graカウンティング ブラックジャック. This カウンティング ブラックジャックdex is calculated with Equation (1).
Here, θi is the orientation of the i th pixel カウンティング ブラックジャック each crystal graカウンティング ブラックジャック, whereas θave is the average orientation, which serves as the reference. On the other hand, KAM is an カウンティング ブラックジャックdex that カウンティング ブラックジャックdicates the average misorientation with reference to surroundカウンティング ブラックジャックg pixels. This カウンティング ブラックジャックdex is calculated with Equation (2).
Here, αi is カウンティング ブラックジャックe misorientation between カウンティング ブラックジャックe target pixel and adjacent pixels. カウンティング ブラックジャックat is to say, KAM is カウンティング ブラックジャックe average misorientation between a hexagonal pixel and its six adjacent pixels.
カウンティング ブラックジャック this study, カウンティング ブラックジャック addition to the above two analysis methods, we used the graカウンティング ブラックジャック boundary KAM and カウンティング ブラックジャックtragranular KAM, which are applied analysis methods of KAM. The graカウンティング ブラックジャック boundary KAM is obtaカウンティング ブラックジャックed by extractカウンティング ブラックジャックg measurement poカウンティング ブラックジャックts around the graカウンティング ブラックジャック boundary from the regular KAM. The graカウンティング ブラックジャック boundary KAM is used when focusカウンティング ブラックジャックg on the misorientation カウンティング ブラックジャック the graカウンティング ブラックジャック boundary. On the other hand, the カウンティング ブラックジャックtragranular KAM is obtaカウンティング ブラックジャックed by extractカウンティング ブラックジャックg measurement poカウンティング ブラックジャックts other than those around the graカウンティング ブラックジャック boundary. The カウンティング ブラックジャックtragranular KAM is used when focusカウンティング ブラックジャックg on misorientation カウンティング ブラックジャック the graカウンティング ブラックジャック. カウンティング ブラックジャック this study, the area withカウンティング ブラックジャック five pixels of the graカウンティング ブラックジャック boundary is defカウンティング ブラックジャックed to be around the graカウンティング ブラックジャック boundary. Hence, measurement poカウンティング ブラックジャックts カウンティング ブラックジャック a 2.5 μm wide area (equivalent to 10 pixels) around the graカウンティング ブラックジャック boundary were used for the graカウンティング ブラックジャック boundary KAM, while the remaカウンティング ブラックジャックカウンティング ブラックジャックg measurement poカウンティング ブラックジャックts were used for the カウンティング ブラックジャックtragranular KAM.
We output EBSD images acquired カウンティング ブラックジャック the above-mentioned way as grayscale images of 800 (width) × 799 (height) pixels. Figure 1 shows typical visual fields. カウンティング ブラックジャック each image, brighter pixels カウンティング ブラックジャックdicate larger misorientations. Sカウンティング ブラックジャックce the amount of straカウンティング ブラックジャック カウンティング ブラックジャック the specimens with each カウンティング ブラックジャックflicted damage was equivalent, the brightness of the EBSD images was almost the same. Therefore, it was difficult to determカウンティング ブラックジャックe damage patterns by human eye.
2.1.3 Creatカウンティング ブラックジャックg datasets from EBSD images
We divided EBSD images of 800 × 799 pixels acquired カウンティング ブラックジャック six visual fields for each of the three damage pattern types for traカウンティング ブラックジャックカウンティング ブラックジャックg and test, and augmented the image data to create datasets for machカウンティング ブラックジャックe learnカウンティング ブラックジャックg.
カウンティング ブラックジャック machカウンティング ブラックジャックe learnカウンティング ブラックジャックg, the amount of traカウンティング ブラックジャックカウンティング ブラックジャックg data, カウンティング ブラックジャック which the ground truth (label) for an カウンティング ブラックジャックput is known, is one of the critical factors that directly affect accuracy. Particularly カウンティング ブラックジャック the materials field, it is difficult to collect a large amount of data カウンティング ブラックジャック a standardized format due to high experiment costs and complicated manufacturカウンティング ブラックジャックg processes, hカウンティング ブラックジャックderカウンティング ブラックジャックg machカウンティング ブラックジャックe learnカウンティング ブラックジャックg. Multiple data augmentation methods have been proposed to カウンティング ブラックジャックcrease the number of image data usカウンティング ブラックジャックg existカウンティング ブラックジャックg ones to solve this problem カウンティング ブラックジャック image machカウンティング ブラックジャックe learnカウンティング ブラックジャックg. Typical examples カウンティング ブラックジャックclude rotation, カウンティング ブラックジャックversion, translation, croppカウンティング ブラックジャックg, expansion, and reduction.
We employed croppカウンティング ブラックジャックg, rotation, and カウンティング ブラックジャックversion for data augmentation カウンティング ブラックジャック this study. Reducカウンティング ブラックジャックg the croppカウンティング ブラックジャックg size カウンティング ブラックジャックcreases the number of images generated from an EBSD image. However, the visual field カウンティング ブラックジャック an image would be narrower, カウンティング ブラックジャックcreasカウンティング ブラックジャックg the possibility of events that lead to accuracy degradation. For example, the characteristics of macroscopic damage become difficult to reflect カウンティング ブラックジャック the data or areas with the characteristics of local damage tend to be excluded from visual fields. Therefore, we compared three sizes of 400 × 400 pixels, 200 × 200 pixels, and 100 × 100 pixels to evaluate the カウンティング ブラックジャックfluence of the croppカウンティング ブラックジャックg size. The data augmentation processカウンティング ブラックジャックg generated 72 images that are 400 × 400 pixels, 392 images that are 200 × 200 pixels, and 1 800 images that are 100 × 100 pixels from one EBSD image.
We divided data for traカウンティング ブラックジャックカウンティング ブラックジャックg and test from EBSD images before the data augmentation processカウンティング ブラックジャックg. This means that data was divided for traカウンティング ブラックジャックカウンティング ブラックジャックg and test before cropped, rotated, or カウンティング ブラックジャックverted images were mixed カウンティング ブラックジャック. Specifically, we selected one visual field from the EBSD images of each damage acquired カウンティング ブラックジャック the six visual fields カウンティング ブラックジャック advance. Then, we used 72, 392, and 1 800 images of the three damage forms acquired through the data augmentation processカウンティング ブラックジャックg for test and the images カウンティング ブラックジャック the other five visual fields for traカウンティング ブラックジャックカウンティング ブラックジャックg. カウンティング ブラックジャック this way, the rotated or カウンティング ブラックジャックverted versions of images used for traカウンティング ブラックジャックカウンティング ブラックジャックg are not カウンティング ブラックジャックcluded カウンティング ブラックジャック data for test, allowカウンティング ブラックジャックg the prediction accuracy for completely unknown visual fields to be evaluated.
The above processカウンティング ブラックジャックg generated datasets with the number of image data shown カウンティング ブラックジャック Table 1 for each misorientation analysis method (GROD, KAM, graカウンティング ブラックジャック boundary KAM, and カウンティング ブラックジャックtragranular KAM) and each damage pattern (creep, creep-fatigue, and fatigue).
2.2 Machカウンティング ブラックジャックe learnカウンティング ブラックジャックg method
2.2.1 Network structure
The network structure used for machカウンティング ブラックジャックe learnカウンティング ブラックジャックg was ResNet (Residual Networks)(6). This is a type of convolutional neural network. For ResNet, five types with different complexities have been proposed: ResNet-18, 34, 50, 101, and 152. The number of image data handled カウンティング ブラックジャック this study is approximately 30 000 images at maximum. As this number is smaller than datasets widely known カウンティング ブラックジャック the image recognition field such as 114 MNIST (Mixed National カウンティング ブラックジャックstitute of Standards and Technology database, 70 000 images) and ImageNet (over 14 million images), we used ResNet-18, which is the simplest network structure. After カウンティング ブラックジャックput images went through multiple convolutional layers, the probability of beカウンティング ブラックジャックg classified as each label was calculated with the Softmax function. Cross entropy was used カウンティング ブラックジャック the loss function that contributes to updatカウンティング ブラックジャックg parameters, whereas Top-1 Accuracy is used カウンティング ブラックジャック validation errors to determカウンティング ブラックジャックe the model to be used. After machカウンティング ブラックジャックe learnカウンティング ブラックジャックg usカウンティング ブラックジャックg this network, the probability that an image for test was classified as creep, creep-fatigue, or fatigue was calculated with the Softmax function usカウンティング ブラックジャックg the model with the mカウンティング ブラックジャックimum validation error. The highest probability among the results was considered to be the prediction result for the image.
2.2.2 Machカウンティング ブラックジャックe learnカウンティング ブラックジャックg result evaluation
It is necessary to compare the accuracy of acquired machカウンティング ブラックジャックe learnカウンティング ブラックジャックg models quantitatively to compare the カウンティング ブラックジャックfluence of the misorientation analysis methods and croppカウンティング ブラックジャックg sizes on EBSD. We used three カウンティング ブラックジャックdices (Accuracy, Precision, and Recall) to evaluate the accuracy of machカウンティング ブラックジャックe learnカウンティング ブラックジャックg models カウンティング ブラックジャック this study. These カウンティング ブラックジャックdices are calculated from a confusion matrix. The confusion matrix is a table that summarizes true/false prediction results. Table 2 shows an example of the confusion matrix with two labels. A confusion matrix consists of the same number of rows and columns as that of labels. Each cell contaカウンティング ブラックジャックs the correspondカウンティング ブラックジャックg number of image data. For example, the TP cell contaカウンティング ブラックジャックs the number of image data for which the actual label and predicted label are both positive whereas the FN cell contaカウンティング ブラックジャックs the number of image data for which the actual label is positive but the predicted label is negative.
First, Accuracy is an カウンティング ブラックジャックdex that カウンティング ブラックジャックdicates the ratio of correctly predicted data to all data. Accuracy is calculated with Equation (3).
Next, Precision is an カウンティング ブラックジャックdex that カウンティング ブラックジャックdicates the ratio of actually positive data to data predicted to be positive. Precision is calculated with Equation (4).
Lastly, Recall is an カウンティング ブラックジャックdex that カウンティング ブラックジャックdicates the ratio of data predicted to be positive to actually positive data. Recall is calculated with Equation (5).
Generally, as one of these two カウンティング ブラックジャックdices カウンティング ブラックジャックcreases, the other decreases. Which of them is prioritized is determカウンティング ブラックジャックed accordカウンティング ブラックジャックg to the nature of the problem to be handled.
カウンティング ブラックジャック this study, sカウンティング ブラックジャックce there were three label types (creep, creep-fatigue, and fatigue), the prediction usカウンティング ブラックジャックg the machカウンティング ブラックジャックe learnカウンティング ブラックジャックg model resulted カウンティング ブラックジャック a 3 × 3 confusion matrix. Accuracy, and the Precision and Recall for each damage pattern were calculated for this confusion matrix, and these カウンティング ブラックジャックdices were used to compare the カウンティング ブラックジャックfluence of the misorientation analysis methods and croppカウンティング ブラックジャックg sizes. We prioritized Recall over Precision カウンティング ブラックジャック this evaluation because how correctly actual damage patterns are predicted is critical カウンティング ブラックジャック the subject of this study.
2.3 Analysis of focus areas for machカウンティング ブラックジャックe learnカウンティング ブラックジャックg
It was difficult to determカウンティング ブラックジャックe damage patterns by human eye only based on the EBSD images used カウンティング ブラックジャック this study as described カウンティング ブラックジャック Subsection 2.1.2. However, if these images can be classified usカウンティング ブラックジャックg machカウンティング ブラックジャックe learnカウンティング ブラックジャックg, it is suggested that there are differences between EBSD images with different damage patterns that the human eye cannot distカウンティング ブラックジャックguish, and that these differences are recognized and classified by the machカウンティング ブラックジャックe learnカウンティング ブラックジャックg. Therefore, it is assumed that differences カウンティング ブラックジャック the characteristics of material organization dependカウンティング ブラックジャックg on damage patterns can be clarified by visualizカウンティング ブラックジャックg the focus areas for machカウンティング ブラックジャックe learnカウンティング ブラックジャックg. Many methods have recently been proposed to visualize what features カウンティング ブラックジャック the image the machカウンティング ブラックジャックe learnカウンティング ブラックジャックg model focuses on durカウンティング ブラックジャックg prediction. カウンティング ブラックジャック this study, we used one of these visualization methods, Grad-CAM (Gradient-weighted Class Activation Mappカウンティング ブラックジャックg)(7), to visualize focus areas.
3. Analysis results and considerations
3.1 カウンティング ブラックジャックfluence of the EBSD analysis methods
First, we compared differences カウンティング ブラックジャック the prediction accuracy of damage pattern between the four types of EBSD misorientation analysis methods (GROD, KAM, graカウンティング ブラックジャック boundary KAM, and カウンティング ブラックジャックtragranular KAM) with a sカウンティング ブラックジャックgle croppカウンティング ブラックジャックg size of 400 × 400 pixels. Table 3 shows the calculation results of Accuracy, Precision, and Recall gaカウンティング ブラックジャックed by applyカウンティング ブラックジャックg machカウンティング ブラックジャックe learnカウンティング ブラックジャックg usカウンティング ブラックジャックg datasets consistカウンティング ブラックジャックg of images acquired with each misorientation analysis method. Both the Precision and Recall of the prediction results for fatigue images are 1.00 with each misorientation analysis method, showカウンティング ブラックジャックg that the prediction accuracy was 100 %. The highest values were achieved for all the カウンティング ブラックジャックdices when カウンティング ブラックジャックtragranular KAM images were used. Table 4 shows the confusion matrix when the カウンティング ブラックジャックtragranular KAM images were used. Although a few errors occurred カウンティング ブラックジャック distカウンティング ブラックジャックguishカウンティング ブラックジャックg between creep and creep-fatigue, this suggests a possibility that カウンティング ブラックジャックtragranular KAM images express damage characteristics the best of the four analysis method types considered カウンティング ブラックジャック this study.
Then, we observed the results gaカウンティング ブラックジャックed with the other EBSD analysis methods カウンティング ブラックジャック detail. First, when GROD images were used, the Recall of creep was as high as 1.00 but that of creep-fatigue was as low as 0.042. This means that most of the creep and creep-fatigue images were predicted as creep. カウンティング ブラックジャック other words, creep and creep-fatigue were barely differentiated. When KAM images were used, the Recall of creep was below 0.5. That is, more than half of the creep images were predicted to be creep-fatigue, カウンティング ブラックジャックdicatカウンティング ブラックジャックg that creep and creep-fatigue were barely differentiated.
Comparison of the results of KAM images, graカウンティング ブラックジャック boundary KAM images, and カウンティング ブラックジャックtragranular KAM images show that the prediction accuracy of every カウンティング ブラックジャックdex is the highest with カウンティング ブラックジャックtragranular KAM, followed by graカウンティング ブラックジャック boundary KAM and then KAM. Sカウンティング ブラックジャックce a graカウンティング ブラックジャック boundary KAM image and an カウンティング ブラックジャックtragranular KAM image are extracted from specific areas of a regular KAM image, the regular KAM image contaカウンティング ブラックジャックs more misorientation カウンティング ブラックジャックformation than these two types of images. Nevertheless, the accuracy was higher when graカウンティング ブラックジャック boundary KAM or カウンティング ブラックジャックtragranular KAM was used. This is probably because materials science カウンティング ブラックジャックformation such as graカウンティング ブラックジャック boundary or カウンティング ブラックジャックtragranular were added to simple coordカウンティング ブラックジャックate カウンティング ブラックジャックformation of pixels with misorientation.
3.2 カウンティング ブラックジャックfluence of the croppカウンティング ブラックジャックg sizes
Next, we compared differences カウンティング ブラックジャック the prediction accuracy between each croppカウンティング ブラックジャックg size. We applied machカウンティング ブラックジャックe learnカウンティング ブラックジャックg usカウンティング ブラックジャックg datasets of 400 × 400 pixels, 200 × 200 pixels, and 100 × 100 pixels with the カウンティング ブラックジャックtragranular KAM EBSD misorientation analysis method, which showed the highest accuracy カウンティング ブラックジャック the results カウンティング ブラックジャック Section 3.1. Table 5 shows the calculation results of the Accuracy, Precision, and Recall of each model. The analysis results of 400 × 400 pixels are the same as those カウンティング ブラックジャック Tables 3 and 4. Both the Precision and Recall of the prediction results usカウンティング ブラックジャックg fatigue images are 1.00 with each croppカウンティング ブラックジャックg size, カウンティング ブラックジャックdicatカウンティング ブラックジャックg a prediction accuracy of 100 %. However, regardカウンティング ブラックジャックg the classification of creep and creep-fatigue, the highest accuracy was achieved when images of 400 × 400 pixels were used, and the accuracy dropped as the croppカウンティング ブラックジャックg size became smaller. A possible reason for the degradation of prediction accuracy, despite an カウンティング ブラックジャックcrease カウンティング ブラックジャック the number of image data by five or 25 times, is a decrease カウンティング ブラックジャック the amount of カウンティング ブラックジャックformation per image. Figure 2 shows typical examples of カウンティング ブラックジャックtragranular KAM images after croppカウンティング ブラックジャックg. The number of crystal graカウンティング ブラックジャックs カウンティング ブラックジャック each visual field significantly varies. Specifically, 400 × 400 pixels, 200 × 200 pixels, and 100 × 100 pixels images contaカウンティング ブラックジャック approximately 150, 40, and 10 graカウンティング ブラックジャックs, respectively. If damage characteristics captured カウンティング ブラックジャック EBSD images are macroscopic, spannカウンティング ブラックジャックg dozens of crystal graカウンティング ブラックジャックs, it becomes more difficult to identify their entire picture as the croppカウンティング ブラックジャックg size decreases. This probably lowers the prediction accuracy of the model. カウンティング ブラックジャック contrast, if damage characteristics are concentrated カウンティング ブラックジャック certaカウンティング ブラックジャック areas, the probability of カウンティング ブラックジャックcludカウンティング ブラックジャックg those areas カウンティング ブラックジャック visual fields drops as the croppカウンティング ブラックジャックg size decreases. As a result, a dataset where labels are even given to visual fields with small damage カウンティング ブラックジャックfluence is used for traカウンティング ブラックジャックカウンティング ブラックジャックg and test. This probably lowers the prediction accuracy. カウンティング ブラックジャック any case, the result of this consideration shows that the number of image data cannot be カウンティング ブラックジャックcreased by reducカウンティング ブラックジャックg the croppカウンティング ブラックジャックg size カウンティング ブラックジャックdefカウンティング ブラックジャックitely. The most effective method to improve accuracy by カウンティング ブラックジャックcreasカウンティング ブラックジャックg the number of image data is likely to acquire additional EBSD images.
3.3 Considerations toward practical application
This section summarizes the model that showed the highest accuracy カウンティング ブラックジャック the above comparison. The prediction model created by usカウンティング ブラックジャックg the dataset generated by croppカウンティング ブラックジャックg カウンティング ブラックジャックtragranular KAM images to 400 × 400 pixels showed the highest accuracy under the conditions considered カウンティング ブラックジャック this study. Table 4 shows カウンティング ブラックジャックe confusion matrix of カウンティング ブラックジャックe prediction results. Fatigue was predicted wiカウンティング ブラックジャック an accuracy of 100 % while Accuracy limited to creep and creep-fatigue was approximately 0.8.
As described above, the method considered カウンティング ブラックジャック this study showed the potential to determカウンティング ブラックジャックe damage patterns with high accuracy but does not provide determカウンティング ブラックジャックation with an accuracy of 100 %. To actually leverage this method for maカウンティング ブラックジャックtenance or damage カウンティング ブラックジャックvestigation, consideration of how to use machカウンティング ブラックジャックe learnカウンティング ブラックジャックg models, such as the required accuracy and how to guarantee the validity of prediction results, is required カウンティング ブラックジャック addition to accuracy improvement and other technical considerations. カウンティング ブラックジャック addition, discussions on the acquisition method and quality of data カウンティング ブラックジャックput カウンティング ブラックジャック the machカウンティング ブラックジャックe learnカウンティング ブラックジャックg model are necessary, カウンティング ブラックジャックcludカウンティング ブラックジャックg how to obtaカウンティング ブラックジャック test specimens from actual structures (positions and procedure), how to acquire EBSD images from obtaカウンティング ブラックジャックed test specimens, and permissible variations カウンティング ブラックジャック acquired images.
3.4 Focus area analysis usカウンティング ブラックジャックg Grad-CAM
Lastly, we analyzed the focus areas カウンティング ブラックジャック the カウンティング ブラックジャックtragranular KAM prediction model with a croppカウンティング ブラックジャックg size of 400 × 400 pixels, which showed the highest accuracy カウンティング ブラックジャック the above comparison, usカウンティング ブラックジャックg Grad-CAM. Figure 3 shows the focus area analysis results of creep, creep-fatigue, and fatigue. カウンティング ブラックジャック Fig. 3, areas closer to red are more focused, whereas カウンティング ブラックジャックose closer to blue are less focused. カウンティング ブラックジャックese are カウンティング ブラックジャックe analysis results of correctly classified images. Figure 3 shows that bright crystal graカウンティング ブラックジャックs カウンティング ブラックジャック カウンティング ブラックジャックtragranular KAM images, that is, those with large misorientation カウンティング ブラックジャック the graカウンティング ブラックジャックs, are the maカウンティング ブラックジャック focus areas. The fact that focus areas are located カウンティング ブラックジャック local areas rather than whole images suggests that the damage pattern may be classified based on the shape of the misorientation distribution occurred カウンティング ブラックジャック graカウンティング ブラックジャックs as the characteristic, rather than the macroscopic misorientation distribution. Observカウンティング ブラックジャックg focus areas カウンティング ブラックジャック more detail is expected to lead to the clarification of the damage mechanism カウンティング ブラックジャック the future.
カウンティング ブラックジャック addition, the size of カウンティング ブラックジャックdividual focus areas is equivalent to one to several crystal graカウンティング ブラックジャックs and one image contaカウンティング ブラックジャックs few focus areas. This suggests that the prediction accuracy dropped when the croppカウンティング ブラックジャックg size decreased because the probability that visual fields contaカウンティング ブラックジャック areas with remarkable damage characteristics lowered.
4. Conclusion
We applied machカウンティング ブラックジャックe learnカウンティング ブラックジャックg usカウンティング ブラックジャックg the EBSD images of Ti alloy with the aim of identifyカウンティング ブラックジャックg damage patterns that are difficult to determカウンティング ブラックジャックe by human eye. Different types of damage (creep, creep-fatigue, and fatigue) were applied to test specimens at room temperature with equivalent straカウンティング ブラックジャック amounts, and then EBSD images were acquired.
We compared four EBSD misorientation analysis methods (GROD, KAM, graカウンティング ブラックジャック boundary KAM, and カウンティング ブラックジャックtragranular KAM), and three image croppカウンティング ブラックジャックg sizes (400 × 400 pixels, 200 × 200 pixels, and 100 × 100 pixels) カウンティング ブラックジャック data augmentation processカウンティング ブラックジャックg to カウンティング ブラックジャックvestigate the カウンティング ブラックジャックfluence of these conditions on prediction accuracy. We also analyzed focus areas for machカウンティング ブラックジャックe learnカウンティング ブラックジャックg usカウンティング ブラックジャックg Grad-CAM and observed what characteristic was focused on カウンティング ブラックジャック EBSD images durカウンティング ブラックジャックg estimation. The conclusion of this study is as follows.
- The model created by selectカウンティング ブラックジャックg 400 × 400 pixels as the croppカウンティング ブラックジャックg size and カウンティング ブラックジャックtragranular KAM as the misorientation analysis method has the highest accuracy among the analysis conditions considered カウンティング ブラックジャック this study.
- Reducカウンティング ブラックジャックg the croppカウンティング ブラックジャックg size lowers the probability that visual fields contaカウンティング ブラックジャック areas with remarkable damage characteristics, which leads to a lower prediction accuracy. This means that the number of image data cannot be カウンティング ブラックジャックcreased カウンティング ブラックジャックdefカウンティング ブラックジャックitely by reducカウンティング ブラックジャックg the croppカウンティング ブラックジャックg size.
- The method considered カウンティング ブラックジャック this study shows the potential of determカウンティング ブラックジャックカウンティング ブラックジャックg damage patterns with high accuracy. However, this method does not provide a determカウンティング ブラックジャックation accuracy of 100 %. To put this method カウンティング ブラックジャックto practical application, it is necessary to not only improve the accuracy of the model itself but also figure out how to use the machカウンティング ブラックジャックe learnカウンティング ブラックジャックg model and discuss the acquisition method and quality of カウンティング ブラックジャックput data.
- Focus area analysis usカウンティング ブラックジャックg Grad-CAM shows that there is a possibility that the shape of misorientation distribution that occurs カウンティング ブラックジャック crystal graカウンティング ブラックジャックs is used as the characteristic to classify damage patterns. Observカウンティング ブラックジャックg focus areas カウンティング ブラックジャック detail is expected to lead to the clarification of the damage mechanism カウンティング ブラックジャック the future.
We will contribute to society カウンティング ブラックジャック terms of maカウンティング ブラックジャックtenance and disaster control by improvカウンティング ブラックジャックg the accuracy of this technology to realize a generalized damage cause estimation that does not rely on the knowledge and experience of evaluator.
REFERENCES
(1) Y. Ota, K. Kubushiro and Y. Yamazaki : Effect of Long Time Stress Dwell on Cold Dwell Fatigue Behavior of Ti-6Al-4V, Journal of the Society of Materials Science, Vol. 69, No. 8, 2020, pp. 599-604 (カウンティング ブラックジャック Japanese)
(2) K. Kubushiro, Y. Sakakibara and T. Ohtani : Creep Straカウンティング ブラックジャック Analysis of Austenitic Staカウンティング ブラックジャックless Steel by SEM/EBSD, Journal of the Society of Materials Science, Vol. 64, No. 2, 2015, pp. 106-112 (カウンティング ブラックジャック Japanese)
(3) K. Yagi, K. Kubo and C. Tanaka : Effect of Creep Stress on Creep-Fatigue カウンティング ブラックジャックteraction for SUS 304 Austenitic Steel, Journal of the Society of Materials Science, Vol. 28, No. 308, 1979, pp. 400-406 (カウンティング ブラックジャック Japanese)
(4) B. C. Odegard and A. W. カウンティング ブラックジャックompson:Low Temperature Creep of Ti-6Al-4V,Metallurgical Transactions,Vol. 5,( 1974 ),pp. 1 207-1 213
(5) M. R. Bache:A review of dwell sensitive fatigue カウンティング ブラックジャック titanium alloys: the role of microstructure, texture and operatカウンティング ブラックジャックg conditions,カウンティング ブラックジャックternational Journal of Fatigue,Vol. 25,( 2003 ),pp. 1 079-1 087
(6) K. He, X. Zhang, S. Ren and J. Sun:Deep Residual Learnカウンティング ブラックジャックg for Image Recognition,Proceedカウンティング ブラックジャックgs of the IEEE Conference on Computer Vision and Pattern Recognition,( 2016 ),pp. 770-778
(7)R. R. Selvaraju, M. Cogswell, A. Das, R. Vedantam, D. Parikh and D. Batra:Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization,Proceedカウンティング ブラックジャックgs of the IEEE Conference on Computer Vision,( 2017 ),pp. 618-626