source: raptor-mua/trunk/src/main/conf-default/batch-event-parse-formats-system.xml @ 1530

Revision 1530, 23.1 KB checked in by philsmart, 6 years ago (diff)

open athens update, oracle backend tests and added.

  • Property svn:mime-type set to text/plain
Line 
1<?xml version="1.0" encoding="UTF-8"?>
2<!-- Copyright (C) 2010 Cardiff University, Wales <smartp@cf.ac.uk> Licensed under the Apache License, Version 2.0 (the "License");
3    you may not use this file except in compliance with the License. You may obtain a copy of the License at http://www.apache.org/licenses/LICENSE-2.0
4    Unless required by applicable law or agreed to in writing, software distributed under the License is distributed on an "AS
5    IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. See the License for the specific language
6    governing permissions and limitations under the License. -->
7
8<beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
9    xsi:schemaLocation="
10        http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd">
11
12    <!-- definition of the log file format, where some standard log file formats will be specified here e.g. shib-access,
13        W3C, apache, EZProxy etc IMPORTANT, the headers must be a match for the internal model at the moment -->
14
15    <!-- accepted types are DATE, STRING, INTEGER -->
16
17    <bean id="openathenslaFormat" class="uk.ac.cardiff.raptor.parse.external.file.format.LogFileFormat">
18        <property name="headers">
19            <list>
20                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header">
21                    <property name="fieldName">
22                        <value>eventTime</value>
23                    </property>
24                    <property name="fieldNo">
25                        <value>0</value>
26                    </property>
27                    <property name="additionalFieldNos">
28                        <list>
29                            <value>1</value>
30                            <value>2</value>
31                        </list>
32                    </property>
33                    <property name="timeZone">
34                        <value>UTC</value>
35                    </property>
36                    <property name="fieldType">
37                        <value>DATE</value>
38                    </property>
39                    <property name="regexReplaceAll">
40                        <map>
41                            <entry key="\[" value="" />
42                            <entry key="\]" value="" />
43                        </map>
44                    </property>
45                    <property name="dateTimeFormat">
46                        <value>dd/MMM/yyyyHH:mm:ss.SSSZ</value>
47                    </property>
48                </bean>
49                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header">
50                    <property name="fieldName">
51                        <value>requesterIp</value>
52                    </property>
53                    <property name="fieldNo">
54                        <value>9</value>
55                    </property>
56                    <property name="fieldType">
57                        <value>STRING</value>
58                    </property>
59                </bean>
60                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header">
61                    <property name="fieldName">
62                        <value>principalName</value>
63                    </property>
64                    <property name="fieldNo">
65                        <value>10</value>
66                    </property>
67                    <property name="fieldType">
68                        <value>STRING</value>
69                    </property>
70                    <property name="regexReplaceAll">
71                        <map>
72                            <entry key="&quot;" value="" />
73                        </map>
74                    </property>
75                </bean>
76                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header">
77                    <property name="fieldName">
78                        <value>resourceId</value>
79                    </property>
80                    <property name="fieldNo">
81                        <value>11</value>
82                    </property>
83                    <property name="fieldType">
84                        <value>STRING</value>
85                    </property>
86                </bean>
87            </list>
88        </property>
89        <property name="delimeter">
90            <value>
91            </value>
92        </property>
93    </bean>
94
95    <bean id="shib13IDPAccessFileFormat" class="uk.ac.cardiff.raptor.parse.external.file.format.LogFileFormat">
96        <property name="headers">
97            <list>
98                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header">
99                    <property name="fieldName">
100                        <value>eventTime</value>
101                    </property>
102                    <property name="fieldNo">
103                        <value>0</value>
104                    </property>
105                    <property name="additionalFieldNos">
106                        <list>
107                            <value>1</value>
108                        </list>
109                    </property>
110                    <property name="timeZone">
111                        <value>UTC</value>
112                    </property>
113                    <property name="fieldType">
114                        <value>DATE</value>
115                    </property>
116                    <property name="dateTimeFormat">
117                        <value>yyyy-MM-ddHH:mm:ss,SSS</value>
118                    </property>
119                </bean>
120                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header">
121                    <property name="fieldName">
122                        <value>resourceId</value>
123                    </property>
124                    <property name="fieldNo">
125                        <value>7</value>
126                    </property>
127                    <property name="fieldType">
128                        <value>STRING</value>
129                    </property>
130                    <property name="regexReplaceAll">
131                        <map>
132                            <entry key="\(" value="" />
133                            <entry key="\)" value="" />
134                        </map>
135                    </property>
136                </bean>
137                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header">
138                    <property name="fieldName">
139                        <value>principalName</value>
140                    </property>
141                    <property name="fieldNo">
142                        <value>12</value>
143                    </property>
144                    <property name="fieldType">
145                        <value>STRING</value>
146                    </property>
147                    <property name="regexReplaceAll">
148                        <map>
149                            <entry key="\(" value="" />
150                            <entry key="\)" value="" />
151                            <entry key="\." value="" />
152                        </map>
153                    </property>
154                </bean>
155                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header">
156                    <property name="fieldName">
157                        <value>nameIdentifier</value>
158                    </property>
159                    <property name="fieldNo">
160                        <value>15</value>
161                    </property>
162                    <property name="fieldType">
163                        <value>STRING</value>
164                    </property>
165                    <property name="regexReplaceAll">
166                        <map>
167                            <entry key="\(" value="" />
168                            <entry key="\)" value="" />
169                            <entry key="\." value="" />
170                        </map>
171                    </property>
172                </bean>
173            </list>
174        </property>
175        <property name="delimeter">
176            <value>
177            </value>
178        </property>
179    </bean>
180
181    <!-- 2.4 and earlier -->
182    <bean id="shibSPLogFileFormat" class="uk.ac.cardiff.raptor.parse.external.file.format.LogFileFormat">
183        <property name="headers">
184            <list>
185                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header">
186                    <property name="fieldName">
187                        <value>eventTime</value>
188                    </property>
189                    <property name="fieldNo">
190                        <value>0</value>
191                    </property>
192                    <property name="additionalFieldNos">
193                        <list>
194                            <value>1</value>
195                        </list>
196                    </property>
197                    <property name="timeZone">
198                        <value>UTC</value>
199                    </property>
200                    <property name="fieldType">
201                        <value>DATE</value>
202                    </property>
203                    <property name="dateTimeFormat">
204                        <value>yyyy-MM-ddHH:mm:ss</value>
205                    </property>
206                </bean>
207                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header">
208                    <property name="fieldName">
209                        <value>sessionId</value>
210                    </property>
211                    <property name="fieldNo">
212                        <value>9</value>
213                    </property>
214                    <property name="fieldType">
215                        <value>STRING</value>
216                    </property>
217                    <property name="regexReplaceAll">
218                        <map>
219                            <entry key="\(" value="" />
220                            <entry key="\)" value="" />
221                        </map>
222                    </property>
223                </bean>
224                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header">
225                    <property name="fieldName">
226                        <value>serviceId</value>
227                    </property>
228                    <property name="fieldNo">
229                        <value>11</value>
230                    </property>
231                    <property name="fieldType">
232                        <value>STRING</value>
233                    </property>
234                    <property name="regexReplaceAll">
235                        <map>
236                            <entry key="\(" value="" />
237                            <entry key="\)" value="" />
238                        </map>
239                    </property>
240                </bean>
241                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header">
242                    <property name="fieldName">
243                        <value>protocol</value>
244                    </property>
245                    <property name="fieldNo">
246                        <value>12</value>
247                    </property>
248                    <property name="fieldType">
249                        <value>STRING</value>
250                    </property>
251                    <property name="regexReplaceAll">
252                        <map>
253                            <entry key="\(" value="" />
254                            <entry key="\)" value="" />
255                        </map>
256                    </property>
257                </bean>
258                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header">
259                    <property name="fieldName">
260                        <value>clientIp</value>
261                    </property>
262                    <property name="fieldNo">
263                        <value>14</value>
264                    </property>
265                    <property name="fieldType">
266                        <value>STRING</value>
267                    </property>
268                    <property name="regexReplaceAll">
269                        <map>
270                            <entry key="\(" value="" />
271                            <entry key="\)" value="" />
272                        </map>
273                    </property>
274                </bean>
275            </list>
276        </property>
277        <property name="delimeter">
278            <value>
279            </value>
280        </property>
281    </bean>
282
283    <bean id="shibIDPAuditFileFormat" class="uk.ac.cardiff.raptor.parse.external.file.format.LogFileFormat">
284        <property name="headers">
285            <list>
286                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header">
287                    <property name="fieldName">
288                        <value>eventTime</value>
289                    </property>
290                    <property name="fieldNo">
291                        <value>0</value>
292                    </property>
293                    <property name="fieldType">
294                        <value>DATE</value>
295                    </property>
296                    <property name="timeZone">
297                        <value>UTC</value>
298                    </property>
299                    <property name="dateTimeFormat">
300                        <value>yyyyMMdd'T'HHmmss'Z'</value>
301                    </property> <!-- Atom (ISO 8601) -->
302                </bean>
303                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header">
304                    <property name="fieldName">
305                        <value>requestBinding</value>
306                    </property>
307                    <property name="fieldNo">
308                        <value>1</value>
309                    </property>
310                    <property name="fieldType">
311                        <value>STRING</value>
312                    </property>
313                </bean>
314                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header">
315                    <property name="fieldName">
316                        <value>requestId</value>
317                    </property>
318                    <property name="fieldNo">
319                        <value>2</value>
320                    </property>
321                    <property name="fieldType">
322                        <value>STRING</value>
323                    </property>
324                </bean>
325                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header">
326                    <property name="fieldName">
327                        <value>resourceId</value>
328                    </property>
329                    <property name="fieldNo">
330                        <value>3</value>
331                    </property>
332                    <property name="fieldType">
333                        <value>STRING</value>
334                    </property>
335                </bean>
336
337                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header">
338                    <property name="fieldName">
339                        <value>messageProfileId</value>
340                    </property>
341                    <property name="fieldNo">
342                        <value>4</value>
343                    </property>
344                    <property name="fieldType">
345                        <value>STRING</value>
346                    </property>
347                </bean>
348                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header">
349                    <property name="fieldName">
350                        <value>responseBinding</value>
351                    </property>
352                    <property name="fieldNo">
353                        <value>6</value>
354                    </property>
355                    <property name="fieldType">
356                        <value>STRING</value>
357                    </property>
358                </bean>
359                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header">
360                    <property name="fieldName">
361                        <value>responseId</value>
362                    </property>
363                    <property name="fieldNo">
364                        <value>7</value>
365                    </property>
366                    <property name="fieldType">
367                        <value>STRING</value>
368                    </property>
369                </bean>
370                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header">
371                    <property name="fieldName">
372                        <value>principalName</value>
373                    </property>
374                    <property name="fieldNo">
375                        <value>8</value>
376                    </property>
377                    <property name="fieldType">
378                        <value>STRING</value>
379                    </property>
380                </bean>
381                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header">
382                    <property name="fieldName">
383                        <value>authenticationType</value>
384                    </property>
385                    <property name="fieldNo">
386                        <value>9</value>
387                    </property>
388                    <property name="fieldType">
389                        <value>STRING</value>
390                    </property>
391                </bean>
392                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header">
393                    <property name="fieldName">
394                        <value>attributes</value>
395                    </property>
396                    <property name="fieldNo">
397                        <value>10</value>
398                    </property>
399                    <property name="fieldType">
400                        <value>STRINGLIST</value>
401                    </property>
402                    <property name="listDelimeter">
403                        <value>,</value>
404                    </property>
405                </bean>
406                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header">
407                    <property name="fieldName">
408                        <value>assertions</value>
409                    </property>
410                    <property name="fieldNo">
411                        <value>12</value>
412                    </property>
413                    <property name="fieldType">
414                        <value>STRINGLIST</value>
415                    </property>
416                    <property name="listDelimeter">
417                        <value>,</value>
418                    </property>
419                </bean>
420            </list>
421        </property>
422        <property name="delimeter">
423            <value>|</value>
424        </property>
425    </bean>
426
427    <bean id="ezProxyFileFormat" class="uk.ac.cardiff.raptor.parse.external.file.format.LogFileFormat">
428        <property name="headers">
429            <list>
430                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header">
431                    <property name="fieldName">
432                        <value>requesterIp</value>
433                    </property>
434                    <property name="fieldNo">
435                        <value>0</value>
436                    </property>
437                    <property name="fieldType">
438                        <value>STRING</value>
439                    </property>
440                </bean>
441                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header">
442                    <property name="fieldName">
443                        <value>sessionId</value>
444                    </property>
445                    <property name="fieldNo">
446                        <value>1</value>
447                    </property>
448                    <property name="fieldType">
449                        <value>STRING</value>
450                    </property>
451                </bean>
452                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header">
453                    <property name="fieldName">
454                        <value>principalName</value>
455                    </property>
456                    <property name="fieldNo">
457                        <value>2</value>
458                    </property>
459                    <property name="fieldType">
460                        <value>STRING</value>
461                    </property>
462                    <property name="regexReplaceAll">
463                        <map>
464                            <entry key="@cardiff.ac.uk" value="" />
465                        </map>
466                    </property>
467                </bean>
468                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header">
469                    <property name="fieldName">
470                        <value>eventTime</value>
471                    </property>
472                    <property name="fieldNo">
473                        <value>3</value>
474                    </property>
475                    <property name="additionalFieldNos">
476                        <list>
477                            <value>4</value>
478                        </list>
479                    </property>
480                    <property name="fieldType">
481                        <value>DATE</value>
482                    </property>
483                    <property name="timeZone">
484                        <value>UTC</value>
485                    </property>
486                    <property name="dateTimeFormat">
487                        <value>dd/MMM/yyyy:HH:mm:ssZ</value>
488                    </property>
489                    <property name="regexReplaceAll">
490                        <map>
491                            <entry key="\[" value="" />
492                            <entry key="\]" value="" />
493                        </map>
494                    </property>
495                </bean>
496                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header">
497                    <property name="fieldName">
498                        <value>serviceHost</value>
499                    </property>
500                    <property name="fieldNo">
501                        <value>6</value>
502                    </property>
503                    <property name="fieldType">
504                        <value>STRING</value>
505                    </property>
506                    <property name="regexRetain">
507                        <value>https://[^:]*</value>
508                    </property>
509                </bean>
510                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header">
511                    <property name="fieldName">
512                        <value>resourceId</value>
513                    </property>
514                    <property name="fieldNo">
515                        <value>6</value>
516                    </property>
517                    <property name="fieldType">
518                        <value>URL</value>
519                    </property>
520                    <property name="regexRetain">
521                        <value>url=http%3a%2f%2f[^%]*|url=https://[^/]*|url=https%3a%2f%2f[^%]*|url=http://[^/]*|url=%2520http%3a%2f%2f[^%]*|url=%2520https%3a%2f%2f[^%]*|url=%20http%3a%2f%2f[^%]*|url=%20https%3a%2f%2f[^%]*|url=http%253A%252F%252F[^%]*
522                        </value>
523                    </property>
524                    <property name="regexRetainCaseInsensitive">
525                        <value>true</value>
526                    </property>
527                    <property name="regexReplaceAll">
528                        <map>
529                            <entry key="url=" value="" />
530                            <entry key="%2520" value="" />
531                        </map>
532                    </property>
533                </bean>
534            </list>
535        </property>
536        <property name="delimeter">
537            <value>
538            </value>
539        </property>
540
541
542
543    </bean>
544
545    <bean id="W3CFileFormat" class="uk.ac.cardiff.raptor.parse.external.file.format.LogFileFormat"></bean>
546
547
548
549
550</beans>
Note: See TracBrowser for help on using the repository browser.