Changeset 1487


Ignore:
Timestamp:
04/15/13 11:58:53 (7 years ago)
Author:
philsmart
Message:
 
Location:
raptor-ica/trunk
Files:
12 edited

Legend:

Unmodified
Added
Removed
  • raptor-ica/trunk/.classpath

    r1453 r1487  
    2727                </attributes> 
    2828        </classpathentry> 
    29         <classpathentry kind="con" path="org.maven.ide.eclipse.MAVEN2_CLASSPATH_CONTAINER"/> 
    3029        <classpathentry kind="con" path="org.eclipse.jdt.launching.JRE_CONTAINER/org.eclipse.jdt.internal.debug.ui.launcher.StandardVMType/JavaSE-1.6"> 
    3130                <attributes> 
  • raptor-ica/trunk/pom.xml

    r1462 r1487  
    9393            <groupId>uk.ac.cardiff.raptor</groupId> 
    9494            <artifactId>raptor-client</artifactId> 
    95             <version>1.1.2</version> 
     95            <version>1.1.5-SNAPSHOT</version> 
    9696        </dependency> 
    9797 
     
    9999            <groupId>uk.ac.cardiff.raptor</groupId> 
    100100            <artifactId>raptor-parse</artifactId> 
    101             <version>1.1.1</version> 
     101            <version>1.1.2-SNAPSHOT</version> 
    102102        </dependency> 
    103103 
  • raptor-ica/trunk/src/main/conf-default/event-parse-formats-system.xml

    r1366 r1487  
    2929                the moment 
    3030        --> 
     31     
     32     <bean id="juspMonthlyPeriodFormat" class="uk.ac.cardiff.raptor.parse.external.remote.format.JsonFormat"> 
     33        <property name="addEventTimePerEvent" value="true"/> 
     34        <property name="headers"> 
     35            <list> 
     36                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header"> 
     37                    <property name="fieldName"> 
     38                        <value>resourceId</value> 
     39                    </property> 
     40                    <property name="sourceFieldName"> 
     41                        <value>Platform Name</value> 
     42                    </property> 
     43                    <property name="fieldType"> 
     44                        <value>STRING</value> 
     45                    </property> 
     46                </bean> 
     47                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header"> 
     48                    <property name="fieldName"> 
     49                        <value>plId</value> 
     50                    </property> 
     51                    <property name="sourceFieldName"> 
     52                        <value>PlID</value> 
     53                    </property> 
     54                    <property name="fieldType"> 
     55                        <value>STRING</value> 
     56                    </property> 
     57                </bean> 
     58                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header"> 
     59                    <property name="fieldName"> 
     60                        <value>jr1Downloads</value> 
     61                    </property> 
     62                    <property name="sourceFieldName"> 
     63                        <value>JR1 downloads</value> 
     64                    </property> 
     65                    <property name="fieldType"> 
     66                        <value>INTEGER</value> 
     67                    </property> 
     68                </bean> 
     69                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header"> 
     70                    <property name="fieldName"> 
     71                        <value>jr1aDownloads</value> 
     72                    </property> 
     73                    <property name="sourceFieldName"> 
     74                        <value>JR1a downloads</value> 
     75                    </property> 
     76                    <property name="fieldType"> 
     77                        <value>INTEGER</value> 
     78                    </property> 
     79                </bean> 
     80                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header"> 
     81                    <property name="fieldName"> 
     82                        <value>totalDownloads</value> 
     83                    </property> 
     84                    <property name="sourceFieldName"> 
     85                        <value>Total Downloads</value> 
     86                    </property> 
     87                    <property name="fieldType"> 
     88                        <value>INTEGER</value> 
     89                    </property> 
     90                </bean> 
     91            </list> 
     92        </property> 
     93    </bean> 
    3194 
    3295        <!-- accepted types are DATE, STRING, INTEGER --> 
  • raptor-ica/trunk/src/main/conf-default/event-parse.xml

    r1366 r1487  
    1414        <property name="parsingModules"> 
    1515            <list> 
     16             
     17                 <!-- JUSP Json parser--> 
     18 
     19                <bean id="juspParser" class="uk.ac.cardiff.raptor.parse.external.remote.JsonLogParser"> 
     20                    <property name="enabled" value="true"/> 
     21                    <property name="eventHandler"><ref bean="memoryEventHandler"></ref></property> 
     22                    <property name="webServiceLocation" value="http://www.jusp.mimas.ac.uk/api/"/> 
     23                    <property name="eventType"> 
     24                        <value>uk.ac.cardiff.model.event.JuspAggregatedEvent</value> 
     25                    </property> 
     26                    <property name="jsonFormat"> 
     27                        <ref bean="juspMonthlyPeriodFormat"/> 
     28                    </property> 
     29                    <property name="queryParams"> 
     30                        <map> 
     31                            <entry> 
     32                                <key><value>action</value></key> 
     33                                <value>getInstStats</value> 
     34                            </entry> 
     35                            <entry> 
     36                                <key><value>id</value></key> 
     37                                <value>car</value> 
     38                            </entry> 
     39                            <entry> 
     40                                <key><value>mnth</value></key> 
     41                                <value>2012-06</value> 
     42                            </entry> 
     43                        </map> 
     44                    </property> 
     45                </bean> 
     46                 
     47             
    1648                <!-- Shibboleth 2 --> 
    1749 
    1850                <bean id="shibbolethAuditLFP" class="uk.ac.cardiff.raptor.parse.external.file.LogFileParser"> 
    19                     <property name="enabled" value="true" /> 
     51                    <property name="enabled" value="false" /> 
    2052                    <property name="eventHandler"> 
    2153                        <ref bean="memoryEventHandler"></ref> 
  • raptor-ica/trunk/src/main/conf-default/event-release.xml

    r1453 r1487  
    3131                <value type="java.lang.Class">uk.ac.cardiff.model.event.RadiusAuthenticationEvent</value> 
    3232                <value type="java.lang.Class">uk.ac.cardiff.model.event.AuthenticationEvent</value> 
     33                <value type="java.lang.Class">uk.ac.cardiff.model.event.AggregatedEvent</value> 
     34                <value type="java.lang.Class">uk.ac.cardiff.model.event.JuspAggregatedEvent</value> 
    3335            </list>         
    3436       </property> 
     
    4749                            <value type="java.lang.Class">uk.ac.cardiff.model.event.EzproxyAuthenticationEvent</value> 
    4850                            <value type="java.lang.Class">uk.ac.cardiff.model.event.ShibbolethSpAuthenticationEvent</value> 
     51                            <value type="java.lang.Class">uk.ac.cardiff.model.event.JuspAggregatedEvent</value> 
    4952                        </list> 
    5053                    </property> 
  • raptor-ica/trunk/src/main/conf-default/ica-core.xml

    r1047 r1487  
    4949        </property> 
    5050        <property name="startDelay" value="10000" /> 
    51         <property name="repeatInterval" value="10000" /> 
     51        <property name="repeatInterval" value="2628000000" /> 
    5252    </bean> 
    5353 
  • raptor-ica/trunk/src/main/config/event-parse-formats-system.xml

    r1366 r1487  
    11<?xml version="1.0" encoding="UTF-8"?> 
    2         <!-- 
    3  
    4                 Copyright (C) 2010 Cardiff University, Wales <smartp@cf.ac.uk> 
    5  
    6                 Licensed under the Apache License, Version 2.0 (the "License"); you 
    7                 may not use this file except in compliance with the License. You may 
    8                 obtain a copy of the License at 
    9  
    10                 http://www.apache.org/licenses/LICENSE-2.0 Unless required by 
    11                 applicable law or agreed to in writing, software distributed under the 
    12                 License is distributed on an "AS IS" BASIS, WITHOUT WARRANTIES OR 
    13                 CONDITIONS OF ANY KIND, either express or implied. See the License for 
    14                 the specific language governing permissions and limitations under the 
    15                 License. 
    16         --> 
    17  
    18 <beans xmlns="http://www.springframework.org/schema/beans" 
    19         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 
    20         xsi:schemaLocation=" 
     2<!-- Copyright (C) 2010 Cardiff University, Wales <smartp@cf.ac.uk> Licensed under the Apache License, Version 2.0 (the "License");  
     3    you may not use this file except in compliance with the License. You may obtain a copy of the License at http://www.apache.org/licenses/LICENSE-2.0  
     4    Unless required by applicable law or agreed to in writing, software distributed under the License is distributed on an "AS  
     5    IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. See the License for the specific language  
     6    governing permissions and limitations under the License. --> 
     7 
     8<beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 
     9    xsi:schemaLocation=" 
    2110        http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd"> 
    2211 
    2312 
    2413 
    25         <!-- 
    26                 definition of the log file format, where some standard log file 
    27                 formats will be specified here e.g. shib-access, W3C, apache, EZProxy 
    28                 etc IMPORTANT, the headers must be a match for the internal model at 
    29                 the moment 
    30         --> 
    31  
    32         <!-- accepted types are DATE, STRING, INTEGER --> 
     14    <!-- definition of the log file format, where some standard log file formats will be specified here e.g. shib-access,  
     15        W3C, apache, EZProxy etc IMPORTANT, the headers must be a match for the internal model at the moment --> 
     16 
     17    <!-- accepted types are DATE, STRING, INTEGER --> 
     18 
     19    <bean id="juspMonthlyPeriodFormat" class="uk.ac.cardiff.raptor.parse.external.remote.format.JsonFormat"> 
     20        <property name="addEventTimePerEvent" value="true"/> 
     21        <property name="headers"> 
     22            <list> 
     23                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header"> 
     24                    <property name="fieldName"> 
     25                        <value>resourceId</value> 
     26                    </property> 
     27                    <property name="sourceFieldName"> 
     28                        <value>Platform Name</value> 
     29                    </property> 
     30                    <property name="fieldType"> 
     31                        <value>STRING</value> 
     32                    </property> 
     33                </bean> 
     34                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header"> 
     35                    <property name="fieldName"> 
     36                        <value>plId</value> 
     37                    </property> 
     38                    <property name="sourceFieldName"> 
     39                        <value>PlID</value> 
     40                    </property> 
     41                    <property name="fieldType"> 
     42                        <value>STRING</value> 
     43                    </property> 
     44                </bean> 
     45                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header"> 
     46                    <property name="fieldName"> 
     47                        <value>jr1Downloads</value> 
     48                    </property> 
     49                    <property name="sourceFieldName"> 
     50                        <value>JR1 downloads</value> 
     51                    </property> 
     52                    <property name="fieldType"> 
     53                        <value>INTEGER</value> 
     54                    </property> 
     55                </bean> 
     56                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header"> 
     57                    <property name="fieldName"> 
     58                        <value>jr1aDownloads</value> 
     59                    </property> 
     60                    <property name="sourceFieldName"> 
     61                        <value>JR1a downloads</value> 
     62                    </property> 
     63                    <property name="fieldType"> 
     64                        <value>INTEGER</value> 
     65                    </property> 
     66                </bean> 
     67                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header"> 
     68                    <property name="fieldName"> 
     69                        <value>totalDownloads</value> 
     70                    </property> 
     71                    <property name="sourceFieldName"> 
     72                        <value>Total downloads</value> 
     73                    </property> 
     74                    <property name="fieldType"> 
     75                        <value>INTEGER</value> 
     76                    </property> 
     77                </bean> 
     78            </list> 
     79        </property> 
     80    </bean> 
    3381     
    34      
     82    <bean id="wugenLogFileFormat" class="uk.ac.cardiff.raptor.parse.external.file.format.LogFileFormat"> 
     83        <property name="headers"> 
     84            <list> 
     85                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header"> 
     86                    <property name="fieldName"> 
     87                        <value>eventTime</value> 
     88                    </property> 
     89                    <property name="fieldNo"> 
     90                        <value>0</value> 
     91                    </property>                    
     92                    <property name="timeZone"> 
     93                        <value>UTC</value> 
     94                    </property> 
     95                    <property name="fieldType"> 
     96                        <value>DATE</value> 
     97                    </property> 
     98                    <property name="dateTimeFormat"> 
     99                        <value>yyyy-MM-dd'T'HH:mm:ss</value> 
     100                    </property>                     
     101                </bean>    
     102                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header"> 
     103                    <property name="fieldName"> 
     104                        <value>wayflessUrl</value> 
     105                    </property> 
     106                    <property name="fieldNo"> 
     107                        <value>1</value> 
     108                    </property>                 
     109                    <property name="fieldType"> 
     110                        <value>STRING</value> 
     111                    </property> 
     112                                      
     113                </bean>    
     114                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header"> 
     115                    <property name="fieldName"> 
     116                        <value>target</value> 
     117                    </property> 
     118                    <property name="fieldNo"> 
     119                        <value>4</value> 
     120                    </property>                 
     121                    <property name="fieldType"> 
     122                        <value>STRING</value> 
     123                    </property> 
     124                                      
     125                </bean>    
     126                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header"> 
     127                    <property name="fieldName"> 
     128                        <value>quality</value> 
     129                    </property> 
     130                    <property name="fieldNo"> 
     131                        <value>5</value> 
     132                    </property>                 
     133                    <property name="fieldType"> 
     134                        <value>INTEGER</value> 
     135                    </property> 
     136                                      
     137                </bean>          
     138            </list> 
     139        </property> 
     140         <property name="delimeter"> 
     141            <value>,</value> 
     142        </property> 
     143    </bean> 
     144 
     145 
    35146    <bean id="freeRadiusIdpLogFileFormat" class="uk.ac.cardiff.raptor.parse.external.file.format.LogFileFormat"> 
    36147        <property name="headers"> 
     
    48159                    <property name="additionalFieldNos"> 
    49160                        <list> 
    50                             <value>-1</value>                            
     161                            <value>-1</value> 
    51162                        </list> 
    52163                    </property> 
     
    61172                    </property> 
    62173                    <property name="regexRetain"> 
    63                           <value>........................</value> 
    64                     </property> 
    65                     <property name="regexReplaceAll"> 
    66                         <map> 
    67                          <entry key=" : Auth" value=""/>                                                                 
    68                         </map> 
    69                     </property> 
    70                 </bean>  
     174                        <value>........................</value> 
     175                    </property> 
     176                    <property name="regexReplaceAll"> 
     177                        <map> 
     178                            <entry key=" : Auth" value="" /> 
     179                        </map> 
     180                    </property> 
     181                </bean> 
    71182                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header"> 
    72183                    <property name="fieldName"> 
     
    81192                    <property name="regexReplaceAll"> 
    82193                        <map> 
    83                          <entry key="\[" value=""/> 
    84                          <entry key="\]" value=""/>  
    85                          <entry key="@.*" value=""/>                                           
    86                         </map> 
    87                     </property> 
    88                 </bean>       
    89                  <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header"> 
     194                            <entry key="\[" value="" /> 
     195                            <entry key="\]" value="" /> 
     196                            <entry key="@.*" value="" /> 
     197                        </map> 
     198                    </property> 
     199                </bean> 
     200                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header"> 
    90201                    <property name="fieldName"> 
    91202                        <value>clientIdentifier</value> 
     
    96207                    <property name="additionalFieldNos"> 
    97208                        <list> 
    98                             <value>-1</value>                           
     209                            <value>-1</value> 
    99210                        </list> 
    100211                    </property> 
    101212                    <property name="fieldType"> 
    102213                        <value>STRING</value> 
    103                     </property>  
     214                    </property> 
    104215                    <property name="regexRetain"> 
    105                        <value>.*port</value> 
    106                     </property>  
    107                     <property name="regexReplaceAll"> 
    108                         <map> 
    109                          <entry key="port" value=""/>                                                              
    110                         </map> 
    111                     </property>                   
    112                 </bean>            
     216                        <value>.*port</value> 
     217                    </property> 
     218                    <property name="regexReplaceAll"> 
     219                        <map> 
     220                            <entry key="port" value="" /> 
     221                        </map> 
     222                    </property> 
     223                </bean> 
    113224            </list> 
    114225        </property> 
    115226        <property name="delimeter"> 
    116             <value> </value> 
     227            <value> 
     228            </value> 
    117229        </property> 
    118230    </bean> 
    119231 
    120      <bean id="shib13IDPAccessFileFormat" class="uk.ac.cardiff.raptor.parse.external.file.format.LogFileFormat"> 
     232    <bean id="shib13IDPAccessFileFormat" class="uk.ac.cardiff.raptor.parse.external.file.format.LogFileFormat"> 
    121233        <property name="headers"> 
    122234            <list> 
     
    155267                    <property name="regexReplaceAll"> 
    156268                        <map> 
    157                          <entry key="\(" value=""/> 
    158                          <entry key="\)" value=""/> 
     269                            <entry key="\(" value="" /> 
     270                            <entry key="\)" value="" /> 
    159271                        </map> 
    160272                    </property> 
     
    172284                    <property name="regexReplaceAll"> 
    173285                        <map> 
    174                          <entry key="\(" value=""/> 
    175                          <entry key="\)" value=""/> 
    176                          <entry key="\." value=""/> 
     286                            <entry key="\(" value="" /> 
     287                            <entry key="\)" value="" /> 
     288                            <entry key="\." value="" /> 
    177289                        </map> 
    178290                    </property> 
     
    190302                    <property name="regexReplaceAll"> 
    191303                        <map> 
    192                          <entry key="\(" value=""/> 
    193                          <entry key="\)" value=""/> 
    194                          <entry key="\." value=""/> 
     304                            <entry key="\(" value="" /> 
     305                            <entry key="\)" value="" /> 
     306                            <entry key="\." value="" /> 
    195307                        </map> 
    196308                    </property> 
     
    199311        </property> 
    200312        <property name="delimeter"> 
    201             <value> </value> 
     313            <value> 
     314            </value> 
    202315        </property> 
    203316    </bean> 
     
    227340                        <value>yyyy-MM-ddHH:mm:ss</value> 
    228341                    </property> 
    229                 </bean>   
     342                </bean> 
    230343                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header"> 
    231344                    <property name="fieldName"> 
     
    240353                    <property name="regexReplaceAll"> 
    241354                        <map> 
    242                          <entry key="\(" value=""/> 
    243                          <entry key="\)" value=""/> 
    244                         </map> 
    245                     </property> 
    246                 </bean>    
     355                            <entry key="\(" value="" /> 
     356                            <entry key="\)" value="" /> 
     357                        </map> 
     358                    </property> 
     359                </bean> 
    247360                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header"> 
    248361                    <property name="fieldName"> 
     
    257370                    <property name="regexReplaceAll"> 
    258371                        <map> 
    259                          <entry key="\(" value=""/> 
    260                          <entry key="\)" value=""/> 
    261                         </map> 
    262                     </property> 
    263                 </bean>   
     372                            <entry key="\(" value="" /> 
     373                            <entry key="\)" value="" /> 
     374                        </map> 
     375                    </property> 
     376                </bean> 
    264377                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header"> 
    265378                    <property name="fieldName"> 
     
    274387                    <property name="regexReplaceAll"> 
    275388                        <map> 
    276                          <entry key="\(" value=""/> 
    277                          <entry key="\)" value=""/> 
    278                         </map> 
    279                     </property> 
    280                 </bean>    
     389                            <entry key="\(" value="" /> 
     390                            <entry key="\)" value="" /> 
     391                        </map> 
     392                    </property> 
     393                </bean> 
    281394                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header"> 
    282395                    <property name="fieldName"> 
     
    291404                    <property name="regexReplaceAll"> 
    292405                        <map> 
    293                          <entry key="\(" value=""/> 
    294                          <entry key="\)" value=""/> 
    295                         </map> 
    296                     </property> 
    297                 </bean>                
     406                            <entry key="\(" value="" /> 
     407                            <entry key="\)" value="" /> 
     408                        </map> 
     409                    </property> 
     410                </bean> 
    298411            </list> 
    299412        </property> 
    300413        <property name="delimeter"> 
    301             <value> </value> 
     414            <value> 
     415            </value> 
    302416        </property> 
    303417    </bean> 
    304418 
    305         <bean id="shibIDPAuditFileFormat" class="uk.ac.cardiff.raptor.parse.external.file.format.LogFileFormat"> 
    306                 <property name="headers"> 
    307                         <list> 
    308                                 <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header"> 
    309                                         <property name="fieldName"> 
    310                                                 <value>eventTime</value> 
    311                                         </property> 
    312                                         <property name="fieldNo"> 
    313                                                 <value>0</value> 
    314                                         </property> 
    315                                         <property name="timeZone"> 
     419    <bean id="shibIDPAuditFileFormat" class="uk.ac.cardiff.raptor.parse.external.file.format.LogFileFormat"> 
     420        <property name="headers"> 
     421            <list> 
     422                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header"> 
     423                    <property name="fieldName"> 
     424                        <value>eventTime</value> 
     425                    </property> 
     426                    <property name="fieldNo"> 
     427                        <value>0</value> 
     428                    </property> 
     429                    <property name="timeZone"> 
    316430                        <value>UTC</value> 
    317431                    </property> 
    318                                         <property name="fieldType"> 
    319                                                 <value>DATE</value> 
    320                                         </property> 
    321                                         <property name="dateTimeFormat"> 
    322                                                 <value>yyyyMMdd'T'HHmmss'Z'</value> 
    323                                         </property> <!-- Atom (ISO 8601) --> 
    324                                 </bean> 
    325                                 <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header"> 
    326                                         <property name="fieldName"> 
    327                                                 <value>requestBinding</value> 
    328                                         </property> 
    329                                         <property name="fieldNo"> 
    330                                                 <value>1</value> 
    331                                         </property> 
    332                                         <property name="fieldType"> 
    333                                                 <value>STRING</value> 
    334                                         </property> 
    335                                 </bean> 
    336                                 <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header"> 
    337                                         <property name="fieldName"> 
    338                                                 <value>requestId</value> 
    339                                         </property> 
    340                                         <property name="fieldNo"> 
    341                                                 <value>2</value> 
    342                                         </property> 
    343                                         <property name="fieldType"> 
    344                                                 <value>STRING</value> 
    345                                         </property> 
    346                                 </bean> 
    347                                 <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header"> 
    348                                         <property name="fieldName"> 
    349                                                 <value>resourceId</value> 
    350                                         </property> 
    351                                         <property name="fieldNo"> 
    352                                                 <value>3</value> 
    353                                         </property> 
    354                                         <property name="fieldType"> 
    355                                                 <value>STRING</value> 
    356                                         </property> 
    357                                 </bean> 
    358  
    359                                 <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header"> 
    360                                         <property name="fieldName"> 
    361                                                 <value>messageProfileId</value> 
    362                                         </property> 
    363                                         <property name="fieldNo"> 
    364                                                 <value>4</value> 
    365                                         </property> 
    366                                         <property name="fieldType"> 
    367                                                 <value>STRING</value> 
    368                                         </property> 
    369                                 </bean> 
    370                                 <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header"> 
    371                                         <property name="fieldName"> 
    372                                                 <value>responseBinding</value> 
    373                                         </property> 
    374                                         <property name="fieldNo"> 
    375                                                 <value>6</value> 
    376                                         </property> 
    377                                         <property name="fieldType"> 
    378                                                 <value>STRING</value> 
    379                                         </property> 
    380                                 </bean> 
    381                                 <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header"> 
    382                                         <property name="fieldName"> 
    383                                                 <value>responseId</value> 
    384                                         </property> 
    385                                         <property name="fieldNo"> 
    386                                                 <value>7</value> 
    387                                         </property> 
    388                                         <property name="fieldType"> 
    389                                                 <value>STRING</value> 
    390                                         </property> 
    391                                 </bean> 
    392                                 <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header"> 
    393                                         <property name="fieldName"> 
    394                                                 <value>principalName</value> 
    395                                         </property> 
    396                                         <property name="fieldNo"> 
    397                                                 <value>8</value> 
    398                                         </property> 
    399                                         <property name="fieldType"> 
    400                                                 <value>STRING</value> 
    401                                         </property> 
    402                                 </bean> 
    403                                 <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header"> 
    404                                         <property name="fieldName"> 
    405                                                 <value>authenticationType</value> 
    406                                         </property> 
    407                                         <property name="fieldNo"> 
    408                                                 <value>9</value> 
    409                                         </property> 
    410                                         <property name="fieldType"> 
    411                                                 <value>STRING</value> 
    412                                         </property> 
    413                                 </bean> 
    414                                 <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header"> 
    415                                         <property name="fieldName"> 
    416                                                 <value>attributes</value> 
    417                                         </property> 
    418                                         <property name="fieldNo"> 
    419                                                 <value>10</value> 
    420                                         </property> 
    421                                         <property name="fieldType"> 
    422                                                 <value>STRINGLIST</value> 
    423                                         </property> 
    424                                         <property name="listDelimeter"> 
    425                                                 <value>,</value> 
    426                                         </property> 
    427                                 </bean> 
    428                 <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header"> 
    429                                         <property name="fieldName"> 
    430                                                 <value>assertions</value> 
    431                                         </property> 
    432                                         <property name="fieldNo"> 
    433                                                 <value>12</value> 
    434                                         </property> 
    435                                         <property name="fieldType"> 
    436                                                 <value>STRINGLIST</value> 
    437                                         </property> 
    438                                         <property name="listDelimeter"> 
    439                                                 <value>,</value> 
    440                                         </property> 
    441                                 </bean> 
    442                         </list> 
    443                 </property> 
    444                 <property name="delimeter"> 
    445                         <value>|</value> 
    446                 </property> 
    447         </bean> 
    448  
    449         <bean id="ezProxyFileFormat" class="uk.ac.cardiff.raptor.parse.external.file.format.LogFileFormat"> 
    450         <property name="headers"> 
     432                    <property name="fieldType"> 
     433                        <value>DATE</value> 
     434                    </property> 
     435                    <property name="dateTimeFormat"> 
     436                        <value>yyyyMMdd'T'HHmmss'Z'</value> 
     437                    </property> <!-- Atom (ISO 8601) --> 
     438                </bean> 
     439                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header"> 
     440                    <property name="fieldName"> 
     441                        <value>requestBinding</value> 
     442                    </property> 
     443                    <property name="fieldNo"> 
     444                        <value>1</value> 
     445                    </property> 
     446                    <property name="fieldType"> 
     447                        <value>STRING</value> 
     448                    </property> 
     449                </bean> 
     450                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header"> 
     451                    <property name="fieldName"> 
     452                        <value>requestId</value> 
     453                    </property> 
     454                    <property name="fieldNo"> 
     455                        <value>2</value> 
     456                    </property> 
     457                    <property name="fieldType"> 
     458                        <value>STRING</value> 
     459                    </property> 
     460                </bean> 
     461                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header"> 
     462                    <property name="fieldName"> 
     463                        <value>resourceId</value> 
     464                    </property> 
     465                    <property name="fieldNo"> 
     466                        <value>3</value> 
     467                    </property> 
     468                    <property name="fieldType"> 
     469                        <value>STRING</value> 
     470                    </property> 
     471                </bean> 
     472 
     473                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header"> 
     474                    <property name="fieldName"> 
     475                        <value>messageProfileId</value> 
     476                    </property> 
     477                    <property name="fieldNo"> 
     478                        <value>4</value> 
     479                    </property> 
     480                    <property name="fieldType"> 
     481                        <value>STRING</value> 
     482                    </property> 
     483                </bean> 
     484                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header"> 
     485                    <property name="fieldName"> 
     486                        <value>responseBinding</value> 
     487                    </property> 
     488                    <property name="fieldNo"> 
     489                        <value>6</value> 
     490                    </property> 
     491                    <property name="fieldType"> 
     492                        <value>STRING</value> 
     493                    </property> 
     494                </bean> 
     495                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header"> 
     496                    <property name="fieldName"> 
     497                        <value>responseId</value> 
     498                    </property> 
     499                    <property name="fieldNo"> 
     500                        <value>7</value> 
     501                    </property> 
     502                    <property name="fieldType"> 
     503                        <value>STRING</value> 
     504                    </property> 
     505                </bean> 
     506                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header"> 
     507                    <property name="fieldName"> 
     508                        <value>principalName</value> 
     509                    </property> 
     510                    <property name="fieldNo"> 
     511                        <value>8</value> 
     512                    </property> 
     513                    <property name="fieldType"> 
     514                        <value>STRING</value> 
     515                    </property> 
     516                </bean> 
     517                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header"> 
     518                    <property name="fieldName"> 
     519                        <value>authenticationType</value> 
     520                    </property> 
     521                    <property name="fieldNo"> 
     522                        <value>9</value> 
     523                    </property> 
     524                    <property name="fieldType"> 
     525                        <value>STRING</value> 
     526                    </property> 
     527                </bean> 
     528                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header"> 
     529                    <property name="fieldName"> 
     530                        <value>attributes</value> 
     531                    </property> 
     532                    <property name="fieldNo"> 
     533                        <value>10</value> 
     534                    </property> 
     535                    <property name="fieldType"> 
     536                        <value>STRINGLIST</value> 
     537                    </property> 
     538                    <property name="listDelimeter"> 
     539                        <value>,</value> 
     540                    </property> 
     541                </bean> 
     542                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header"> 
     543                    <property name="fieldName"> 
     544                        <value>assertions</value> 
     545                    </property> 
     546                    <property name="fieldNo"> 
     547                        <value>12</value> 
     548                    </property> 
     549                    <property name="fieldType"> 
     550                        <value>STRINGLIST</value> 
     551                    </property> 
     552                    <property name="listDelimeter"> 
     553                        <value>,</value> 
     554                    </property> 
     555                </bean> 
     556            </list> 
     557        </property> 
     558        <property name="delimeter"> 
     559            <value>|</value> 
     560        </property> 
     561    </bean> 
     562 
     563    <bean id="ezProxyFileFormat" class="uk.ac.cardiff.raptor.parse.external.file.format.LogFileFormat"> 
     564        <property name="headers"> 
    451565            <list> 
    452566                <bean class="uk.ac.cardiff.raptor.parse.external.file.format.Header"> 
     
    484598                    <property name="regexReplaceAll"> 
    485599                        <map> 
    486                          <entry key="@cardiff.ac.uk" value=""/> 
     600                            <entry key="@cardiff.ac.uk" value="" /> 
    487601                        </map> 
    488602                    </property> 
     
    511625                    <property name="regexReplaceAll"> 
    512626                        <map> 
    513                          <entry key="\[" value=""/> 
    514                          <entry key="\]" value=""/> 
     627                            <entry key="\[" value="" /> 
     628                            <entry key="\]" value="" /> 
    515629                        </map> 
    516630                    </property> 
     
    527641                    </property> 
    528642                    <property name="regexRetain"> 
    529                        <value>https://[^:]*</value> 
     643                        <value>https://[^:]*</value> 
    530644                    </property> 
    531645                </bean> 
     
    541655                    </property> 
    542656                    <property name="regexRetain"> 
    543                        <value>url=http%3a%2f%2f[^%]*|url=https://[^/]*|url=https%3a%2f%2f[^%]*|url=http://[^/]*|url=%2520http%3a%2f%2f[^%]*|url=%2520https%3a%2f%2f[^%]*|url=%20http%3a%2f%2f[^%]*|url=%20https%3a%2f%2f[^%]*|url=http%253A%252F%252F[^%]*</value> 
     657                        <value>url=http%3a%2f%2f[^%]*|url=https://[^/]*|url=https%3a%2f%2f[^%]*|url=http://[^/]*|url=%2520http%3a%2f%2f[^%]*|url=%2520https%3a%2f%2f[^%]*|url=%20http%3a%2f%2f[^%]*|url=%20https%3a%2f%2f[^%]*|url=http%253A%252F%252F[^%]* 
     658                        </value> 
    544659                    </property> 
    545660                    <property name="regexRetainCaseInsensitive"> 
     
    548663                    <property name="regexReplaceAll"> 
    549664                        <map> 
    550                          <entry key="url=" value=""/> 
    551                          <entry key="%2520" value=""/> 
     665                            <entry key="url=" value="" /> 
     666                            <entry key="%2520" value="" /> 
    552667                        </map> 
    553668                    </property> 
     
    556671        </property> 
    557672        <property name="delimeter"> 
    558             <value> </value> 
    559         </property> 
    560  
    561  
    562  
    563         </bean> 
    564  
    565         <bean id="W3CFileFormat" class="uk.ac.cardiff.raptor.parse.external.file.format.LogFileFormat"></bean> 
     673            <value> 
     674            </value> 
     675        </property> 
     676 
     677 
     678 
     679    </bean> 
     680 
     681    <bean id="W3CFileFormat" class="uk.ac.cardiff.raptor.parse.external.file.format.LogFileFormat"></bean> 
    566682 
    567683 
  • raptor-ica/trunk/src/main/config/event-parse.xml

    r1366 r1487  
    2525                <property name="parsingModules"> 
    2626                        <list> 
     27             
     28                <!-- JUSP Json parser--> 
     29 
     30                <bean id="juspParser" class="uk.ac.cardiff.raptor.parse.external.remote.JsonLogParser"> 
     31                    <property name="enabled" value="true"/> 
     32                    <property name="eventHandler"><ref bean="memoryEventHandler"></ref></property> 
     33                    <property name="webServiceLocation" value="http://www.jusp.mimas.ac.uk/api/"/> 
     34                    <property name="eventType"> 
     35                        <value>uk.ac.cardiff.model.event.JuspAggregatedEvent</value> 
     36                    </property> 
     37                    <property name="jsonFormat"> 
     38                        <ref bean="juspMonthlyPeriodFormat"/> 
     39                    </property> 
     40                    <property name="queryParams"> 
     41                        <map> 
     42                            <entry> 
     43                                <key><value>action</value></key> 
     44                                <value>getInstStats</value> 
     45                            </entry> 
     46                            <entry> 
     47                                <key><value>id</value></key> 
     48                                <value>car</value> 
     49                            </entry> 
     50                            <entry> 
     51                                <key><value>mnth</value></key> 
     52                                <value>2013-02</value> 
     53                            </entry> 
     54                        </map> 
     55                    </property> 
     56                </bean> 
     57                 
    2758                                <!-- SHIB 1.3 --> 
     59                 
     60                <bean id="wugenParser" class="uk.ac.cardiff.raptor.parse.external.file.LogFileParser"> 
     61                    <property name="enabled" value="false"/> 
     62                    <property name="eventHandler"><ref bean="memoryEventHandler"></ref></property> 
     63                    <property name="logfile"> 
     64                        <value>file:///Users/philsmart/Documents/DataSets/Logs/urlgen.log 
     65                        </value> 
     66                    </property> 
     67                    <property name="format"> 
     68                        <ref bean="wugenLogFileFormat" /> 
     69                    </property> 
     70                    <property name="eventType"> 
     71                        <value>uk.ac.cardiff.model.event.WugenEvent</value> 
     72                    </property>                     
     73                </bean> 
    2874 
    2975                                <bean id="shib13Proxy" class="uk.ac.cardiff.raptor.parse.external.file.LogFileParser"> 
     
    151197                    <!--  Shibboleth 2.4 and earlier SP --> 
    152198                 <bean id="shibbolethSpLFP" class="uk.ac.cardiff.raptor.parse.external.file.LogFileParser"> 
    153                     <property name="enabled" value="true"/> 
     199                    <property name="enabled" value="false"/> 
    154200                    <property name="eventHandler"><ref bean="memoryEventHandler"></ref></property> 
    155201                    <property name="logfile"> 
  • raptor-ica/trunk/src/main/config/event-release.xml

    r1453 r1487  
    3131                <value type="java.lang.Class">uk.ac.cardiff.model.event.RadiusAuthenticationEvent</value> 
    3232                <value type="java.lang.Class">uk.ac.cardiff.model.event.AuthenticationEvent</value> 
     33                <value type="java.lang.Class">uk.ac.cardiff.model.event.AggregatedEvent</value> 
     34                <value type="java.lang.Class">uk.ac.cardiff.model.event.JuspAggregatedEvent</value> 
     35                <value type="java.lang.Class">uk.ac.cardiff.model.event.WugenEvent</value> 
    3336            </list>         
    3437       </property> 
     
    4851                            <value type="java.lang.Class">uk.ac.cardiff.model.event.RadiusAuthenticationEvent</value> 
    4952                            <value type="java.lang.Class">uk.ac.cardiff.model.event.ShibbolethSpAuthenticationEvent</value> 
     53                            <value type="java.lang.Class">uk.ac.cardiff.model.event.JuspAggregatedEvent</value> 
     54                             <value type="java.lang.Class">uk.ac.cardiff.model.event.WugenEvent</value> 
    5055                        </list> 
    5156                    </property> 
     
    7681    <bean id="entryNoElapsedTimePushPolicy" class="uk.ac.cardiff.raptor.remoting.policy.EntryNoElapsedTimePushPolicy"> 
    7782        <property name="pushOnOrAfterNoEntries"> 
    78             <value>10</value> 
     83            <value>2</value> 
    7984        </property> 
    8085        <property name="pushInterval"> 
  • raptor-ica/trunk/src/main/config/ica-core.xml

    r1047 r1487  
    2727                </property> 
    2828        <property name="startDelay" value="1000" /> 
    29                 <property name="repeatInterval" value="30000" /> 
     29                <property name="repeatInterval" value="300000" /> 
    3030        </bean> 
    3131 
  • raptor-ica/trunk/src/main/config/logging.xml

    r1366 r1487  
    4747  </logger> 
    4848 
    49   <logger name="uk.ac.cardiff" level="TRACE"> 
     49  <logger name="uk.ac.cardiff" level="trace"> 
    5050    <appender-ref ref="stdout"/> 
    5151    <appender-ref ref="FILE"/> 
  • raptor-ica/trunk/src/main/java/uk/ac/cardiff/raptorica/engine/ICAEngine.java

    r1366 r1487  
    9191     */ 
    9292    public boolean release() { 
     93        log.info("Event release on ICA called for {} parsers", getDataAccessRegister().getEnabledParsingModules() 
     94                .size()); 
    9395        List<Event> eventsToSend = new ArrayList<Event>(); 
     96 
    9497        for (BaseEventParser parser : getDataAccessRegister().getEnabledParsingModules()) { 
    9598            eventsToSend.addAll(parser.getAuthentications()); 
    9699        } 
     100 
    97101        log.trace("ICA Parser(s) have {} events to send", eventsToSend.size()); 
    98102        boolean success = false; 
Note: See TracChangeset for help on using the changeset viewer.