<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=us-ascii">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<!--[if !mso]><style>v\:* {behavior:url(#default#VML);}
o\:* {behavior:url(#default#VML);}
w\:* {behavior:url(#default#VML);}
.shape {behavior:url(#default#VML);}
</style><![endif]--><style><!--
/* Font Definitions */
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:Corbel;
        panose-1:2 11 5 3 2 2 4 2 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:#0563C1;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:#954F72;
        text-decoration:underline;}
span.EmailStyle17
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;
        font-weight:normal;
        font-style:normal;
        text-decoration:none none;}
span.EmailStyle18
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
span.EmailStyle19
        {mso-style-type:personal-reply;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="EN-US" link="#0563C1" vlink="#954F72">
<div class="WordSection1">
<p class="MsoNormal"><span style="color:#1F497D">Forwarding from JISC-REPOSITORIES list &#8211; we&#8217;ve been seeing this in California too, and our IRStats2 counts are through the roof for the last couple of weeks.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">Can anyone tell me how to filter out these robots in IRStats2?&nbsp; And how to clean the access file so that our irstats2 reports are not distorted by this deluge?&nbsp; I assume I&#8217;d want to delete all entries with a
 requester_id in the table below and rerun IRstats2 setup from scratch.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">Thanks,<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">Betsy Coles<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">Caltech &#8211; Digital Library Development<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><a href="mailto:bcoles@caltech.edu">bcoles@caltech.edu</a><o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p>&nbsp;</o:p></span></p>
<div>
<div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal"><b>From:</b> Repositories discussion list [<a href="mailto:JISC-REPOSITORIES@JISCMAIL.AC.UK">mailto:JISC-REPOSITORIES@JISCMAIL.AC.UK</a>]
<b>On Behalf Of </b>Hilary Jones<br>
<b>Sent:</b> Friday, July 15, 2016 3:43 AM<br>
<b>To:</b> <a href="mailto:JISC-REPOSITORIES@JISCMAIL.AC.UK">JISC-REPOSITORIES@JISCMAIL.AC.UK</a><br>
<b>Subject:</b> Seeing unusually high downloads in IRStats - IRUS-UK's explanation and why this isn't affecting IRUS-UK stats<o:p></o:p></p>
</div>
</div>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal"><span lang="EN-GB">Hi everyone,<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-GB"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span lang="EN-GB">There was a discussion, via UKCORR mailing list, on why there are exceptionally high downloads being seen this week in IRStats and what might be causing it.<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-GB"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span lang="EN-GB">After some investigation we have found that the unusually high downloads are down to four IP ranges:<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-GB"><o:p>&nbsp;</o:p></span></p>
<table class="MsoNormalTable" border="0" cellspacing="0" cellpadding="0" style="border-collapse:collapse">
<tbody>
<tr>
<td width="160" valign="top" style="width:119.7pt;border:solid windowtext 1.0pt;padding:0in 5.4pt 0in 5.4pt">
<p class="MsoNormal">IP range<o:p></o:p></p>
</td>
<td width="160" valign="top" style="width:119.7pt;border:solid windowtext 1.0pt;border-left:none;padding:0in 5.4pt 0in 5.4pt">
<p class="MsoNormal">Organisation<o:p></o:p></p>
</td>
<td width="160" valign="top" style="width:119.7pt;border:solid windowtext 1.0pt;border-left:none;padding:0in 5.4pt 0in 5.4pt">
<p class="MsoNormal">Location<o:p></o:p></p>
</td>
<td width="160" valign="top" style="width:119.7pt;border:solid windowtext 1.0pt;border-left:none;padding:0in 5.4pt 0in 5.4pt">
<p class="MsoNormal">No. IP addresses<o:p></o:p></p>
</td>
</tr>
<tr>
<td width="160" valign="top" style="width:119.7pt;border:solid windowtext 1.0pt;border-top:none;padding:0in 5.4pt 0in 5.4pt">
<p class="MsoNormal">103.25.156.*<o:p></o:p></p>
</td>
<td width="160" valign="top" style="width:119.7pt;border-top:none;border-left:none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;padding:0in 5.4pt 0in 5.4pt">
<p class="MsoNormal">Microsoft Bingbot<o:p></o:p></p>
</td>
<td width="160" valign="top" style="width:119.7pt;border-top:none;border-left:none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;padding:0in 5.4pt 0in 5.4pt">
<p class="MsoNormal">China<o:p></o:p></p>
</td>
<td width="160" valign="top" style="width:119.7pt;border-top:none;border-left:none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;padding:0in 5.4pt 0in 5.4pt">
<p class="MsoNormal">128<o:p></o:p></p>
</td>
</tr>
<tr>
<td width="160" valign="top" style="width:119.7pt;border:solid windowtext 1.0pt;border-top:none;padding:0in 5.4pt 0in 5.4pt">
<p class="MsoNormal">103.36.96.*<o:p></o:p></p>
</td>
<td width="160" valign="top" style="width:119.7pt;border-top:none;border-left:none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;padding:0in 5.4pt 0in 5.4pt">
<p class="MsoNormal">Microsoft Corporation<o:p></o:p></p>
</td>
<td width="160" valign="top" style="width:119.7pt;border-top:none;border-left:none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;padding:0in 5.4pt 0in 5.4pt">
<p class="MsoNormal">China<o:p></o:p></p>
</td>
<td width="160" valign="top" style="width:119.7pt;border-top:none;border-left:none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;padding:0in 5.4pt 0in 5.4pt">
<p class="MsoNormal">216<o:p></o:p></p>
</td>
</tr>
<tr>
<td width="160" valign="top" style="width:119.7pt;border:solid windowtext 1.0pt;border-top:none;padding:0in 5.4pt 0in 5.4pt">
<p class="MsoNormal">111.221.28.*<o:p></o:p></p>
</td>
<td width="160" valign="top" style="width:119.7pt;border-top:none;border-left:none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;padding:0in 5.4pt 0in 5.4pt">
<p class="MsoNormal">Microsoft Bingbot<o:p></o:p></p>
</td>
<td width="160" valign="top" style="width:119.7pt;border-top:none;border-left:none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;padding:0in 5.4pt 0in 5.4pt">
<p class="MsoNormal">China<o:p></o:p></p>
</td>
<td width="160" valign="top" style="width:119.7pt;border-top:none;border-left:none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;padding:0in 5.4pt 0in 5.4pt">
<p class="MsoNormal">256<o:p></o:p></p>
</td>
</tr>
<tr>
<td width="160" valign="top" style="width:119.7pt;border:solid windowtext 1.0pt;border-top:none;padding:0in 5.4pt 0in 5.4pt">
<p class="MsoNormal">202.89.235.*<o:p></o:p></p>
</td>
<td width="160" valign="top" style="width:119.7pt;border-top:none;border-left:none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;padding:0in 5.4pt 0in 5.4pt">
<p class="MsoNormal">Microsoft Bingbot<o:p></o:p></p>
</td>
<td width="160" valign="top" style="width:119.7pt;border-top:none;border-left:none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;padding:0in 5.4pt 0in 5.4pt">
<p class="MsoNormal">China<o:p></o:p></p>
</td>
<td width="160" valign="top" style="width:119.7pt;border-top:none;border-left:none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt;padding:0in 5.4pt 0in 5.4pt">
<p class="MsoNormal">80<o:p></o:p></p>
</td>
</tr>
</tbody>
</table>
<p class="MsoNormal"><span lang="EN-GB"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span lang="EN-GB">These IPs have been systematically trawling and downloading files from many UK repositories. Looking at their User Agent strings they do not declare themselves as bots but masquerade as normal users.<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-GB"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span lang="EN-GB">Happily, the IRUS-UK ingest has been filtering out these robotic downloads, so you won&#8217;t see a massive spike in your IRUS-UK stats.<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-GB"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span lang="EN-GB">We hope this is of help.<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-GB"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span lang="EN-GB">Best wishes<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-GB">Hilary <o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-GB"><o:p>&nbsp;</o:p></span></p>
<table class="MsoNormalTable" border="0" cellspacing="0" cellpadding="0">
<tbody>
<tr>
<td valign="top" style="border:none;border-top:solid #2C3841 1.0pt;padding:0in 0in 3.0pt 0in">
<p class="MsoNormal"><a href="http://www.jisc.ac.uk/"><span style="font-size:12.0pt;font-family:&quot;Times New Roman&quot;,serif;color:blue;mso-fareast-language:EN-GB;text-decoration:none"><img border="0" width="54" height="32" style="width:.5625in;height:.3333in" id="Picture_x0020_1" src="cid:image002.jpg@01D1DE81.480241F0" alt="Jisc"></span></a><span style="font-size:12.0pt;font-family:&quot;Times New Roman&quot;,serif;mso-fareast-language:EN-GB"><o:p></o:p></span></p>
</td>
</tr>
<tr>
<td valign="top" style="padding:7.5pt 0in 0in 0in">
<p class="MsoNormal"><b><span style="font-size:12.0pt;font-family:&quot;Corbel&quot;,sans-serif;color:#2C3841;mso-fareast-language:EN-GB">Hilary Jones</span></b><span style="font-size:12.0pt;font-family:&quot;Times New Roman&quot;,serif;mso-fareast-language:EN-GB"><br>
</span><span style="font-size:12.0pt;font-family:&quot;Corbel&quot;,sans-serif;color:#2C3841;mso-fareast-language:EN-GB">Services and Projects Support</span><span style="font-size:12.0pt;font-family:&quot;Times New Roman&quot;,serif;mso-fareast-language:EN-GB"><o:p></o:p></span></p>
</td>
</tr>
<tr>
<td valign="top" style="padding:7.5pt 0in 0in 0in">
<p class="MsoNormal"><span style="font-size:12.0pt;font-family:&quot;Corbel&quot;,sans-serif;color:#2C3841;mso-fareast-language:EN-GB">0161 413 7541<br>
Skype <a href="mailto:hilary.jones@jisc.ac.uk">hilary.jones@jisc.ac.uk</a><br>
Twitter @JonesHilaryJ<br>
6th Floor Churchgate House, 56 Oxford Street, Manchester, M1&nbsp; 6EU</span><span style="font-size:12.0pt;font-family:&quot;Times New Roman&quot;,serif;mso-fareast-language:EN-GB"><o:p></o:p></span></p>
</td>
</tr>
<tr>
<td valign="top" style="padding:7.5pt 0in 0in 0in">
<p class="MsoNormal"><b><span style="font-size:12.0pt;font-family:&quot;Corbel&quot;,sans-serif;color:#E85E12;mso-fareast-language:EN-GB"><a href="http://www.jisc.ac.uk/"><span style="color:#E85E12">jisc.ac.uk</span></a>
</span></b><span style="font-size:12.0pt;font-family:&quot;Times New Roman&quot;,serif;mso-fareast-language:EN-GB"><o:p></o:p></span></p>
</td>
</tr>
<tr>
<td valign="top" style="padding:7.5pt 0in 0in 0in">
<p class="MsoNormal"><span style="font-size:8.0pt;font-family:&quot;Corbel&quot;,sans-serif;color:#2C3841;mso-fareast-language:EN-GB">Jisc is a registered charity (number 1149740) and a company limited by guarantee which is registered in England under Company No. 5747339,
 VAT No. GB 882 5529 90. Jisc&#8217;s registered office is: One Castlepark, Tower Hill, Bristol, BS2 0JA. T 0203 697 5800.
<a href="http://www.jisc.ac.uk/"><span style="color:#E85E12">jisc.ac.uk</span></a></span><span style="font-size:12.0pt;font-family:&quot;Times New Roman&quot;,serif;mso-fareast-language:EN-GB"><o:p></o:p></span></p>
</td>
</tr>
</tbody>
</table>
<p class="MsoNormal"><span lang="EN-GB" style="mso-fareast-language:EN-GB"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span lang="EN-GB"><o:p>&nbsp;</o:p></span></p>
</div>
</body>
</html>