"anything to go by"は「なんでもあり」という意味では無いらしい…
TheJapanTimesの記事からです。
If
「戦前の写真を基にすれば、復元作業は素晴らしく信頼のあるものに見える」
Cambridge dictionaryのサイトで"go by something"は以下のように説明されています。
to base an opinion, decision, or judgment on something:
「誰かを雇うか雇わないかを決めるときには、なにを基準にしますか」